WO2021250923A1 - ロボットシステム、制御装置、及び制御方法 - Google Patents

ロボットシステム、制御装置、及び制御方法 Download PDF

Info

Publication number
WO2021250923A1
WO2021250923A1 PCT/JP2021/001844 JP2021001844W WO2021250923A1 WO 2021250923 A1 WO2021250923 A1 WO 2021250923A1 JP 2021001844 W JP2021001844 W JP 2021001844W WO 2021250923 A1 WO2021250923 A1 WO 2021250923A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
unit
trajectory
robot system
error
Prior art date
Application number
PCT/JP2021/001844
Other languages
English (en)
French (fr)
Inventor
真彰 前田
祐市 桜井
直宏 林
Original Assignee
株式会社日立産機システム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立産機システム filed Critical 株式会社日立産機システム
Publication of WO2021250923A1 publication Critical patent/WO2021250923A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme

Definitions

  • the present invention relates to a robot system, a control device, and a control method.
  • the present invention claims the priority of application number 2020-099821 of the Japanese patent filed on June 9, 2020, and for designated countries where incorporation by reference to the literature is permitted, the content described in the application is Incorporated into this application by reference.
  • the first work gripped by the grip portion of the robot is arranged on the mounting surface.
  • the second work is moved to the second step of determining the position and posture of the second work with respect to the robot and the position and posture determined in the second step, and the assembling operation is performed.
  • a manufacturing method comprising a third step of causing the robot to perform is described.
  • the deviation between the trajectory of the hand at the target time and the trajectory at the time of actual operation is measured, and the position and posture of the second work are measured based on the deviation of the hand and the shape of the second work. It is said that the assembly can be performed by determining the method and moving the second work to the determined position and posture.
  • the planned assembly work may not be carried out only by moving the position and posture of the second work.
  • the present invention has been made in view of the above points, and makes it possible to suppress the failure of the assembling work due to the deviation of the gripping position and the deviation of the posture that occur when the work is actually gripped. With the goal.
  • the present application includes a plurality of means for solving at least a part of the above problems, and examples thereof are as follows.
  • the robot system is a robot system including a robot for executing work assembling work and a control device for controlling the robot, and the control device is The motion planning unit that determines the trajectory from the start point to the end point of the motion of the robot and generates trajectory information, and the gripping position of the robot when the robot actually grips the work based on the trajectory information.
  • the gripping adjustment unit that estimates an error from the time of planning for at least one of the posture and the gripping force, and the gripping position, posture, and gripping force of the robot in the direction of eliminating the estimated error.
  • the assembly is based on a simulation execution unit that newly generates an orbit by executing an operation simulation of the assembly work after adjusting at least one, and whether or not an orbit is generated by the simulation execution unit. It is characterized by having a re-grasping determination unit for determining whether or not work is possible.
  • the present invention it is possible to suppress the failure of the assembling work due to the deviation of the gripping position and the deviation of the posture that occur when the work is actually gripped.
  • FIG. 1 is a diagram showing a configuration example of a robot system according to the first embodiment of the present invention.
  • FIG. 2 is a diagram for explaining an example of processing by the motion planning unit.
  • FIG. 3 is a diagram showing a configuration example of the grip adjustment unit.
  • 4 (A) and 4 (B) are diagrams for explaining an example of processing by the simulation execution unit and the re-grasping determination unit, and
  • FIG. 4 (A) is a diagram when an orbit can be generated because the interference region is small.
  • FIG. 4B is a diagram showing a case where an orbit cannot be generated because the interference region is large.
  • FIG. 5 is a flowchart illustrating an example of control processing by the robot system of FIG. FIG.
  • FIG. 6 is a diagram showing a configuration example of a robot system according to a second embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an example of control processing by the robot system of FIG.
  • FIG. 8 is a diagram showing a configuration example of a robot system according to a third embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an example of control processing by the robot system of FIG.
  • FIG. 1 shows a configuration example of the robot system 11 according to the first embodiment of the present invention.
  • the robot system 11 includes a control device 20, a controller 30, and a robot 40.
  • the control device 20 controls the operation of the robot 40 via the controller 30.
  • the control device 20 includes a processor such as a CPU (Central Processing Unit), a memory such as an SDRAM (Static Random Access Memory), a storage such as an HDD (Hard Disc Drive) and an SSD (Solid State Drive), a communication module, an input device, and a display. It consists of a general computer such as a personal computer equipped with a device.
  • the control device 20 includes a calculation unit 21, a storage unit 22, a display unit 23, an input unit 24, and a communication unit 25.
  • the arithmetic unit 21 is realized by a computer processor.
  • the calculation unit 21 has each functional block of an operation planning unit 211, a grip adjustment unit 212, a simulation execution unit 213, a re-grasping determination unit 214, and a display control unit 218. These functional blocks are realized by the processor of the computer executing a predetermined program.
  • the motion planning unit 211 is operated by the robot 40 based on the robot configuration information 221 stored in the storage unit 22, the orbit start point / end point information 222, the interfering object configuration information 223, and the gripping object information 224 (all described later). Is gripped, a trajectory for performing assembly work is determined, and the track information 225 is stored in the storage unit 22.
  • FIG. 2 is a diagram for explaining an example of processing by the motion planning unit 211, and shows a coordinate space (hereinafter referred to as a configuration space) with each joint angle of the robot 40 as a space axis.
  • a configuration space shows a case where the robot 40 has two degrees of freedom.
  • the motion planning unit 211 calculates the position of the interference region where the peripheral structure that may interfere with the motion of the robot 40 exists by the motion simulation based on the robot configuration information 221 and the interfering object configuration information 223 and the gripping object information 224. do.
  • the motion planning unit 211 has a plurality of trajectory candidates from the start point S representing the state in which the work is gripped by the robot 40 to the end point G representing the state in which the work is assembled via one or more waypoints (not shown). Is generated, and among the orbital candidates, the orbital P that does not pass through the interference region is selected. Since there are many known algorithms for the method of generating the orbital candidate and the method of selecting the orbital P, they may be used.
  • the trajectory information generated by the motion planning unit 211 includes information representing the positions of the start point S, one or more waypoints, and the end point G of the motion, and the posture of the robot 40 at each point.
  • the gripping adjustment unit 212 adjusts the gripping operation of the robot 40 with respect to the work by the hand unit 42.
  • FIG. 3 shows a detailed configuration example of the grip adjustment unit 212.
  • the gripping adjustment unit 212 includes a feature amount extraction unit 51, an error estimation unit 52, and a gripping force adjusting unit 53.
  • the feature amount extraction unit 51 acquires sensor data representing the results detected by the tactile sensor 43 and the visual sensor 44 when the hand unit 42 grips the work, and extracts the feature amount.
  • the error estimation unit 52 sets the work at the time of planning and the work for at least one of the gripping position, gripping posture, and gripping force of the work by the hand unit 42. Estimate the error from when actually gripping.
  • the gripping position is represented by, for example, a position vector on Cartesian coordinates when the hand portion 42 grips the work.
  • the gripping posture is represented by rotation (roll, pitch, yaw) around an orthogonal coordinate axis of the hand portion 42 when gripping the work.
  • the gripping force is represented by the angle of rotation of the joint that controls the opening / closing size of the hand portion 42.
  • the gripping force adjusting unit 53 adjusts the gripping force of the gripping operation with respect to the work by the hand unit 42 of the robot 40.
  • the simulation execution unit 213 adjusts at least one of the current position, posture, and gripping force of the hand unit 42 in the direction of eliminating the error estimated by the error estimation unit 52. Specifically, the gripping position of the work by the hand portion 42 is moved, and the posture and the gripping force are changed. The adjustment of the hand unit 42 for eliminating the error may be performed by actually operating the hand unit 42 or as a simulation without operating the hand unit 42. Further, the simulation execution unit 213 executes the same simulation as the motion planning unit 211 on the premise that the hand unit 42 has been adjusted, and searches for a trajectory from the start point to the end point of the assembly work.
  • the re-grasping determination unit 214 can perform assembly work by re-grasping after adjusting at least one of the position, posture, and gripping force of the hand unit 42 based on the simulation result by the simulation execution unit 213. To judge. When it is determined that the assembling work is possible by re-grasping, the re-grasping determination unit 214 generates a control target value for adjusting the hand unit 42 in the direction of eliminating the error. This control target value is transmitted to the controller 30 by the communication unit 25.
  • FIG. 4 is a diagram for explaining an example of processing by the simulation execution unit 213 and the re-grasping determination unit 214, and shows the configuration space of the robot 40.
  • FIG. (A) shows the trajectory in the configuration space after adjusting the hand portion 42 in the direction of eliminating the error when it is determined that the assembly is possible by re-grasping.
  • the starting point S represents the combination of the joint angles of the adjusted robot 40.
  • the end point G is the same position as at the time of planning by the operation planning unit 211.
  • FIG. (A) shows a case where the change in the interference region is small because the adjustment amount is relatively small, and the orbit P from the start point S to the end point G can be generated without passing through the interference region.
  • FIG. 3B shows a case where the change in the interference region is large because the adjustment amount is relatively large, and the trajectory from the start point S to the end point G cannot be generated without passing through the interference region.
  • the display control unit 218 controls various displays on the display unit 23.
  • the storage unit 22 is realized by the memory and storage of the computer.
  • the storage unit 22 stores the robot configuration information 221, the orbit start point / end point information 222, the interfering object configuration information 223, the gripping object information 224, the orbit information 225, and the learned model 226.
  • the robot configuration information 221 is information including the shapes and connection states of the arm portion 41 and the hand portion 42 constituting the robot 40. Specifically, it is 3D / CAD (Computer Aided Design) data, URDF (Unified Robot Description Format) data, or the like of the robot 40.
  • the robot configuration information 221 is stored in the storage unit 22 in advance.
  • the orbit start point / end point information 222 is information representing the coordinates and postures of the start point, the waypoint, and the end point of the operation of the robot 40.
  • the orbit start point / end point information 222 is, for example, input from a user in advance and stored in the storage unit 22.
  • Interfering material configuration information 223 is information on structures existing around the robot 40 that may interfere with the operation of the robot 40. Specifically, for example, it is a jig used for assembly, 3D / CAD data of stalls around the robot 40, and the like. The interfering material configuration information 223 is stored in the storage unit 22 in advance.
  • the gripping object information 224 is information representing the shape of the work to be gripped. Specifically, it is 3D / CAD data of the work or the like.
  • the gripping object information 224 is stored in the storage unit 22 in advance.
  • the trajectory information 225 is information representing time-series changes in the combination of each joint angle of the robot 40.
  • the orbit information 225 is generated by the motion planning unit 211 and stored in the storage unit 22.
  • the trained model 226 is a machine learning model such as a neural network.
  • the trained model 226 in the past gripping motion for a certain work, the feature amount of the sensor data by the tactile sensor 43 and the visual sensor 44, and the gripping position, the posture, and the gripping force when the hand portion 42 grips the work. The relationship between the error at the time of planning and the error at the time of actual operation is learned.
  • the trained model 226 takes the feature amount of the sensor data as an input, and outputs the error at the time of planning and the time of actual operation of the gripping position, the posture, and the gripping force.
  • the trained model 226 is stored in the storage unit 22 in advance.
  • the display unit 23 is realized by a display device of a computer.
  • the display unit 23 is, for example, a GUI (Graphical User Interface) or the like that allows the user to input various inputs, indicate the operating status of the robot 40, or notify that the robot 40 cannot execute the assembly work as planned. Display the screen of.
  • GUI Graphic User Interface
  • the input unit 24 is realized by an input device of a computer.
  • the input unit 24 receives various input operations from the user.
  • the communication unit 25 is realized by a communication module of a computer.
  • the communication unit 25 connects to the controller 30 via a network (not shown) such as the Internet or a mobile phone communication network, and communicates various data.
  • the controller 30 executes the assembly work by operating the arm portion 41 and the hand portion 42 constituting the robot 40 according to the control input from the control device 20.
  • the robot 40 has an arm portion 41, a hand portion 42, a tactile sensor 43, and a visual sensor 44.
  • the robot 40 operates the arm unit 41 and the hand unit 42 according to the control from the controller 30.
  • the arm portion 41 is a structure that supports the hand portion 42, and is a movable part of the robot 40.
  • the hand portion 42 is an end effector such as a gripper.
  • the tactile sensor 43 is installed in the hand portion 42.
  • the tactile sensor 43 detects the shape, stress, and the like of the contact surface between the gripping surface of the hand portion 42 and the work.
  • the visual sensor 44 is installed at any position on the robot 40.
  • the visual sensor 44 is composed of, for example, a camera or the like, and detects a work, an interfering object, or the like existing around the robot 40.
  • the visual sensor 44 may be installed in a place other than the robot 40 (for example, a ceiling or the like) as long as it can detect a work, an interfering object, or the like existing around the robot 40.
  • FIG. 5 is a flowchart illustrating an example of robot control processing by the robot system 11.
  • the robot control process is started, for example, in response to a predetermined operation from the user.
  • the motion planning unit 211 grips the work based on the robot configuration information 221 stored in the storage unit 22, the orbit start point / end point information 222, the interfering object configuration information 223, and the gripping object information 224.
  • the trajectory for performing the assembly work is determined, and the trajectory information 225 is generated and stored in the storage unit 22 (step S1).
  • the gripping adjustment unit 212 refers to the trajectory information 225 and causes the robot 40 to actually grip the work (step S2). Specifically, the controller 30 is controlled via the communication unit 25, and the robot 40 is made to execute the gripping operation.
  • the feature amount extraction unit 51 of the grip adjustment unit 212 acquires the sensor data detected by the tactile sensor 43 and the visual sensor 44 while the robot 40 is executing the gripping operation from the controller 30, and obtains the feature amount. Extract (step S3).
  • the error estimation unit 52 inputs the extracted feature amount to the trained model 226, so that the gripping position, gripping posture, and gripping force of the work by the hand unit 42 are determined between the planned time and the actual operation time. Estimate the error (step S4).
  • the simulation execution unit 213 executes the same simulation as the motion planning unit 211 on the premise that the hand unit 42 is adjusted in the direction of eliminating the estimated error, and passes through the interference region from the changed start point. Search for the trajectory to reach the end point without doing (step S5).
  • the re-grasping determination unit 214 determines whether or not the assembly work is possible based on whether or not the trajectory has been searched based on the simulation result by the simulation execution unit 213 (step S6).
  • the re-grasping determination unit 214 adjusts the hand unit 42 in the direction of eliminating the error. Is generated and transmitted to the controller 30 via the communication unit 25, whereby the robot 40 is made to execute the work gripping operation again (step S7).
  • the gripping adjustment unit 212 controls the controller 30 via the communication unit 25, searches for it in step S5, and operates the robot 40 along the trajectory determined in step S6 that the assembly work is possible (step). S8). This completes the robot control process.
  • step S6 when the re-grasping determination unit 214 determines that the assembly work is impossible because the track cannot be searched (NO in step S6), the display control unit 218 indicates that the assembly work cannot be executed. The alert screen is displayed on the display unit 23 (step S9). This completes the robot control process.
  • FIG. 6 shows a configuration example of the robot system 11 according to the second embodiment of the present invention.
  • the robot system 12 has a threshold value determination unit 215 added as a functional block possessed by the calculation unit 21 of the robot system 11 (FIG. 1), and an error threshold value information 227 added as information stored in the storage unit 22. ..
  • a threshold value determination unit 215 added as a functional block possessed by the calculation unit 21 of the robot system 11 (FIG. 1), and an error threshold value information 227 added as information stored in the storage unit 22. ..
  • those common to the components of the robot system 11 are designated by the same reference numerals and the description thereof will be omitted.
  • the threshold value determination unit 215 refers to the error threshold value information 227 indicating the threshold value of the gripping position, the gripping posture, and the tolerance of the gripping force set for each work, and the error estimated by the error estimation unit 52 is equal to or less than the threshold value. Determine if it exists.
  • FIG. 7 is a flowchart illustrating an example of robot control processing by the robot system 12.
  • the robot control process is started, for example, in response to a predetermined operation from the user. Since the processes of steps S11 to S14 are the same as the processes of steps S1 to S4 in the robot control process (FIG. 5) by the robot system 11, the description thereof will be omitted.
  • the threshold value determination unit 215 then refers to the error threshold value information 227 and determines whether or not the estimated error is equal to or less than the threshold value (step S15).
  • the simulation execution unit 213 operates on the premise that the hand unit 42 is adjusted in the direction of eliminating the estimated error. A simulation similar to that of the planning unit 211 is executed, and a trajectory from the changed start point to the end point without passing through the interference region is searched for (step S16).
  • the re-grasping determination unit 214 determines whether or not the assembly work is possible based on whether or not the trajectory can be searched based on the simulation result by the simulation execution unit 213 (step S17).
  • the re-grasping determination unit 214 controls to adjust the hand unit 42 in the direction of eliminating the error.
  • the robot 40 is made to execute the work gripping operation again (step S18). After that, the process is returned to step S13, and steps S13 and subsequent steps are repeated.
  • step S17 when the re-grasping determination unit 214 determines that the assembly work is impossible because the track cannot be searched (NO in step S17), the display control unit 218 performs the assembly work on the display unit 23. An alert screen indicating that the execution cannot be performed is displayed (step S19). This completes the robot control process.
  • the threshold value determination unit 215 determines that the estimated error is equal to or less than the threshold value (YES in step S15)
  • no further error adjustment is required, so that the grip adjustment unit 212 via the communication unit 25.
  • the re-grasping operation and the search for the trajectory are repeated until the estimated error becomes equal to or less than the threshold value, except when the trajectory cannot be searched. In comparison, the success rate of assembly work can be further improved.
  • FIG. 8 shows a configuration example of the robot system 13 according to the third embodiment of the present invention.
  • the robot system 13 has an interfering object identification unit 216 added as a functional block possessed by the calculation unit 21 of the robot system 11 (FIG. 1).
  • the components of the robot system 13 those common to the components of the robot system 11 are designated by the same reference numerals and the description thereof will be omitted.
  • the interfering object identification unit 216 identifies the interfering object that causes the trajectory to be unsearchable when the re-grasping determination unit 214 determines that the assembly work is impossible because the track after re-grasping could not be searched.
  • the information is output to the display control unit 218.
  • the display control unit 218 causes the display unit 23 to display the position, shape, and the like of the interfering object by, for example, a character string or an image.
  • FIG. 9 is a flowchart illustrating an example of robot control processing by the robot system 13.
  • the robot control process is started, for example, in response to a predetermined operation from the user. Since the processes of steps S31 to S38 are the same as the processes of steps S1 to S8 in the robot control process (FIG. 5) by the robot system 11, the description thereof will be omitted.
  • step S36 when the re-grasping determination unit 214 determines that the assembling work is impossible (NO in step S36), the interfering object identification unit 216 identifies the interfering object that causes the track to be unable to be searched, and the interference object is identified. Information is output to the display control unit 218, and the display control unit 218 causes the display unit 23 to display the position and shape of the interfering object, for example, by means of a character string, an image, or the like (step S39).
  • the display control unit 218 causes the display unit 23 to display an alert screen indicating that the assembly work cannot be executed (step S40). This completes the robot control process.
  • the same operation and effect as the robot control process by the robot system 11 (FIG. 5) can be obtained. Further, according to the robot control process by the robot system 13, the user can grasp the interfering object obstructing the trajectory, so that it becomes possible to facilitate the user's countermeasure planning such as moving the interfering object.
  • the present invention is not limited to the above-described embodiment, and various modifications are possible.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • the interfering object identification unit 216 may be added to the robot system 12 (FIG. 6).
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a recording device such as a hard disk or SSD, or a recording medium such as an IC card, SD card, or DVD.
  • the control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all the control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

実際にワークを把持した際に生じた把持位置のずれや姿勢のずれに起因する組付け作業の失敗を抑止する。　ロボットシステムは、制御装置が、ロボットによる動作の始点から終点に至る軌道を決定して軌道情報を生成する動作計画部と、前記軌道情報に基づいて前記ロボットが実際にワークを把持した際の前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つについて、計画時との誤差を推定する把持調整部と、推定された前記誤差を解消する方向に前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つを調整した上で前記組付け作業の動作シミュレーションを実行することにより新たに軌道を生成するシミュレーション実行部と、前記シミュレーション実行部により軌道が生成されたか否かに基づいて、前記組付け作業の可否を判断する再把持判断部と、を有することを特徴とする。

Description

ロボットシステム、制御装置、及び制御方法
　本発明は、ロボットシステム、制御装置、及び制御方法に関する。本発明は2020年6月9日に出願された日本国特許の出願番号2020-099821の優先権を主張し、文献の参照による織り込みが認められる指定国については、その出願に記載された内容は参照により本出願に織り込まれる。
　ロボットシステムによる計画時の軌道に対する実動時の軌道のずれを補正する技術として、例えば特許文献１には、「ロボットの把持部に把持させた第１のワークを載置面上に配置された第２のワークに組み付ける物品の製造方法において、前記把持部の目標軌道に対する実軌道のずれを測定する第１の工程と、前記第１の工程で測定したずれと、前記第２のワークの形状に基づき、前記ロボットに対する前記第２のワークの位置及び姿勢を決める第２の工程と、前記第２の工程にて決めた位置及び姿勢に前記第２のワークを移動させて、組み付け動作を前記ロボットに行わせる第３の工程と、を備える」製造方法が記載されている。
特開２０１９－９３５０４号公報
　特許文献１に記載の技術によれば、ハンドの目標時の軌道と実動時の軌道のずれを測定し、ハンドのずれと第２のワークの形状に基づいて第２のワークの位置及び姿勢を決定し、決定した位置及び姿勢に第２のワークを移動させることで組付けを行うことができるとされている。
　しかしながら、実際には、ハンドが第１のワークを把持する際にも目標時の軌道と実動時の軌道のずれ、シミュレーションモデルと実機のずれに起因する把持位置のずれや姿勢のずれが発生しており、特許文献１に記載の技術のように、第２のワークの位置及び姿勢を移動するだけでは計画されていた組付け作業を実施できないことがある。
　本発明は、上記の点に鑑みてなされたものであって、ワークを実際に把持した際に生じた把持位置のずれや姿勢のずれに起因する組付け作業の失敗を抑止できるようにすることを目的とする。
　本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。
　上記課題を解決するため、本発明の一態様に係るロボットシステムは、ワークの組付け作業を実行するロボットと、前記ロボットを制御する制御装置と、を備えるロボットシステムであって、前記制御装置は、前記ロボットによる動作の始点から終点に至る軌道を決定して軌道情報を生成する動作計画部と、前記軌道情報に基づいて前記ロボットが実際に前記ワークを把持した際の前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つについて、計画時との誤差を推定する把持調整部と、推定された前記誤差を解消する方向に前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つを調整した上で前記組付け作業の動作シミュレーションを実行することにより新たに軌道を生成するシミュレーション実行部と、前記シミュレーション実行部により軌道が生成されたか否かに基づいて、前記組付け作業の可否を判断する再把持判断部と、を有することを特徴とする。
　本発明によれば、ワークを実際に把持した際に生じた把持位置のずれや姿勢のずれに起因する組付け作業の失敗を抑止することが可能となる。
　上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
図１は、本発明の第１の実施形態に係るロボットシステムの構成例を示す図である。 図２は、動作計画部による処理の一例を説明するための図である。 図３は、把持調整部の構成例を示す図である。 図４（Ａ），（Ｂ）は、シミュレーション実行部及び再把持判断部による処理の一例を説明するための図であり、図４（Ａ）は干渉領域が小さいため軌道を生成できる場合、図４（Ｂ）は干渉領域が大きいため軌道を生成できない場合を示す図である。 図５は、図１のロボットシステムによる制御処理の一例を説明するフローチャートである。 図６は、本発明の第２の実施形態に係るロボットシステムの構成例を示す図である。 図７は、図６のロボットシステムによる制御処理の一例を説明するフローチャートである。 図８は、本発明の第３の実施形態に係るロボットシステムの構成例を示す図である。 図９は、図８のロボットシステムによる制御処理の一例を説明するフローチャートである。
　以下、本発明の複数の実施形態について図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
　＜本発明の第１の実施形態に係るロボットシステム１１の構成例＞
　図１は、本発明の第１の実施形態に係るロボットシステム１１の構成例を示している。
　ロボットシステム１１は、制御装置２０、コントローラ３０、及びロボット４０を備える。
　制御装置２０は、コントローラ３０を介してロボット４０の動作を制御する。制御装置２０は、ＣＰＵ(Central Processing Unit)等のプロセッサ、ＳＤＲＡＭ(Static Random Access Memory）等のメモリ、ＨＤＤ(Hard Disc Drive)やＳＳＤ(Solid State Drive)等のストレージ、通信モジュール、入力装置、表示装置を備えるパーソナルコンピュータ等の一般的なコンピュータから成る。
　制御装置２０は、演算部２１、記憶部２２、表示部２３、入力部２４、及び通信部２５を備える。
　演算部２１は、コンピュータのプロセッサにより実現される。演算部２１は、動作計画部２１１、把持調整部２１２、シミュレーション実行部２１３、再把持判断部２１４、及び表示制御部２１８の各機能ブロックを有する。これらの機能ブロックは、コンピュータのプロセッサが所定のプログラムを実行することにより実現される。
　動作計画部２１１は、記憶部２２に格納されているロボット構成情報２２１、軌道始点・終点情報２２２、干渉物構成情報２２３、及び把持対象物情報２２４（いずれも後述）に基づき、ロボット４０がワークを把持し、組付け作業を行う際の軌道を決定し、軌道情報２２５として記憶部２２に格納する。
　図２は、動作計画部２１１による処理の一例を説明するための図であり、ロボット４０の各関節角を空間軸とした座標空間（以下、コンフィギュレーション空間と称する）を示している。ただし、同図のコンフィギュレーション空間は、ロボット４０の自由度が２である場合を示している。
　動作計画部２１１は、ロボット構成情報２２１、干渉物構成情報２２３、及び把持対象物情報２２４に基づく動作シミュレーション等により、ロボット４０の動作に干渉し得る周辺構造物が存在する干渉領域の位置を計算する。動作計画部２１１は、ロボット４０によりワークを把持した状態を表す始点Ｓから、１点以上の経由点（不図示）を経由して、ワークを組み付けた状態を表す終点Ｇに至る複数の軌道候補を生成し、軌道候補のうち、干渉領域を通らない軌道Ｐを選択する。軌道候補の生成方法及び軌道Ｐの選択方法は公知のアルゴリズムが多数存在するので、それらを用いればよい。動作計画部２１１が生成する軌道情報には、動作の始点Ｓ、１点以上の経由点、及び終点Ｇの位置とそれぞれにおけるロボット４０の姿勢とを表す情報が含まれる。
　図１に戻る。把持調整部２１２は、ロボット４０のハンド部４２によるワークに対する把持動作を調整する。
　図３は、把持調整部２１２の詳細な構成例を示している。把持調整部２１２は、特徴量抽出部５１、誤差推定部５２、及び把持力調整部５３を有する。
　特徴量抽出部５１は、ハンド部４２によるワークに対する把持動作の際、触覚センサ４３及び視覚センサ４４によって検出された結果を表すセンサデータを取得してその特徴量を抽出する。誤差推定部５２は、抽出された特徴量を学習済モデル２２６に入力することにより、ハンド部４２によるワークの把持位置、把持姿勢、及び把持力のうちの少なくとも一つについて、計画時とワークを実際に把持した際との誤差を推定する。
　ここで、把持位置は、例えばハンド部４２がワークを把持する際の直交座標上の位置ベクトルによって表わされる。把持姿勢は、ワークを把持する際のハンド部４２の直交座標軸まわり回転（ロール、ピッチ、ヨー）で表わされる。把持力は、ハンド部４２の開閉の大きさを制御する関節の回転角等によって表わされる。
　把持力調整部５３は、ロボット４０のハンド部４２によるワークに対する把持動作の把持力を調整する。
　図１に戻る。シミュレーション実行部２１３は、誤差推定部５２によって推定された誤差を解消する方向にハンド部４２の現在の位置、姿勢、及び把持力のうちの少なくとも一つを調整する。具体的には、ハンド部４２によるワークの把持位置を移動したり、姿勢や把持力を変更したりする。なお、誤差を解消するためのハンド部４２の調整は、実際にハンド部４２を動作させてもよいし、ハンド部４２を動作させることなくシミュレーションとして行ってもよい。さらに、シミュレーション実行部２１３は、ハンド部４２を調整したことを前提として動作計画部２１１と同様のシミュレーションを実行して、組付け作業の始点から終点に至る軌道を探索する。
　再把持判断部２１４は、シミュレーション実行部２１３によるシミュレーション結果に基づき、ハンド部４２の位置、姿勢、及び把持力のうちの少なくとも一つを調整した後の再把持により組付け作業が可能か否かを判断する。再把持により組付け作業が可能と判断した場合、再把持判断部２１４は、誤差を解消する方向にハンド部４２を調整するための制御目標値を生成する。この制御目標値は、通信部２５によってコントローラ３０に送信される。
　図４は、シミュレーション実行部２１３及び再把持判断部２１４による処理の一例を説明するための図であり、ロボット４０のコンフィグレーション空間を示している。同図（Ａ）は、再把持によって組付けが可能と判断された場合の、誤差を解消する方向にハンド部４２を調整した後のコンフィギュレーション空間における軌道を示している。ここで、始点Ｓは、調整後のロボット４０の各関節角の組合せを表している。終点Ｇは、動作計画部２１１による計画時と同じ位置である。
　なお、調整後の始点Ｓは、動作計画部２１１による計画時（図２）の始点Ｓと異なるため、干渉領域も計画時（図２）と異なっている。同図（Ａ）は、調整量が比較的小さいために干渉領域の変化が小さく、干渉領域を通過せずに始点Ｓから終点Ｇに至る軌道Ｐを生成できた場合を示している。一方、同図（Ｂ）は、調整量が比較的大きいために干渉領域の変化が大きく、干渉領域を通過せずに始点Ｓから終点Ｇに至る軌道を生成できない場合を示している。
　図１に戻る。表示制御部２１８は、表示部２３における各種の表示を制御する。
　記憶部２２は、コンピュータのメモリ及びストレージにより実現される。記憶部２２には、ロボット構成情報２２１、軌道始点・終点情報２２２、干渉物構成情報２２３、把持対象物情報２２４、軌道情報２２５、及び学習済モデル２２６を格納する。
　ロボット構成情報２２１は、ロボット４０を構成するアーム部４１及びハンド部４２の形状や接続状態等を含む情報である。具体的には、ロボット４０の３Ｄ・ＣＡＤ（Computer Aided Design）データやＵＲＤＦ(Unified Robot Description Format）データ等である。ロボット構成情報２２１は、予め記憶部２２に格納されている。
　軌道始点・終点情報２２２は、ロボット４０の動作の始点、経由点、及び終点それぞれの座標と姿勢とを表す情報である。軌道始点・終点情報２２２は、例えば、予めユーザから入力されて記憶部２２に格納されている。
　干渉物構成情報２２３は、ロボット４０の動作に干渉し得るロボット４０の周辺に存在する構造物の情報である。具体的には、例えば組付けに用いる治具やロボット４０の周辺の屋台の３Ｄ・ＣＡＤデータ等である。干渉物構成情報２２３は、予め記憶部２２に格納されている。
　把持対象物情報２２４は、把持対象となるワークの形状を表す情報である。具体的には、ワークの３Ｄ・ＣＡＤデータ等である。把持対象物情報２２４は、予め記憶部２２に格納されている。
　軌道情報２２５は、ロボット４０の各関節角の組合せの時系列変化を表す情報である。軌道情報２２５は、動作計画部２１１により生成されて記憶部２２に格納される。
　学習済モデル２２６は、例えばニューラルネットワーク等の機械学習モデルである。学習済モデル２２６には、あるワークに対する過去の把持動作において、触覚センサ４３及び視覚センサ４４によるセンサデータの特徴量と、ハンド部４２がワークを把持した際の把持位置、姿勢、及び把持力の計画時と実動時の誤差との関係が学習されている。学習済モデル２２６は、センサデータの特徴量を入力として、把持位置、姿勢、及び把持力の計画時と実動時の誤差を出力する。学習済モデル２２６は、予め記憶部２２に格納されている。
　表示部２３は、コンピュータの表示装置により実現される。表示部２３は、例えば、ユーザが各種の入力を行ったり、ロボット４０の動作状況を示したり、ロボット４０が計画通りに組付け作業を実行できないことを通知したりするＧＵＩ（Graphical User Interface）等の画面を表示する。
　入力部２４は、コンピュータの入力装置により実現される。入力部２４は、ユーザからの各種の入力操作を受け付ける。
　通信部２５は、コンピュータの通信モジュールにより実現される。通信部２５は、インターネットや携帯電話通信網等のネットワーク（不図示）を介してコントローラ３０と接続し、各種のデータを通信する。
　コントローラ３０は、制御装置２０から入力される制御に従い、ロボット４０を構成するアーム部４１及びハンド部４２を動作させることにより組付け作業を実行させる。
　ロボット４０は、アーム部４１、ハンド部４２、触覚センサ４３、及び視覚センサ４４を有する。ロボット４０は、コントローラ３０からの制御に従ってアーム部４１及びハンド部４２を動作させる。
　アーム部４１は、ハンド部４２を支える構造体であり、ロボット４０の可動部位である。ハンド部４２は、例えばグリッパ等のエンドエフェクタである。触覚センサ４３は、ハンド部４２に設置されている。触覚センサ４３は、ハンド部４２の把持面とワークの接触面の形状や応力等を検出する。視覚センサ４４は、ロボット４０のいずれかの箇所に設置されている。視覚センサ４４は、例えば、カメラ等からなり、ロボット４０の周囲に存在するワークや干渉物等を検出する。なお、視覚センサ４４は、ロボット４０の周囲に存在するワークや干渉物等を検出できれば、ロボット４０以外の場所（例えば、天井等）に設置するようにしてもよい。
　次に、図５は、ロボットシステム１１によるロボット制御処理の一例を説明するフローチャートである。
　該ロボット制御処理は、例えばユーザからの所定の操作に応じて開始される。始めに、動作計画部２１１が、記憶部２２に格納されているロボット構成情報２２１、軌道始点・終点情報２２２、干渉物構成情報２２３、及び把持対象物情報２２４に基づき、ロボット４０がワークを把持し、組付け作業を行う際の軌道を決定し、軌道情報２２５を生成して記憶部２２に格納する（ステップＳ１）。
　次に、把持調整部２１２が、軌道情報２２５を参照し、実際にワークを把持する動作をロボット４０に実行させる（ステップＳ２）。具体的には、通信部２５を介してコントローラ３０を制御し、ロボット４０に把持動作を実行させる。
　次に、把持調整部２１２の特徴量抽出部５１が、ロボット４０が把持動作を実行している際に触覚センサ４３及び視覚センサ４４によって検出されたセンサデータをコントローラ３０から取得し、特徴量を抽出する（ステップＳ３）。
　次に、誤差推定部５２が、抽出された特徴量を学習済モデル２２６に入力することにより、ハンド部４２によるワークの把持位置、把持姿勢、及び把持力について、計画時と実動時との誤差を推定する（ステップＳ４）。
　次に、シミュレーション実行部２１３が、推定された誤差を解消する方向にハンド部４２を調整すること前提とした動作計画部２１１と同様のシミュレーションを実行して、変更された始点から干渉領域を通過することなく終点に至る軌道を探索する（ステップＳ５）。
　次に、再把持判断部２１４が、シミュレーション実行部２１３によるシミュレーション結果により軌道が探索されたか否かに基づいて、組付け作業が可能か否かを判断する（ステップＳ６）。ここで、軌道が探索されたことにより組付け作業が可能と判断した場合（ステップＳ６でＹＥＳ）、再把持判断部２１４が、誤差を解消する方向にハンド部４２を調整するための制御目標値を生成し、通信部２５を介してコントローラ３０に送信することにより、ロボット４０に再びワークの把持動作を実行させる（ステップＳ７）。
　次に、把持調整部２１２が、通信部２５を介してコントローラ３０を制御し、ステップＳ５で探索され、ステップＳ６で組付け作業が可能と判断された軌道に沿ってロボット４０を動作させる（ステップＳ８）。以上で、ロボット制御処理は終了される。
　反対に、再把持判断部２１４が、軌道が探索できなかったことにより組付け作業が不可能と判断した場合（ステップＳ６でＮＯ）、表示制御部２１８が、組付け作業を実行できない旨を表すアラート画面を表示部２３に表示させる（ステップＳ９）。以上で、ロボット制御処理は終了される。
　以上に説明したロボットシステム１１によるロボット制御処理によれば、ワークを把持した際に把持位置のずれや姿勢のずれが発生しても、再把持により組付けが可能か否かをシミュレーションによって判断するので、組付け作業の成功率を向上させることが可能となる。
　＜本発明の第２の実施形態に係るロボットシステム１２の構成例＞
　次に、図６は、本発明の第２の実施形態に係るロボットシステム１１の構成例を示している。
　ロボットシステム１２は、ロボットシステム１１（図１）の演算部２１が有する機能ブロックとして、閾値判定部２１５を追加するとともに、記憶部２２に格納された情報として誤差閾値情報２２７を追加したものである。ロボットシステム１２の構成要素のうち、ロボットシステム１１の構成要素と共通するものには同一の符号を付してその説明を省略する。
　閾値判定部２１５は、ワーク毎に設定されている把持位置、把持姿勢、及び把持力の許容誤差の閾値を表す誤差閾値情報２２７を参照し、誤差推定部５２によって推定された誤差が閾値以下であるか否かを判定する。
　次に、図７は、ロボットシステム１２によるロボット制御処理の一例を説明するフローチャートである。
　該ロボット制御処理は、例えばユーザからの所定の操作に応じて開始される。なお、ステップＳ１１～ステップＳ１４の処理は、ロボットシステム１１によるロボット制御処理（図５）におけるステップＳ１～ステップＳ４の処理と同様であるため、その説明は省略する。
　ステップＳ１４により誤差が推定された後、次に、閾値判定部２１５が、誤差閾値情報２２７を参照し、推定された誤差が閾値以下であるか否かを判定する（ステップＳ１５）。ここで、推定された誤差が閾値以下ではないと判定された場合（ステップＳ１５でＮＯ）、シミュレーション実行部２１３が、推定された誤差を解消する方向にハンド部４２を調整したことを前提として動作計画部２１１と同様のシミュレーションを実行し、変更された始点から干渉領域を通過することなく終点に至る軌道を探索する（ステップＳ１６）。
　次に、再把持判断部２１４が、シミュレーション実行部２１３によるシミュレーション結果により軌道が探索できたか否かに基づき、組付け作業が可能であるか否かを判断する（ステップＳ１７）。ここで、軌道が探索できたことにより組付け作業が可能であると判断した場合（ステップＳ１７でＹＥＳ）、再把持判断部２１４が、誤差を解消する方向にハンド部４２を調整するための制御目標値を生成し、通信部２５を介してコントローラ３０に送信することにより、ロボット４０に再びワークの把持動作を実行させる（ステップＳ１８）。この後、処理はステップＳ１３に戻されて、ステップＳ１３以降が繰り返される。
　反対に、再把持判断部２１４が、軌道が探索できなかったことにより組付け作業が不可能と判断した場合（ステップＳ１７でＮＯ）、表示制御部２１８が、表示部２３に、組付け作業を実行できない旨を表すアラート画面を表示させる（ステップＳ１９）。以上で、ロボット制御処理は終了される。
　また、閾値判定部２１５が、推定された誤差が閾値以下であると判定した場合（ステップＳ１５でＹＥＳ）、これ以上の誤差調整は不要であるため、把持調整部２１２が、通信部２５を介してコントローラ３０を制御し、最新の軌道に沿ってロボット４０を動作させる（ステップＳ２０）。以上で、ロボット制御処理は終了される。
　以上に説明したロボットシステム１２によるロボット制御処理によれば、軌道が探索できない場合を除き、推定された誤差が閾値以下となるまで再把持動作と軌道の探索を繰り返すので、第１の実施形態に比べて組付け作業の成功率をより向上させることが可能となる。
　＜本発明の第３の実施形態に係るロボットシステム１３の構成例＞
　次に、図８は、本発明の第３の実施形態に係るロボットシステム１３の構成例を示している。
　ロボットシステム１３は、ロボットシステム１１（図１）の演算部２１が有する機能ブロックとして、干渉物特定部２１６追加したものである。ロボットシステム１３の構成要素のうち、ロボットシステム１１の構成要素と共通するものには同一の符号を付してその説明を省略する。
　干渉物特定部２１６は、再把持後の軌道が探索できなかったために再把持判断部２１４によって組付け作業が不可能と判断された場合の、軌道が探索できない要因となった干渉物を特定し、その情報を表示制御部２１８に出力する。表示制御部２１８は、干渉物の位置や形状等を例えば文字列や画像等によって表示部２３に表示させる。
　次に、図９は、ロボットシステム１３によるロボット制御処理の一例を説明するフローチャートである。
　該ロボット制御処理は、例えばユーザからの所定の操作に応じて開始される。なお、ステップＳ３１～ステップＳ３８の処理は、ロボットシステム１１によるロボット制御処理（図５）におけるステップＳ１～ステップＳ８の処理と同様であるため、その説明は省略する。
　ステップＳ３６において、再把持判断部２１４により組付け作業が不可能と判断された場合（ステップＳ３６でＮＯ）、干渉物特定部２１６が、軌道が探索できない要因となった干渉物を特定し、その情報を表示制御部２１８に出力し、表示制御部２１８が、干渉物の位置や形状等を例えば文字列や画像等によって表示部２３に表示させる（ステップＳ３９）。
　次に、表示制御部２１８が、組付け作業を実行できない旨を表すアラート画面を表示部２３に表示させる（ステップＳ４０）。以上で、ロボット制御処理は終了される。
　以上に説明したロボットシステム１３によるロボット制御処理によれば、ロボットシステム１１によるロボット制御処理（図５）と同様の作用、効果を得ることができる。さらに、ロボットシステム１３によるロボット制御処理によれば、軌道の妨げとなっている干渉物をユーザが把握できるので、干渉物を移動させる等のユーザによる対処立案を容易にすることが可能となる。
　本発明は、上述した実施形態に限定されるものではなく、様々な変形が可能である。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えたり、追加したりすることが可能である。なお、干渉物特定部２１６をロボットシステム１２（図６）に追加するようにしてもよい。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１１～１３・・・ロボットシステム、２０・・・制御装置、２１・・・演算部、２１１・・・動作計画部、２１２・・・把持調整部、２１３・・・シミュレーション実行部、２１４・・・再把持判断部、２１５・・・閾値判定部、２１６・・・干渉物特定部、２１８・・・表示制御部、２２・・・記憶部、２２１・・・ロボット構成情報、２２２・・・軌道始点・終点情報、２２３・・・干渉物構成情報、２２４・・・把持対象物情報、２２５・・・軌道情報、２２６・・・学習済モデル、２２７・・・誤差閾値情報、２３・・・表示部、２４・・・入力部、２５・・・通信部、３０・・・コントローラ、４０・・・ロボット、４１・・・アーム部、４２・・・ハンド部、４３・・・触覚センサ、４４・・・視覚センサ、５１・・・特徴量抽出部、５２・・・誤差推定部、５３・・・把持力調整部

Claims (9)

  1. 　ワークの組付け作業を実行するロボットと、前記ロボットを制御する制御装置と、を備えるロボットシステムであって、
    　前記制御装置は、
    　　前記ロボットによる動作の始点から終点に至る軌道を決定して軌道情報を生成する動作計画部と、
    　　前記軌道情報に基づいて前記ロボットが実際に前記ワークを把持した際の前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つについて、計画時との誤差を推定する把持調整部と、
    　　推定された前記誤差を解消する方向に前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つを調整した上で前記組付け作業の動作シミュレーションを実行することにより新たに軌道を生成するシミュレーション実行部と、
    　　前記シミュレーション実行部により軌道が生成されたか否かに基づいて、前記組付け作業の可否を判断する再把持判断部と、を有する
    　ことを特徴とするロボットシステム。
  2. 　請求項１に記載のロボットシステムであって、
    　前記シミュレーション実行部は、推定された前記誤差を解消する方向に前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つを調整したことによって移動される前記始点から干渉領域を通過することなく前記終点に至る前記新たな軌道を生成する
    　ことを特徴とするロボットシステム。
  3. 　請求項１に記載のロボットシステムであって、
    　前記ロボットは、触覚センサ及び視覚センサの少なくとも一方を有し、
    　前記把持調整部は、前記触覚センサ及び前記視覚センサの少なくとも一方が出力したセンサデータに基づき、前記誤差を推定する
    　ことを特徴とするロボットシステム。
  4. 　請求項３に記載のロボットシステムであって、
    　前記把持調整部は、前記センサデータの特徴量を入力として前記誤差を出力する学習モデルを用いることにより前記誤差を推定する
    　ことを特徴とするロボットシステム。
  5. 　請求項１に記載のロボットシステムであって、
    　前記制御装置は、
    　　前記再把持判断部による前記組付け作業の可否の判断結果を表示部に表示させる表示制御部、を有する
    　ことを特徴とするロボットシステム。
  6. 　請求項１に記載のロボットシステムであって、
    　前記制御装置は、
    　　推定された前記誤差が所定の閾値以下であるか否かを判定する閾値判定部、を有し、
    　前記シミュレーション実行部及び前記再把持判断部は、前記閾値判定部により前記誤差が所定の閾値以下ではないと判定された場合、それぞれの処理を繰り返し実行する
    　ことを特徴とするロボットシステム。
  7. 　請求項１に記載のロボットシステムであって、
    　前記制御装置は、
    　　前記再把持判断部により、前記シミュレーション実行部で軌道が生成されなかったことにより前記組付け作業が不可能と判断された場合、前記シミュレーション実行部による軌道生成の妨げとなった干渉物を特定する干渉物特定部と、
    　　特定された前記干渉物に関する情報を表示部に表示させる表示制御部と、
    　を有する
    　ことを特徴とするロボットシステム。
  8. 　ワークの組付け作業を実行するロボットを制御する制御装置であって、
    　前記ロボットによる動作の始点から終点に至る軌道を決定して軌道情報を生成する動作計画部と、
    　前記軌道情報に基づいて前記ロボットが実際に前記ワークを把持した際の前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つについて、計画時との誤差を推定する把持調整部と、
    　推定された前記誤差を解消する方向に前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つを調整した上で前記組付け作業の動作シミュレーションを実行することにより新たに軌道を生成するシミュレーション実行部と、
    　前記シミュレーション実行部により軌道が生成されたか否かに基づいて、前記組付け作業の可否を判断する再把持判断部と、
    　を備えることを特徴とする制御装置。
  9. 　ワークの組付け作業を実行するロボットを制御する制御装置による制御方法であって、
    　前記ロボットによる動作の始点から終点に至る軌道を決定して軌道情報を生成し、
    　前記軌道情報に基づいて前記ロボットが実際に前記ワークを把持した際の前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つについて、計画時との誤差を推定し、
    　推定された前記誤差を解消する方向に前記ロボットの把持位置、姿勢、及び把持力のうちの少なくとも一つを調整した上で前記組付け作業の動作シミュレーションを実行することにより新たに軌道を生成し、
    　前記動作シミュレーションにより軌道が生成されたか否かに基づいて、前記組付け作業の可否を判断する
    　ステップを含むことを特徴とする制御方法。
PCT/JP2021/001844 2020-06-09 2021-01-20 ロボットシステム、制御装置、及び制御方法 WO2021250923A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020099821A JP7479205B2 (ja) 2020-06-09 2020-06-09 ロボットシステム、制御装置、及び制御方法
JP2020-099821 2020-06-09

Publications (1)

Publication Number Publication Date
WO2021250923A1 true WO2021250923A1 (ja) 2021-12-16

Family

ID=78847192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001844 WO2021250923A1 (ja) 2020-06-09 2021-01-20 ロボットシステム、制御装置、及び制御方法

Country Status (2)

Country Link
JP (1) JP7479205B2 (ja)
WO (1) WO2021250923A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024877A1 (ja) * 2022-07-29 2024-02-01 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 商品移動装置及びその制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009045678A (ja) * 2007-08-16 2009-03-05 Yaskawa Electric Corp ロボットの作業成否判定方法およびロボットシステム
US20150239127A1 (en) * 2014-02-25 2015-08-27 Gm Global Technology Operations Llc. Visual debugging of robotic tasks
JP2017144498A (ja) * 2016-02-15 2017-08-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP2017177283A (ja) * 2016-03-30 2017-10-05 セイコーエプソン株式会社 ロボット制御装置、ロボットおよびシミュレーション装置
JP2018126796A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2019171501A (ja) * 2018-03-27 2019-10-10 日本電産株式会社 ロボットの干渉判定装置、ロボットの干渉判定方法、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2255930A1 (de) 2009-05-27 2010-12-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009045678A (ja) * 2007-08-16 2009-03-05 Yaskawa Electric Corp ロボットの作業成否判定方法およびロボットシステム
US20150239127A1 (en) * 2014-02-25 2015-08-27 Gm Global Technology Operations Llc. Visual debugging of robotic tasks
JP2017144498A (ja) * 2016-02-15 2017-08-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP2017177283A (ja) * 2016-03-30 2017-10-05 セイコーエプソン株式会社 ロボット制御装置、ロボットおよびシミュレーション装置
JP2018126796A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2019171501A (ja) * 2018-03-27 2019-10-10 日本電産株式会社 ロボットの干渉判定装置、ロボットの干渉判定方法、プログラム

Also Published As

Publication number Publication date
JP2021192944A (ja) 2021-12-23
JP7479205B2 (ja) 2024-05-08

Similar Documents

Publication Publication Date Title
US11161247B2 (en) Robot trajectory generation method, robot trajectory generation apparatus, storage medium, and manufacturing method
Abu-Dakka et al. Adaptation of manipulation skills in physical contact with the environment to reference force profiles
US9387589B2 (en) Visual debugging of robotic tasks
Kruse et al. A sensor-based dual-arm tele-robotic system
Bagnell et al. An integrated system for autonomous robotics manipulation
Pastor et al. Towards associative skill memories
JP5686775B2 (ja) ロボット制御インターフェイスの動的最適化のための方法
CN110573308A (zh) 机器人***的混合现实辅助空间编程
Felip et al. Manipulation primitives: A paradigm for abstraction and execution of grasping and manipulation tasks
WO2021097166A1 (en) Tactile dexterity and control
JP6322949B2 (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP2022176917A (ja) ロボットデバイスを制御するための方法
WO2021250923A1 (ja) ロボットシステム、制御装置、及び制御方法
JP2015071207A (ja) ロボットハンドおよびその制御方法
Süberkrüb et al. Feel the tension: Manipulation of deformable linear objects in environments with fixtures using force information
Guanglong et al. Human–manipulator interface using hybrid sensors with Kalman filters and adaptive multi-space transformation
Wang et al. Learning robotic insertion tasks from human demonstration
Huckaby et al. Modeling robot assembly tasks in manufacturing using sysml
TWI781708B (zh) 學習裝置、學習方法、學習程式、控制裝置、控制方法及控制程式
Du et al. Human‐Manipulator Interface Using Particle Filter
JP7504398B2 (ja) 軌道生成装置、軌道生成方法、及び軌道生成プログラム
KR20220086971A (ko) 손 관절을 추적하는 방법 및 장치
JP7159525B2 (ja) ロボット制御装置、学習装置、及びロボット制御システム
US20210197374A1 (en) Composability framework for robotic control system
Perumal et al. Physical interaction and control of robotic systems using hardware-in-the-loop simulation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21821151

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21821151

Country of ref document: EP

Kind code of ref document: A1