WO2023200011A1 - 遠隔制御システム、ロボットの遠隔制御方法及び遠隔制御プログラム - Google Patents

遠隔制御システム、ロボットの遠隔制御方法及び遠隔制御プログラム Download PDF

Info

Publication number
WO2023200011A1
WO2023200011A1 PCT/JP2023/015227 JP2023015227W WO2023200011A1 WO 2023200011 A1 WO2023200011 A1 WO 2023200011A1 JP 2023015227 W JP2023015227 W JP 2023015227W WO 2023200011 A1 WO2023200011 A1 WO 2023200011A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
user
remote control
contact
operating
Prior art date
Application number
PCT/JP2023/015227
Other languages
English (en)
French (fr)
Inventor
歩 岸田
仁志 蓮沼
雅幸 掃部
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Publication of WO2023200011A1 publication Critical patent/WO2023200011A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements

Definitions

  • the technology disclosed herein relates to a remote control system, a robot remote control method, and a remote control program.
  • Patent Document 1 discloses a remote control system that includes a robot and an operating device that are physically located apart from each other.
  • an image of the robot is displayed on a display device.
  • the user remotely controls the robot by operating the operating device while viewing the display device.
  • the user checks the status of the robot via the display device. Therefore, the accuracy with which the user can confirm the robot's situation depends on the quality of the image displayed on the display device. If image quality is improved to increase confirmation accuracy, there will be a delay in the image displayed on the display device, which may cause a time lag in confirming the robot's situation.
  • the technology disclosed herein has been developed in view of this point, and its purpose is to enable a user to accurately judge the situation of a robot when remotely controlling the robot.
  • the remote control system disclosed herein includes a robot, an operating device that receives input from a user, a display device that presents an image of the robot to the user, a tactile device that provides stimulation to the user's tactile sense, and a control device that receives input from a user. a controller for controlling the robot based on input to the device, the controller activating the haptic device when the robot contacts another object.
  • the robot remote control system disclosed herein includes a robot, an operating device that receives input from a user, a display device that presents an image of the robot to the user, and a tactile device that provides stimulation to the user's tactile sense. and a control device that causes the robot to perform a task including a plurality of steps based on an input to the operating device, the control device controlling the tactile sense upon completion of at least one of the plurality of steps. Activate the device.
  • the remote control method for a robot disclosed herein is a remote control method for a robot that controls the robot via an operating device, which includes receiving input from a user via the operating device, and controlling the robot via the operating device. operating the robot based on an input; presenting an image of the operating robot to the user via a display device; and stimulating the user's tactile sense when the robot comes into contact with another object. activating a haptic device to
  • the remote control program disclosed herein enables a computer to realize a function of controlling a remote control system that includes a robot, an operating device that receives input from a user, and a tactile device that provides stimulation to the user's tactile sense.
  • a remote control program having a function of accepting input from a user via the operating device, a function of operating the robot based on the input to the operating device, and a case where the robot comes into contact with another object. and a function of operating a tactile device that provides stimulation to the user's tactile sense.
  • the user can accurately judge the situation of the robot.
  • the user can accurately judge the robot's situation.
  • the user can accurately judge the situation of the robot.
  • FIG. 1 is a schematic diagram showing the configuration of a remote control system according to an embodiment.
  • FIG. 2 is a schematic front view of the hand 2.
  • FIG. 3 is a diagram showing a schematic hardware configuration of the control device 6.
  • FIG. 4 is a functional block diagram of the control device 6.
  • FIG. 5 is a flowchart of remote control.
  • FIG. 6 is a flowchart of remote control according to a modification.
  • FIG. 1 is a schematic diagram showing the configuration of a remote control system 100 according to an embodiment.
  • the remote control system 100 includes a robot 1, an operating device 4 that receives input from a user, a display device 52 that presents an image of the robot 1 to the user, a tactile device 8 that provides stimulation to the user's tactile sense, and an operating device. and a control device 6 that controls the robot 1 based on input to the robot 4.
  • the operating device 4, the display device 52, and the haptic device 8 are arranged at the first site S1 where the user is present.
  • the robot 1 is placed at a second site S2 different from the first site S1.
  • the control device 6 realizes remote control between the operating device 4 and the robot 1.
  • the operating device 4 functions as a master device, and the robot 1 functions as a slave device.
  • the remote control system 100 may further include an imaging device 51 that photographs the robot 1.
  • the imaging device 51 is arranged at the second site S2.
  • the display device 52 displays images captured by the imaging device 51.
  • the user remotely controls the robot 1 via the operating device 4 and causes the robot 1 to perform a predetermined task.
  • the imaging device 51 images the robot 1, and the display device 52 displays the captured image.
  • the user operates the operating device 4 while checking the image of the robot 1 displayed on the display device 52.
  • the user is given tactile stimulation from the haptic device 8 at appropriate timing. By receiving tactile stimulation from the tactile device 8, the user can learn that a predetermined event has occurred during remote operation.
  • the work performed by the robot 1 does not include teaching work and teaching confirmation and correction work. Therefore, the operating device 4 does not include a teach pendant.
  • Robot 1 is an industrial robot.
  • the robot 1 includes a robot arm 11 and a hand 2 connected to the robot arm 11 and provided with fingers 22 for opening and closing operations.
  • the robot arm 11 changes the position and posture of the hand 2.
  • the robot arm 11 is a vertically articulated robot arm.
  • the robot arm 11 includes a plurality of links 12, joints 13 connecting the plurality of links 12, a servo motor 14 (see FIG. 3) that rotationally drives the plurality of joints 13, and an encoder that detects the rotational position of the servo motor 14. 31 (see FIG. 3).
  • a link 12 located at one end of the robot arm 11 is connected to the base 10 via a joint 13 so as to be rotatable around a rotation axis extending in the vertical direction.
  • the robot arm 11 may be a horizontal multi-joint type, a parallel link type, a rectangular coordinate type, a polar coordinate type robot arm, or the like.
  • the hand 2 is an end effector of the robot arm 11.
  • the hand 2 is connected to the tip of the robot arm 11.
  • the hand 2 is connected to one of the plurality of links 12 at the end opposite to the link 12 connected to the base 10 .
  • the hand 2 can take various postures depending on the movement of the robot arm 11.
  • FIG. 2 is a schematic front view of the hand 2.
  • the hand 2 has a hand body 21 and two fingers 22 provided on the hand body 21.
  • the hand main body 21 is rotatably connected to the link 12 of the robot arm 11 around a predetermined rotation axis A.
  • the two fingers 22 are arranged side by side in a predetermined opening/closing direction X.
  • the two fingers 22 are arranged symmetrically with respect to a central axis Z that is substantially orthogonal to the opening/closing direction X.
  • the center axis Z is aligned with the rotation axis A substantially on a straight line.
  • the two fingers 22 perform an opening/closing operation in the opening/closing direction X.
  • the fingers 22 extend in a direction intersecting the opening/closing direction X. Specifically, the finger 22 extends substantially parallel to the central axis Z.
  • the hand 2 further includes a servo motor 23 that causes the two fingers 22 to perform opening/closing operations, and an encoder 32 that detects the rotational position of the servo motor 23.
  • the remote control system 100 further includes a sensor 3 that detects the force acting on the robot 1.
  • the sensor 3 includes a contact force sensor 33 that detects the force acting on the finger 22 from the surface on which the workpiece W is placed.
  • the contact force sensor 33 is provided on the hand 2, as shown in FIG. Specifically, the contact force sensor 33 is provided at a portion of the hand 2 that connects to the robot arm 11 .
  • the contact force sensor 33 detects a force in the direction of the central axis Z of at least two fingers 22, that is, in the direction of the rotation axis A of the hand 2 with respect to the link 12.
  • the contact force sensor 33 detects forces in the directions of three orthogonal axes including the direction of the central axis Z of the finger 22 and moments around the three axes.
  • the hand 2 When gripping the workpiece W, the hand 2 usually moves in the direction of the central axis Z and comes into contact with the surface on which the workpiece W is placed. That is, the contact force sensor 33 detects the contact force acting on the finger 22 from the surface on which the workpiece W is placed. Note that the contact force sensor 33 may detect only force in one, two, or three axes. Contact force sensor 33 is an example of a first sensor.
  • the encoder 31 and the encoder 32 are included in the sensor 3. Although details will be described later, if the deviation between the current rotational position of the servo motor 14 detected by the encoder 31 and the target rotational position is large, the robot arm 11 is in contact with another object, that is, the robot 1 An external force is acting on the Similarly, if the deviation between the current rotational position of the servo motor 23 and the target rotational position detected by the encoder 32 is large, the finger 22 is in contact with another object, that is, an external force is acting on the robot 1. are doing. That is, the encoder 31 and the encoder 32 each also function as a sensor that detects the force acting on the robot 1.
  • the encoder 32 corresponds to a second sensor that detects the force acting on the finger 22 from the workpiece W in the opening/closing direction X of the finger 22.
  • the operating device 4 includes an input section 41 through which a user performs input operations.
  • the input section 41 includes a direction key 41a, a first input button 41b, a second input button 41c, a third input button 41d, and a fourth input button 41e.
  • the operating device 4 receives input for remotely controlling the robot 1, and outputs operating information, which is input information, to the control device 6.
  • the operating device 4 allows various operation inputs by combinations of the direction key 41a, the first input button 41b, the second input button 41c, the third input button 41d, and the fourth input button 41e.
  • the user when operating the robot arm 11, the user can input movement of the hand 2 in the direction corresponding to the direction key 41a among the front, back, right, and left directions by operating the direction key 41a. At this time, the user can input vertical movement of the hand 2 using the second input button 41c and the fourth input button 41e.
  • the user When operating the finger 22, the user inputs a closing motion of the finger 22 by operating the first input button 41b, and inputs an opening motion of the finger 22 by operating the third input button 41d. I can do it.
  • the user can input a desired command by selecting one command from the command options displayed on the display device 52 using the direction key 41a and deciding on the command using the first input button 41b. I can do it.
  • the imaging device 51 is arranged at the second site S2. Specifically, the imaging device 51 is attached to the tip of the robot arm 11. The imaging device 51 photographs the robot 1, specifically, the hand 2. The imaging device 51 outputs the captured image to the control device 6.
  • the display device 52 is arranged at a position where the user can view it while operating the operating device 4.
  • the display device 52 displays images taken by the imaging device 51 and transmitted from the control device 6.
  • the display device 52 assists the user who operates the operating device 4 by displaying captured images of the robot 1.
  • the haptic device 8 includes, for example, a voice coil motor 81.
  • the haptic device 8 is, for example, worn on the user's wrist.
  • the haptic device 8 generates vibrations by operating the voice coil motor 81.
  • the tactile device 8 provides stimulation to the user's tactile sense through the vibration of the voice coil motor 81 .
  • the haptic device 8 can change the vibration mode.
  • the vibration mode includes amplitude, frequency, repetition period or rhythm, and the like.
  • the haptic device 8 can adjust the amplitude, ie, the magnitude of vibration, by adjusting the current applied to the voice coil motor 81.
  • the haptic device 8 can adjust the magnitude of vibration in three levels.
  • the haptic device 8 can alternatively generate a first vibration that is relatively small, a second vibration that is larger than the first vibration, and a third vibration that is larger than the second vibration.
  • the first vibration, the second vibration, and the third vibration may be continuous vibrations or may be intermittent vibrations.
  • the vibration modes of the first vibration, second vibration, and third vibration may be unified or may be different from each other.
  • the haptic device 8 may adjust the frequency of vibration in addition to or instead of the amplitude. Furthermore, the haptic device 8 can generate an alarm vibration in addition to the first vibration, second vibration, and third vibration. For example, the amplitude of the alarm vibration is larger than the first vibration, the second vibration, and the third vibration, and the vibration mode of the alarm vibration is different from the first vibration, the second vibration, and the third vibration.
  • the robot 1 , the sensor 3 , the operating device 4 , the imaging device 51 , the display device 52 , and the tactile device 8 are connected to the control device 6 .
  • the control device 6 operates the robot 1 based on operation information from the operating device 4. Specifically, the control device 6 causes the robot 1 to perform a task including a plurality of steps based on input to the operating device 4. For example, the control device 6 causes the robot 1 to perform picking work for the work W. In this example, the control device 6 does not perform force control and position control of the operating device 4 based on the state of the robot 1.
  • the control device 6 performs so-called unilateral control, which controls the robot 1 in one direction based on operation information from the operating device 4 .
  • the control device 6 transmits the captured image from the imaging device 51 to the display device 52. Furthermore, the control device 6 controls the haptic device 8 according to the situation of the robot 1. Specifically, the control device 6 presents the state of contact of the robot 1 with another object to the user's tactile sense via the tactile device 8 . In this way, the control device 6 controls the robot 1, presents the photographed image, and controls the haptic device 8 in parallel.
  • FIG. 3 is a diagram showing a schematic hardware configuration of the control device 6.
  • the control device 6 includes a main control device 60 and a robot control device 7.
  • the main controller 60 transmits and receives information, commands, data, etc. to and from the robot controller 7.
  • the main controller 60 receives a signal from the operating device 4 and outputs a command to the robot controller 7.
  • the robot control device 7 applies current to the servo motor 14 or 23 based on the command.
  • the robot control device 7 receives a signal from the encoder 31 or 32 and performs feedback control on the servo motor 14 or 23.
  • the robot control device 7 receives signals from the encoder 31 , the encoder 32 and the contact force sensor 33 , and an image signal from the imaging device 51 , and outputs the received signals to the main control device 60 .
  • the main control device 60 outputs the image signal from the imaging device 51 to the display device 52.
  • Main controller 60 controls haptic device 8 based on signals from encoder 32 and contact force sensor 33 .
  • the robot control device 7 includes a control section 71, a storage section 72, and a memory 73.
  • the main controller 60 includes a control section 61, a storage section 62, and a memory 63.
  • the control unit 71 controls the entire robot control device 7.
  • the control unit 61 controls the main control device 60 as a whole.
  • the control unit 71 and the control unit 61 each perform various calculation processes.
  • each of the control unit 71 and the control unit 61 is formed of a processor such as a CPU (Central Processing Unit).
  • Each of the control unit 71 and the control unit 61 may be formed of an MCU (Micro Controller Unit), an MPU (Micro Processor Unit), an FPGA (Field Programmable Gate Array), a PLC (Programmable Logic Controller), a system LSI, etc. .
  • the storage unit 72 stores programs executed by the control unit 71 and various data.
  • the storage unit 62 stores programs executed by the control unit 61 and various data. Specifically, the storage unit 62 stores a remote control program 62a.
  • Each of the storage unit 72 and the storage unit 62 is formed of a nonvolatile memory, an HDD (Hard Disc Drive), an SSD (Solid State Drive), or the like.
  • the memory 73 and the memory 63 each temporarily store data and the like.
  • each of the memory 73 and the memory 63 is formed of volatile memory.
  • FIG. 4 is a functional block diagram of the control device 6.
  • the control unit 61 implements various functions by reading the remote control program 62a from the storage unit 62 into the memory 63 and developing it. Specifically, the control section 61 functions as an input processing section 64 , a command position generation section 65 , a command angle conversion section 66 , an image processing section 67 , and a haptic control section 68 .
  • the control unit 71 implements various functions by reading programs from the storage unit 72 into the memory 73 and developing them. Specifically, the control section 71 functions as a sensor processing section 74 , an operation control section 75 , and an imaging control section 76 .
  • the input processing unit 64 switches between a first mode in which the robot arm 11 is operated and a second mode in which the finger 22 is operated, based on the operation information from the operating device 4. For example, when the user operates the direction key 41a, the first input button 41b, or the second input button 41c, a mode switching command is input from the operating device 4 to the input processing unit 64.
  • the input processing unit 64 generates the command speed of the operation target in the current mode based on the operation information from the operation device 4.
  • the user inputs the moving direction of the hand 2 by operating the direction key 41a or the like.
  • the input processing unit 64 generates a commanded speed of the hand 2 based on the movement direction input from the operating device 4 .
  • the commanded speed is a so-called speed vector, and is defined by the moving direction and speed.
  • the speed is assumed to be constant.
  • the input processing unit 64 generates the command speed of the hand 2 based on the moving direction and speed input from the operating device 4.
  • the user inputs the moving direction of the finger 22, that is, the opening direction or the closing direction, by operating the direction key 41a or the like.
  • the input processing unit 64 generates a commanded speed of the finger 22 based on the movement direction input from the operating device 4 .
  • the commanded speed is a so-called speed vector, and is defined by the moving direction and speed.
  • the speed is assumed to be constant.
  • the input processing unit 64 generates the command speed of the finger 22 based on the moving direction and speed input from the operating device 4.
  • the command position generation unit 65 converts the command speed generated by the input processing unit 64 into a command position.
  • the command position generation unit 65 converts the command position of the hand 2 in the first mode, and converts the command position of the finger 22 in the second mode.
  • the commanded position of the hand 2 includes not only the position of the hand 2 but also the posture of the hand 2. Note that even when the fingers 22 open and close, the posture of the fingers 22 with respect to the hand body 21 does not change, so the commanded position of the fingers 22 does not include the posture of the fingers 22.
  • the command angle converter 66 converts the command position converted by the command position generator 65 into a command angle position of the servo motor.
  • the command angle conversion unit 66 obtains the angular position of each servo motor 14 corresponding to the command position of the hand 2 as the command angular position.
  • the command angle converter 66 determines the angular position of the servo motor 23 corresponding to the command position of the finger 22 as the command angular position.
  • the command angle converter 66 outputs the obtained command angle position to the robot control device 7.
  • the sensor processing unit 74 receives detection signals, that is, detection results, from the encoder 31, the encoder 32, and the contact force sensor 33.
  • the sensor processing section 74 outputs detection signals from the encoder 31 and the encoder 32 to the operation control section 75. Furthermore, the sensor processing unit 74 outputs detection signals from the encoder 31 , the encoder 32 , and the contact force sensor 33 to the main controller 60 .
  • the motion control unit 75 receives the command angular position from the main controller 60 and operates the robot 1 according to the command angular position. Specifically, upon receiving the commanded angular position of the servo motor 14, the operation control unit 75 determines a current command value for realizing the commanded angular position. The operation control unit 75 operates the robot arm 11 by applying a current corresponding to the current command value to the servo motor 14 . At this time, the operation control section 75 performs feedback control of the current applied to the servo motor 14 based on the detection signal of the encoder 31 from the sensor processing section 74 . This causes the hand 2 to move to the commanded position.
  • the operation control unit 75 determines a current command value for realizing the commanded angular position.
  • the operation control unit 75 operates the finger 22 by applying a current corresponding to the current command value to the servo motor 23 .
  • the operation control section 75 performs feedback control of the current applied to the servo motor 23 based on the detection signal of the encoder 32 from the sensor processing section 74 . This moves the finger 22 to the commanded position.
  • the imaging control unit 76 outputs a command to the imaging device 51 to cause the imaging device 51 to execute imaging.
  • the imaging control unit 76 receives a photographed image from the imaging device 51 and transmits the photographed image to the main control device 60.
  • the image processing unit 67 transfers the photographed image, that is, the image signal, received from the imaging device 51 to the display device 52. At this time, the image processing unit 67 may perform predetermined image processing on the captured image.
  • the haptic control unit 68 controls the haptic device 8. Specifically, the haptic control unit 68 determines whether the robot 1 has come into contact with another object, and vibrates the haptic device 8 if contact has occurred. The tactile control unit 68 determines the occurrence of contact based on the detection results of the sensor 3 including the encoder 31, the encoder 32, and the contact force sensor 33.
  • the contact force sensor 33 detects the contact force that the hand 2 receives from another object. Since the contact force sensor 33 detects at least the force in the direction of the central axis Z of the finger 22, it detects the contact force when the finger 22 contacts another object in the direction of the central axis Z.
  • the tactile control unit 68 determines that the finger 22 is in contact with another object when the contact force detected by the contact force sensor 33 is greater than or equal to a predetermined first threshold value.
  • the first threshold value is a contact force value that allows it to be determined that the hand 2 is in contact with another object, and is a relatively small value.
  • the haptic control unit 68 determines the deviation between the current angular position of the corresponding servo motor 14 of the robot arm 11 and the commanded angular position.
  • the deviation in the angular position of the servo motor 14 corresponds to the contact force that the robot arm 11 experiences from other objects.
  • the haptic control unit 68 determines that the robot arm 11 is in contact with another object when the deviation of the angular position is greater than or equal to a predetermined second threshold.
  • the second threshold value is a deviation value corresponding to a contact force that is sufficient to determine that the robot arm 11 has contacted another object.
  • the haptic control unit 68 determines the deviation between the current angular position of the servo motor 23 of the hand 2 and the commanded angular position based on the detection result of the encoder 32.
  • the deviation in the angular position of the servo motor 23 corresponds to the contact force that the finger 22 receives from another object in the opening/closing direction X.
  • the haptic control unit 68 determines that the finger 22 is in contact with another object when the deviation of the angular position is larger than a predetermined third threshold.
  • the third threshold value is a value of the deviation corresponding to the gripping force of the workpiece W by the fingers 22.
  • the haptic control unit 68 determines that the finger 22 is in contact with another object.
  • the tactile control unit 68 recognizes the contacts detected by each of the encoder 31, encoder 32, and contact force sensor 33 as separate contacts. That is, the haptic control unit 68 determines the type of contact by the robot 1 based on which of the encoder 31, the encoder 32, and the contact force sensor 33 detects the contact. For example, if a contact is detected by each of the encoder 31 and the contact force sensor 33, the haptic control unit 68 determines that two different types of contact are occurring.
  • the haptic control unit 68 activates the haptic device 8.
  • the haptic control unit 68 operates the haptic device 8 for each different type of contact. Specifically, the haptic control unit 68 changes the operating mode of the haptic device 8 according to the number of types of contact occurring simultaneously. If one type of contact is occurring, the haptic control unit 68 outputs a command to the haptic device 8 to generate a first vibration. If two types of contact are occurring, the haptic control unit 68 outputs a command to the haptic device 8 to generate a second vibration. If three types of contact are occurring, the haptic control unit 68 outputs a command to the haptic device 8 to generate a third vibration. In either case, regardless of the type of contact, the haptic control unit 68 makes a judgment based only on the number of types of contact and outputs a corresponding command.
  • the haptic control unit 68 determines the magnitude of the contact force of the robot 1 and changes the operating mode of the haptic device 8 according to the magnitude of the contact force. Specifically, the haptic control unit 68 detects when the robot 1 contacts another object with a contact force large enough to forcibly stop the operation of the robot 1 (hereinafter referred to as "strong contact”). I'm monitoring to see if there are any.
  • strong contact is contact with a contact force that is greater than the contact force when it is determined that contact has occurred based on the detection results of each sensor.
  • the tactile control unit 68 determines that a strong contact by the finger 22 has occurred.
  • the haptic control unit 68 determines that a strong contact of the robot arm 11 has occurred.
  • the haptic control unit 68 determines that strong contact by the finger 22 in the opening/closing direction X has occurred.
  • the first upper limit, the second upper limit, and the third upper limit are values each corresponding to a contact force large enough to forcibly stop the operation of the robot 1.
  • the tactile control unit 68 outputs a command to the tactile device 8 to generate an alarm vibration.
  • the vibration mode of the alarm vibration is different from the first vibration, the second vibration, and the third vibration.
  • FIG. 5 is a flowchart of remote control.
  • the picking operation is an operation in which the robot 1 picks up the work W placed in the container C from a predetermined starting state and transfers it to the tray T.
  • the picking operation includes a first movement process in which the hand 2 is moved to the picking position, a gripping process in which the hand 2 is made to grip the workpiece W, and a second movement process in which the hand 2 gripping the workpiece W is moved to the transfer position. , and a release step of releasing the grip of the workpiece W by the hand 2.
  • images of the robot 1 taken by the imaging device 51 are displayed on the display device 52.
  • the user operates the operating device 4 while viewing the captured image of the robot 1 displayed on the display device 52.
  • Displaying the image of the robot 1 on the display device 52 corresponds to presenting an image of the robot 1 in action to the user via the display device 52.
  • step S101 the user inputs an operation to the operating device 4.
  • operation information is input from the operating device 4 to the control unit 61.
  • the input processing unit 64 of the control unit 61 receives operation information from the operating device 4 .
  • Step S101 corresponds to receiving input from the user via the operating device 4.
  • step S102 the control unit 61 causes the robot 1 to perform an operation according to the operation information.
  • the input processing unit 64 generates a command speed according to operation information from the operating device 4.
  • the command position generation unit 65 converts the command speed into a position command.
  • the command angle conversion section 66 converts the position command into a command angular position, and outputs the converted command angular position to the operation control section 75 .
  • the operation control unit 75 outputs a current for realizing the commanded angular position to the corresponding servo motor 14 or 23.
  • the operation control unit 75 performs feedback control of the applied current based on the detection signal of the encoder 31 or 32. In this way, the robot 1 executes operations according to the user's operations on the operating device 4.
  • Step S102 corresponds to operating the robot 1 based on the input to the operating device 4.
  • step S103 the control unit 61 determines whether the robot 1 has contacted another object.
  • the control unit 61 determines whether the robot 1 has contacted another object based on the detection results of the encoder 31, the encoder 32, and the contact force sensor 33. Specifically, when the contact force detected by the contact force sensor 33 is greater than or equal to the first threshold, when the deviation of the angular position of the servo motor 14 determined based on the detection result of the encoder 31 is greater than or equal to the second threshold, or when the encoder If the deviation of the angular position of the servo motor 23 determined based on the detection result of 32 is equal to or greater than the third threshold value, the haptic control unit 68 determines that contact has occurred.
  • control unit 61 returns to step S101 and repeats the processing from step S101.
  • the robot 1 continuously operates in response to the user's operation of the operating device 4.
  • step S104 the control unit 61 determines whether the contact that has occurred is a strong contact. Specifically, if the contact force used in the determination in step S103, the deviation in the angular position of the servo motor 14, or the deviation in the angular position of the servo motor 23 is greater than or equal to the corresponding upper limit value, the haptic control unit 68 , the tactile control unit 68 determines that strong contact has occurred.
  • the haptic control unit 68 outputs a command to generate an alarm vibration to the haptic device 8 in step S105.
  • the haptic device 8 generates an alarm vibration.
  • the user can know from the alarm vibration of the haptic device 8 that the robot 1 is in contact with another object with a large contact force. Thereby, the user can stop the operation of the robot 1 or operate the robot 1 so as to eliminate contact with the robot 1.
  • the control unit 61 may forcibly stop the robot 1.
  • the haptic control unit 68 determines the number N of types of contacts occurring simultaneously (hereinafter referred to as "number N of contacts") in step S106. If the number of contacts N is 1, the haptic control unit 68 outputs a command to generate the first vibration to the haptic device 8 in step S107. When the number of contacts N is 2, the haptic control unit 68 outputs a command to generate the second vibration to the haptic device 8 in step S108. If the number of contacts N is 3, the haptic control unit 68 outputs a command to generate the third vibration to the haptic device 8 in step S109. The haptic device 8 generates vibrations according to the command. Steps S105, S107, S108, and S109 correspond to activating the tactile device 8 that provides stimulation to the user's tactile sense when the robot 1 comes into contact with another object.
  • the haptic device 8 when the robot 1 comes into contact with another object while the robot 1 is operating, the haptic device 8 generates vibrations to notify the user of the occurrence of the contact.
  • the user can recognize the occurrence of contact by the vibration of the haptic device 8.
  • the user can determine what kind of contact is occurring from the image of the robot 1 displayed on the display device 52.
  • a task may include steps that involve contact upon completion.
  • the user may be notified of an unexpected contact in a portion that cannot be confirmed on the display device 52. You can know that contact has occurred. Furthermore, if the vibration of the haptic device 8 at that time is an alarm vibration, it can be known that the unexpected contact is accompanied by a relatively large contact force. Thereby, the user can make the robot 1 take an avoidance action.
  • the user first causes the robot 1 to perform the first movement process. Specifically, the user operates the operating device 4 to set the first mode. The user moves the hand 2 toward the grasping position by operating the direction key 41a and, if necessary, the second input button 41c or the fourth input button 41e while viewing the display device 52.
  • the gripping position is the position of the workpiece W in the container C. Steps S101, S102, and S103 are repeated, and the hand 2 gradually moves from the starting position toward the gripping position. Basically, the user determines whether the hand 2 has reached the gripping position based on the image on the display device 52.
  • the contact force sensor 33 detects the contact force (step S103). Since the number of contacts N at this time is 1, the haptic control unit 68 causes the haptic device 8 to generate the first vibration (step S107).
  • the user senses the first vibration of the haptic device 8
  • the user can determine whether the finger 22 has touched the bottom surface of the container C or the like based on the operation details of the operating device 4 and the image of the robot 1 on the display device 52.
  • the fingers 22 contact the bottom surface of the container C, the hand 2 has almost reached the gripping position, so the user releases the contact with the fingers 22 and stops the movement of the robot 1.
  • the user can recognize from the image on the display device 52 that the hand 2 has approached the container C, and can also know from the vibration of the haptic device 8 that contact with the robot 1 has occurred. . This allows the user to eliminate accidental contact with the fingers 22 and accurately determine that the fingers 22 have almost reached the grasping position.
  • the user causes the robot 1 to perform the gripping process.
  • the user operates the operating device 4 to switch from the first mode to the second mode.
  • the user causes the finger 22 to perform a closing action by continuing to press the first input button 41b.
  • Steps S101, S102, and S103 are repeated, and the finger 22 approaches the workpiece W.
  • the tactile control unit 68 detects the contact of the finger 22 based on the detection result of the encoder 32 (step S103).
  • the number of contacts N becomes 1.
  • the haptic control unit 68 causes the haptic device 8 to generate a first vibration (step S107).
  • the user can know that the finger 22 has touched the workpiece W.
  • the user can determine whether the finger 22 is in contact with the user based on the operation content of the operating device 4 and the image of the robot 1 on the display device 52. Therefore, when the user senses the first vibration of the haptic device 8, the user determines that the grasping process has been completed and the user stop movement. Therefore, the contact at this time almost never reaches a strong contact.
  • the user can recognize from the image on the display device 52 that the finger 22 has approached the workpiece W, and can also know from the vibration of the haptic device 8 that contact with the robot 1 has occurred. . Thereby, the user can accurately determine the completion of the grasping process based on the vibration of the haptic device 8.
  • the user When the grasping process is completed, the user causes the robot 1 to perform the second movement process.
  • the user operates the operating device 4 to switch from the second mode to the first mode.
  • the user moves the hand 2 toward the transfer position by operating the direction key 41a and, if necessary, the second input button 41c or the fourth input button 41e while viewing the display device 52.
  • Steps S101, S102, and S103 are repeated, and the hand 2 gradually moves from the gripping position to the transfer position.
  • the detection of the contact of the finger 22 based on the encoder 32 continues, so the haptic device 8 continues to generate the first vibration.
  • the contact force sensor 33 detects the contact force that the finger 22 receives from the bottom surface of the tray T via the workpiece W (step S103).
  • the number of contacts N increases from 1 to 2, and the haptic control unit 68 causes the haptic device 8 to generate a second vibration (step S108).
  • the user can determine whether the workpiece W is in contact with the workpiece W based on the operation details of the operating device 4 and the image of the robot 1 on the display device 52. Therefore, when the user senses the second vibration of the tactile device 8, the user determines that the second movement step is complete and the robot Stop the movement of 1. Therefore, the contact at this time almost never reaches a strong contact.
  • contact of the workpiece W with the bottom surface of the tray T may not be confirmed from the image on the display device 52. Even in such a case, the user can recognize from the image on the display device 52 that the workpiece W has approached the bottom surface of the tray T, and can also recognize from the vibration of the tactile device 8 that contact with the robot 1 has occurred. You can get it. Thereby, the user can accurately determine the completion of the second movement step based on the vibration of the haptic device 8.
  • the user causes the robot 1 to execute the release step.
  • the user operates the operating device 4 to switch from the first mode to the second mode.
  • the user causes the finger 22 to perform an opening motion by continuing to press the third input button 41d.
  • Steps S101, S102, and S103 are repeated, and the finger 22 is separated from the workpiece W.
  • the contact force based on the encoder 32 becomes zero.
  • the contact force acting on the finger 22 from the bottom surface of the tray T via the workpiece W also becomes zero.
  • the haptic control section 68 stops the vibration of the haptic device 8. Since the haptic device 8 stops vibrating, the user can know that the contact with the finger 22 has been removed.
  • the user can determine whether to release the contact with the finger 22 based on the operation details of the operating device 4 and the image of the robot 1 on the display device 52, so when the user senses the first vibration of the haptic device 8, the user can determine that the release process is complete and release the finger. Stop the movement of 22.
  • the user can know that the contact of the robot 1 with the other object is eliminated by reducing or eliminating the vibration of the haptic device 8. Thereby, the user can accurately determine the completion of the release process by reducing or eliminating the vibration of the haptic device 8.
  • the picking work is completed. Note that the picking work may be completed by returning the robot 1 to the starting state after the release process.
  • the haptic device 8 generates an alarm vibration to notify the user of the occurrence of the contact with the robot 1. It can encourage you to take evasive action. In other words, when an unexpected contact occurs, a relatively large contact force may act on the robot 1 because the user does not immediately stop the operation of the robot 1. In particular, if a portion of the robot 1 that is not displayed on the display device 52 is in contact with another object, the user cannot know from the display device 52 that a contact has occurred, so a relatively large contact force may be applied. Likely to happen.
  • the tactile control unit 68 When the tactile control unit 68 detects a contact with a large contact force, it determines that a strong contact has occurred in step S104, and causes the tactile device 8 to generate an alarm vibration in step S105. This allows the user to know the occurrence of contact between the robot 1, which cannot be detected by the display device 52, and allows the user to quickly resolve the contact between the robot 1 and the robot 1.
  • the remote control system 100 notifies the user of the occurrence of contact by the robot 1 through the user's sense of touch using the haptic device 8.
  • the user determines the cause of the contact based on the operation of the operating device 4, the image of the robot 1 on the display device 52, the vibration mode, and the like. If the contact is related to completing a step, the user moves on to the next step. If the contact is unexpected, the user stops the operation of the robot 1 or causes the robot 1 to perform a contact cancellation operation. In other words, the user can accurately judge the situation of the robot 1.
  • the number of contacts N will never reach 3.
  • the haptic device 8 generates the third vibration.
  • the operating device 4 continuously inputs the continuous motion of the robot 1, that is, the motion trajectory. That is, the robot 1 operates while the input from the operating device 4 continues, and stops when the input from the operating device 4 stops.
  • the operation input from the operating device 4 is not limited to this.
  • a command may be input from the operating device 4, and the control device 6 may autonomously control the robot 1 to cause the robot 1 to perform an operation according to the command.
  • the user inputs multiple commands corresponding to multiple processes to the operating device 4.
  • the plurality of commands are an execution command for the first movement process, an execution command for the gripping process, an execution command for the second movement process, and an execution command for the release process.
  • execution commands for each process may be assigned to the first input button 41b, second input button 41c, third input button 41d, and fourth input button 41e of the operating device 4.
  • commands for each process are displayed as options on the display device 52, one command is selected using the direction key 41a, and the command is determined using the first input button 41b, whereby a desired command is controlled from the operating device 4.
  • Device 6 may be input.
  • the control device 6 causes the robot 1 to execute a process corresponding to a command input to the operating device 4.
  • the input processing unit 64 determines the process to be executed based on the operation information from the operating device 4.
  • the command position generation unit 65 generates a trajectory of the robot 1 for realizing an operation corresponding to the determined process.
  • the trajectory of the robot 1 may be generated based on preset teaching information, or may be generated by modifying the trajectory thus generated using an image captured by the imaging device 51.
  • the command position generation unit 65 sequentially outputs command positions for realizing the generated trajectory of the robot 1 to the command angle conversion unit 66.
  • the control contents of the command angle converter 66 and the motion control section 75 are the same as in the case of continuous motion input described above.
  • the user inputs an execution command for the first movement step via the operating device 4.
  • the control unit 61 operates the robot 1 so that the hand 2 moves from the starting position to the grasping position.
  • the user waits for the first movement process to be completed.
  • the hand 2 reaches the gripping position, the fingers 22 come into contact with the bottom surface of the container C.
  • the contact force sensor 33 detects the contact force, and the haptic device 8 generates a first vibration. Even if it is difficult for the user to judge whether the first movement process is complete based only on the image of the robot 1 on the display device 52, the user can accurately know the completion of the first movement process by the vibration of the haptic device 8.
  • the user When the user learns that the first movement process is completed, the user inputs a grasping process execution command via the operating device 4.
  • the control unit 61 causes the finger 22 to perform a closing operation. After inputting the grasping process execution command, the user waits for the grasping process to be completed.
  • the vibration of the haptic device 8 switches from the first vibration to the second vibration. It is difficult for the user to determine whether or not the fingers 22 have gripped the workpiece W with a predetermined gripping force only from the image of the robot 1 on the display device 52. The user can accurately know from the vibration of the tactile device 8 that the grasping of the workpiece W by the fingers 22 has been completed.
  • the user inputs an execution command for the second movement process via the operating device 4.
  • the control unit 61 operates the robot 1 so that the hand 2 moves from the container C to the tray T.
  • the user waits for the second movement process to be completed.
  • the finger 22 separates from the bottom surface of the container C, so the number of contacts N decreases from 2 to 1, and the vibration of the haptic device 8 switches from the second vibration to the first vibration.
  • the hand 2 reaches the tray T transfer position, the fingers 22 come into contact with the bottom surface of the tray T. Since the number of contacts N increases from 1 to 2, the vibration of the haptic device 8 switches from the first vibration to the second vibration. Even if it is difficult for the user to judge the completion of the second movement process based only on the image of the robot 1 on the display device 52, the user can accurately know the completion of the second movement process by the vibration of the haptic device 8.
  • the control unit 61 causes the finger 22 to perform an opening operation. After the user inputs the execution command for the release process, the user waits for the release process to be completed.
  • the vibration of the haptic device 8 switches from the second vibration to the first vibration. It is difficult for the user to determine the separation of the finger 22 from the workpiece W only from the image of the robot 1 on the display device 52. The user can accurately know from the vibration of the tactile device 8 that the release of the grip on the workpiece W by the fingers 22 has been completed.
  • the user can know the completion of each step by the vibration of the haptic device 8. Therefore, the user does not need to wait for the completion of a process unnecessarily, and can smoothly move on to the next process.
  • the remote control system 100 includes the robot 1, the operating device 4 that receives input from the user, and the display device 52 that presents an image of the robot 1 to the user. , a tactile device 8 that applies stimulation to the user's tactile sense, and a control device 6 that controls the robot 1 based on input to the operating device 4. Activate the haptic device 8.
  • the contact between the robot 1 and another object which is difficult to judge based on only the image of the robot 1 on the display device 52, is detected by the actuation of the haptic device 8.
  • This allows the user to accurately understand the information.
  • the delay in images displayed on the display device is also reduced. In this way, the user can accurately judge the situation of the robot 1.
  • the control device 6 controls the robot to perform work including a plurality of steps based on the input to the operating device 4. and activates the haptic device 8 when the robot 1 comes into contact with another object upon completion of at least one of the plurality of steps.
  • the user can accurately know the completion of the process.
  • the haptic device 8 notifies the user of the occurrence of contact by the robot 1.
  • the user can accurately determine that the contact is the contact of the robot 1 at the completion of the process.
  • the operating device 4 receives input of a plurality of commands corresponding to a plurality of steps, and the control device 6 The robot is caused to execute a process corresponding to a command input to the device 4.
  • a command is input via the operating device 4, and the control device 6 causes the robot 1 to execute a process corresponding to the input command.
  • the user is notified of the contact of the robot 1 upon completion of the step by actuation of the haptic device 8. That is, the user can input a command via the operating device 4, wait for the completion of the process, and accurately know the completion of the process by operating the haptic device 8. As a result, the user can smoothly move on to the next step without having to wait unnecessarily for the completion of the step.
  • the control device 6 controls the operation mode of the haptic device 8 according to the number of types of contacts occurring simultaneously. change.
  • the control device 6 can notify the user of the number of types of contacts occurring simultaneously by the vibration mode of the haptic device 8. Even if a contact has already occurred and the haptic device 8 is activated, the user can know that a new type of contact will occur or that some of the contacts that have already occurred will be cancelled. .
  • the control device 6 determines the type of contact of the robot 1, The haptic device 8 is activated for each type of contact.
  • control device 6 can distinguish each type of contact even if multiple types of contact occur simultaneously.
  • the control device 6 determines the magnitude of the contact force of the robot 1. Then, the operating mode of the haptic device 8 is changed depending on the magnitude of the contact force.
  • the operating mode of the haptic device 8 is changed depending on the magnitude of the contact force.
  • the user can also know the magnitude of the contact force.
  • the remote control system 100 according to any one of the first to sixth aspects further includes a sensor 3 that detects a force acting on the robot 1, and a control device 6 determines the contact of the robot 1 with another object based on the detection result of the sensor 3.
  • control device 6 determines the contact of the robot 1 based on the detection result of the sensor 3.
  • the robot 1 is provided with a robot arm 11 and fingers 22 that perform opening/closing operations, and is connected to the robot arm 11.
  • the control device 6 causes the robot 1 to perform picking work of the workpiece W
  • the sensor 3 includes a contact force sensor 33 that detects the force acting on the finger 22 from the surface on which the workpiece W is placed. (first sensor) and an encoder 32 (second sensor) that detects the force acting on the finger 22 from the workpiece W in the opening/closing direction of the finger 22.
  • the fingers 22 of the hand 2 come into contact with the surface on which the workpiece W is placed, or the fingers 22 grip the workpiece W. That is, in the picking operation, the finger 22 contacts the device several times, and the finger 22 contacts the device at the timing when a part of the steps are completed. That is, in the picking operation, by notifying the user of the touch of the finger 22 using the tactile device 8, it is possible to notify the user that the process is substantially completed.
  • the remote control system 100 includes a robot 1, an operating device 4 that receives input from a user, and a display device 52 that presents an image of the robot 1 to the user. , a tactile device 8 that provides stimulation to the user's tactile sense, and a control device 6 that causes the robot 1 to perform a task that includes a plurality of steps based on input to the operating device 4.
  • the haptic device 8 is activated upon completion of at least one step of the steps of.
  • the user when remotely controlling the robot 1 using the operating device 4, the user can accurately know through the operation of the tactile device 8 that a process that is difficult to judge from the image of the robot 1 on the display device 52 has been completed. be able to. Furthermore, since there is no need to improve the image quality of the display device 52 in order to increase the accuracy of determining whether the robot 1 completes a process, the delay in images displayed on the display device is also reduced. In this way, the user can accurately judge the situation of the robot 1.
  • the control device 6 operates the haptic device 8 based on whether the process is completed. Then, the control device 6 determines the completion of the process based on whether or not contact with the robot 1 has occurred. In the above-mentioned picking operation, the contact status of the robot 1 changes when the process is completed. Therefore, activating the haptic device 8 based on a touch of the robot 1 is equivalent to activating the haptic device 8 based on the completion of a process. However, there are some operations in which the contact status of the robot 1 does not necessarily change upon completion of the process. In that case, the control device 6 may operate the haptic device 8 when the process is completed even if the robot 1 does not make contact.
  • step S104 the control unit 61 determines whether the robot 1 has contacted another object during the operation of the robot 1, but determines whether a strong contact has occurred in step S104.
  • the process in step S104 is the same as the flowchart in FIG. 5, and if strong contact has occurred, the haptic control unit 68 outputs a command to generate an alarm vibration to the haptic device 8 in step S105.
  • the control unit 61 determines whether the process is completed in step S206.
  • the control unit 61 operates the robot 1 based on the input to the operating device 4 by repeating steps S101 and S102.
  • the control unit 61 can determine completion of a process using various methods. As one method, the control unit 61 determines the completion of the process based on whether or not contact with the robot 1 has occurred. Some of the steps involve contact by the robot 1 upon completion. The control unit 61 can determine the completion of such a process based on the contact of the robot 1. For processes whose completion cannot be determined based on contact by the robot 1, the control unit 61 may determine completion based on an external signal, for example, an input from a user via the operating device 4. When the process is completed, the control unit 61 causes the haptic device 8 to generate vibrations in step S207. At this time, the control unit 61 may change the vibration mode of the haptic device 8 according to the number of contacts N, as described above.
  • a robot remote control method for controlling the robot 1 via the operating device 4 includes receiving an input from a user via the operating device 4, and inputting the input to the operating device 4. , to present an image of the robot 1 in motion to the user via the display device 52 , and to provide stimulation to the user's tactile sense when the robot 1 comes into contact with another object. activating the haptic device 8 to
  • the contact between the robot 1 and another object which is difficult to judge based on only the image of the robot 1 on the display device 52, is detected by the actuation of the haptic device 8.
  • This allows the user to accurately understand the information.
  • the delay in images displayed on the display device is also reduced. In this way, the user can accurately judge the situation of the robot 1.
  • the remote control program 62a is a remote control program 62a that includes a robot 1, an operating device 4 that receives input from a user, and a tactile device 8 that provides stimulation to the user's tactile sense.
  • This is a program for causing the control unit 61 (computer) to realize the function of controlling the control system 100, and has a function of accepting input from the user via the operating device 4 and controlling the robot 1 based on the input to the operating device 4.
  • the control unit 61 has a function of operating the tactile device 8 and a function of operating the tactile device 8 that provides stimulation to the user's tactile sense when the robot 1 comes into contact with another object.
  • the user when remotely controlling the robot 1 via the operating device 4, the user can accurately perceive the contact between the robot 1 and another object by operating the haptic device 8. Thereby, the user can accurately judge the situation of the robot 1.
  • the configuration of the remote control system 100 described above is only an example, and is not limited thereto.
  • the work performed by the robot 1 is not limited to picking work.
  • the work performed by the robot 1 may be a processing work.
  • the end effector of the robot arm 11 is not limited to the hand 2. The end effector may be changed depending on the work that the robot 1 performs.
  • the robot 1 is not limited to an industrial robot.
  • the robot 1 may be a medical robot.
  • the sensor 3 that detects the force acting on the robot 1 is not limited to the encoder 31, the encoder 32, and the contact force sensor 33. Force sensors other than these may also be provided. Further, the sensor 3 only needs to include at least one of the encoder 31, the encoder 32, and the contact force sensor 33, and does not need to include a part of the encoder 31, the encoder 32, and the contact force sensor 33. In addition, instead of the encoder 31 or the encoder 32, a current sensor that detects the current of the servo motor 14, a torque sensor that detects the torque of the servo motor 14, a current sensor that detects the current of the servo motor 23, or a current sensor that detects the current of the servo motor 23 may be used. It may also be a torque sensor or the like that detects torque. The force acting on the robot 1 can be detected based on the deviation between the current value and the target value of current or torque.
  • the imaging device 51 is not limited to the one attached to the robot arm 11.
  • the imaging device 51 may be fixedly placed at a position where it can photograph the robot 1.
  • the operating device 4 may have an operating section such as a joystick.
  • the operating device 4 may have an operating section such as a touch panel.
  • the input from the operating device 4 may include not only the direction of movement of the robot 1 but also the speed of movement of the robot 1.
  • the speed of movement may be input by tilting the joystick.
  • the haptic device 8 is not limited to the above configuration.
  • the haptic device 8 may be worn by the user in any manner as long as it can stimulate the user's sense of touch.
  • the haptic device 8 may be built into the operating device 4.
  • the vibration actuator of the haptic device 8 is not limited to the voice coil motor 81.
  • the vibration actuator of the haptic device 8 may be of the eccentric rotating mass type or the piezo type.
  • the haptic device 8 may have multiple vibration actuators.
  • the type of contact made by the robot 1 may be notified to the user by changing the combination of the plurality of vibration actuators according to various contacts made by the robot 1. For example, the user may be informed of the type of contact made by the robot 1 and the like using illusionary tactile technology.
  • the vibrations caused by the haptic device 8 are not limited to the first vibration, second vibration, third vibration, and alarm vibration.
  • the contact that can occur with the robot 1 may vary depending on the configuration of the robot 1, the work of the robot 1, and the like.
  • the vibration of the haptic device 8 can be set to correspond to the contact of the robot 1 that is assumed depending on the configuration of the robot 1, the work of the robot 1, and the like.
  • the vibration caused by the haptic device 8 may be changed in two or more stages.
  • the technology of the present disclosure may be a non-transitory computer-readable recording medium in which the remote control program 62a is recorded. Further, the remote control program 62a may be one that can be distributed via a transmission medium such as the Internet.
  • the flowchart is just an example. Steps in the flowchart may be changed, replaced, added, omitted, etc. as appropriate. Furthermore, the order of steps in the flowchart may be changed, or serial processing may be processed in parallel.
  • the functions achieved by the components described herein include general-purpose processors, special-purpose processors, integrated circuits, and ASICs (Application Specific Integrated Circuits) programmed to perform the described functions. It may be implemented in circuitry or processing circuitry, including a Central Processing Unit (CPU), conventional circuitry, and/or combinations thereof.
  • a processor includes transistors and other circuits and is considered a circuit or an operational circuit.
  • the processor may be a programmed processor that executes a program stored in memory.
  • a circuit, unit or means is hardware that is programmed to perform or performs the functions described.
  • the hardware may be any hardware disclosed herein or programmed to perform or known to perform the described functions. good.
  • the circuit, means or unit is a combination of hardware and software used to configure the hardware and/or processor. be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

遠隔制御システム１００は、ロボット１と、ユーザからの入力を受け付ける操作装置４と、ロボット１の画像をユーザに提示する表示装置５２と、ユーザの触覚に刺激を付与する触覚デバイス８と、操作装置４への入力に基づいてロボット１を制御する制御装置６とを備えている。制御装置６は、ロボット１が他の物体に接触した場合に触覚デバイス８を作動させる。

Description

遠隔制御システム、ロボットの遠隔制御方法及び遠隔制御プログラム
　ここに開示された技術は、遠隔制御システム、ロボットの遠隔制御方法及び遠隔制御プログラムに関する。
　従来より、操作装置を介してロボットを遠隔制御する技術が知られている。例えば、特許文献１には、物理的に互いに離間した位置に配置されたロボットと操作装置とを備えた遠隔制御システムが開示されている。この遠隔制御システムでは、ロボットの画像が表示装置に表示される。ユーザは、表示装置を観ながら操作装置を操作することによって、ロボットを遠隔操作する。
特開２０１０－８９２１１号公報
　前述のような遠隔制御システムにおいては、ユーザは、表示装置を介してロボットの状況を確認する。そのため、ユーザがロボットの状況を確認できる精度は、表示装置に表示される画像の画質に依存する。確認精度を高めるために画質を向上させると、表示装置に表示される画像に遅延が生じ、ロボットの状況確認にタイムラグが生じる虞がある。
　ここに開示された技術は、かかる点に鑑みてなされたものであり、その目的とするところは、ロボットの遠隔制御においてユーザがロボットの状況を的確に判断できるようにすることにある。
　ここに開示された遠隔制御システムは、ロボットと、ユーザからの入力を受け付ける操作装置と、前記ロボットの画像をユーザに提示する表示装置と、ユーザの触覚に刺激を付与する触覚デバイスと、前記操作装置への入力に基づいて前記ロボットを制御する制御装置とを備え、前記制御装置は、前記ロボットが他の物体に接触した場合に前記触覚デバイスを作動させる。
　また、ここに開示されたロボットの遠隔制御システムは、ロボットと、ユーザからの入力を受け付ける操作装置と、前記ロボットの画像をユーザに提示する表示装置と、ユーザの触覚に刺激を付与する触覚デバイスと、前記操作装置への入力に基づいて、複数の工程が含まれる作業を前記ロボットに実行させる制御装置とを備え、前記制御装置は、前記複数の工程の少なくとも１つの工程の完了時に前記触覚デバイスを作動させる。
　ここに開示されたロボットの遠隔制御方法は、操作装置を介してロボットを制御するロボットの遠隔制御方法であって、前記操作装置を介したユーザからの入力を受け付けることと、前記操作装置への入力に基づいて前記ロボットを動作させることと、動作する前記ロボットの画像を表示装置を介してユーザに提示することと、前記ロボットが他の物体に接触した場合に、ユーザの触覚に刺激を付与する触覚デバイスを作動させることとを含む。
　ここに開示された遠隔制御プログラムは、ロボットと、ユーザからの入力を受け付ける操作装置と、ユーザの触覚に刺激を付与する触覚デバイスとを備えた遠隔制御システムを制御する機能をコンピュータに実現させるための遠隔制御プログラムであって、前記操作装置を介したユーザからの入力を受け付ける機能と、前記操作装置への入力に基づいて前記ロボットを動作させる機能と、前記ロボットが他の物体に接触した場合に、ユーザの触覚に刺激を付与する触覚デバイスを作動させる機能とをコンピュータに実現させる。
　前記遠隔制御システムによれば、ユーザがロボットの状況を的確に判断できる。
　前記ロボットの遠隔制御方法によれば、ユーザがロボットの状況を的確に判断できる。
　前記遠隔制御プログラムによれば、ユーザがロボットの状況を的確に判断できる。
図１は、実施形態に係る遠隔制御システムの構成を示す模式図である。 図２は、ハンド２の模式的な正面図である。 図３は、制御装置６の概略的なハードウェア構成を示す図である。 図４は、制御装置６の機能ブロック図である。 図５は、遠隔制御のフローチャートである。 図６は、変形例に係る遠隔制御のフローチャートである。
　以下、例示的な実施形態を図面に基づいて詳細に説明する。図１は、実施形態に係る遠隔制御システム１００の構成を示す模式図である。
　遠隔制御システム１００は、ロボット１と、ユーザからの入力を受け付ける操作装置４と、ロボット１の画像をユーザに提示する表示装置５２と、ユーザの触覚に刺激を付与する触覚デバイス８と、操作装置４への入力に基づいてロボット１を制御する制御装置６とを備えている。操作装置４、表示装置５２及び触覚デバイス８は、ユーザがいる第１サイトＳ１に配置されている。ロボット１は、第１サイトＳ１とは別の第２サイトＳ２に配置されている。制御装置６は、操作装置４とロボット１との間で遠隔制御を実現する。操作装置４は、マスタ装置として機能し、ロボット１は、スレーブ装置として機能する。
　遠隔制御システム１００は、ロボット１を撮影する撮像装置５１をさらに備えていてもよい。撮像装置５１は、第２サイトＳ２に配置されている。表示装置５２は、撮像装置５１による撮影画像を表示する。
　遠隔制御システム１００によれば、ユーザは操作装置４を介してロボット１を遠隔操作し、ロボット１に所定の作業を実行させる。このとき、撮像装置５１は、ロボット１を撮像し、その撮像画像を表示装置５２が表示する。ユーザは、表示装置５２に表示されたロボット１の画像を確認しながら操作装置４を操作する。それに加えて、ユーザは、適宜のタイミングで触覚デバイス８から触覚への刺激を与えられる。ユーザは、触覚デバイス８から触覚刺激を与えられることによって、所定の事象が発生したことを遠隔操作中に知得することができる。
　尚、本開示において、ロボット１が行う作業は、ティーチング作業並びに教示の確認及び修正作業を含まない。したがって、操作装置４は、ティーチペンダントを含まない。
　［ロボット］
　ロボット１は、産業用ロボットである。ロボット１は、ロボットアーム１１と、開閉動作を行う指２２が設けられ、ロボットアーム１１に連結されたハンド２とを有している。
　ロボットアーム１１は、ハンド２の位置及び姿勢を変更する。ロボットアーム１１は、垂直多関節型のロボットアームである。ロボットアーム１１は、複数のリンク１２と、複数のリンク１２を接続する関節１３と、複数の関節１３を回転駆動するサーボモータ１４（図３参照）と、サーボモータ１４の回転位置を検出するエンコーダ３１（図３参照）とを有している。例えば、ロボットアーム１１の一端部に位置するリンク１２は、関節１３を介して、鉛直方向に延びる回転軸回りに回転可能にベース１０に連結されている。尚、ロボットアーム１１は、水平多関節型、パラレルリンク型、直角座標型、又は極座標型のロボットアーム等であってもよい。
　ハンド２は、ロボットアーム１１のエンドエフェクタである。ハンド２は、ロボットアーム１１の先端に連結されている。具体的には、ハンド２は、複数のリンク１２のうちベース１０に連結されているリンク１２とは反対側の端部のリンク１２に連結されている。ハンド２は、ロボットアーム１１の動作によって様々な姿勢をとることができる。
　図２は、ハンド２の模式的な正面図である。ハンド２は、ハンド本体２１と、ハンド本体２１に設けられた２本の指２２を有している。ハンド本体２１は、ロボットアーム１１のリンク１２に対して所定の回転軸Ａ回りに回転可能に連結されている。２本の指２２は、所定の開閉方向Ｘに並んで配置されている。具体的には、２本の指２２は、開閉方向Ｘに略直交する中心軸Ｚに対して対称に配置されている。中心軸Ｚは、回転軸Ａと略直線上に並んでいる。２本の指２２は、開閉方向Ｘへ開閉動作を行う。指２２は、開閉方向Ｘと交差する方向に延びている。具体的には、指２２は、中心軸Ｚと略平行に延びている。ハンド２は、２本の指２２に開閉動作を行わせるサーボモータ２３と、サーボモータ２３の回転位置を検出するエンコーダ３２とをさらに有している。
　遠隔制御システム１００は、ロボット１に作用する力を検出するセンサ３をさらに備えている。センサ３は、ワークＷが置かれた面から指２２に作用する力を検出する接触力センサ３３を含んでいる。接触力センサ３３は、図２に示すように、ハンド２に設けられている。具体的には、接触力センサ３３は、ハンド２のうちロボットアーム１１と連結部に設けられている。接触力センサ３３は、少なくとも２本の指２２の中心軸Ｚの方向、即ち、リンク１２に対するハンド２の回転軸Ａの方向の力を検出する。具体的には、接触力センサ３３は、指２２の中心軸Ｚの方向を含む直交する３軸方向の力と該３軸回りのモーメントを検出する。ワークＷを把持する際には、ハンド２は、通常、中心軸Ｚの方向へ移動して、ワークＷが置かれた面に接触する。つまり、接触力センサ３３は、ワークＷが置かれた面から指２２に作用する接触力を検出する。尚、接触力センサ３３は、１軸、２軸又は３軸方向の力のみを検出してもよい。接触力センサ３３は、第１センサの一例である。
　また、エンコーダ３１及びエンコーダ３２は、センサ３に含まれる。詳しくは後述するが、エンコーダ３１によって検出されるサーボモータ１４の現在の回転位置と目標回転位置との偏差が大きい場合には、ロボットアーム１１が他の物体に接触している、即ち、ロボット１に外力が作用している。同様に、エンコーダ３２によって検出されるサーボモータ２３の現在の回転位置と目標回転位置との偏差が大きい場合には、指２２が他の物体に接触している、すなわち、ロボット１に外力が作用している。つまり、エンコーダ３１及びエンコーダ３２はそれぞれ、ロボット１に作用する力を検出するセンサとしても機能する。ここで、エンコーダ３２は、指２２の開閉方向ＸへワークＷから指２２に作用する力を検出する第２センサに相当する。
　［操作装置］
　操作装置４は、図１に示すように、ユーザが入力操作を行う入力部４１を有している。入力部４１は、方向キー４１ａと、第１入力ボタン４１ｂと、第２入力ボタン４１ｃと、第３入力ボタン４１ｄと、第４入力ボタン４１ｅとを含んでいる。操作装置４は、ロボット１を遠隔操作するための入力を受け付け、入力された情報である操作情報を制御装置６へ出力する。
　操作装置４は、方向キー４１ａ、第１入力ボタン４１ｂ、第２入力ボタン４１ｃ、第３入力ボタン４１ｄ及び第４入力ボタン４１ｅの組み合わせによって、様々な操作入力を可能とする。例えば、ロボットアーム１１を動作させる場合には、ユーザは、方向キー４１ａを操作することによって、ハンド２を前後左右のうち方向キー４１ａに対応する方向への移動を入力することができる。このとき、ユーザは、第２入力ボタン４１ｃ及び第４入力ボタン４１ｅによって、ハンド２の上下への移動を入力することができる。指２２を動作させる場合には、ユーザは、第１入力ボタン４１ｂを操作することによって指２２の閉動作を入力し、第３入力ボタン４１ｄを操作することによって指２２の開動作を入力することができる。また、方向キー４１ａによって選択肢を切り替え、決定ボタンとしての第１入力ボタン４１ｂ又はキャンセルボタンとしての第３入力ボタン４１ｄによって所定のコマンドを入力することもできる。例えば、ユーザは、表示装置５２に表示されたコマンドの選択肢の中から方向キー４１ａによって一のコマンドを選択して、第１入力ボタン４１ｂによってコマンドを決定することによって、所望のコマンドを入力することができる。
　[撮像装置]
　撮像装置５１は、第２サイトＳ２に配置されている。具体的には、撮像装置５１は、ロボットアーム１１の先端部に取り付けられている。撮像装置５１は、ロボット１、具体的には、ハンド２を撮影する。撮像装置５１は、撮影画像を制御装置６へ出力する。
　[表示装置]
　表示装置５２は、ユーザが操作装置４を操作しながら視認できる位置に配置されている。表示装置５２は、制御装置６から送信される、撮像装置５１による撮影画像を表示する。表示装置５２は、ロボット１の撮影画像を表示することによって、操作装置４を操作するユーザを補助する。
　［触覚デバイス］
　触覚デバイス８は、例えば、ボイスコイルモータ８１を有している。触覚デバイス８は、例えば、ユーザの手首に装着される。触覚デバイス８は、ボイスコイルモータ８１の作動によって振動を発生させる。触覚デバイス８は、ボイスコイルモータ８１の振動によって、ユーザの触覚に刺激を付与する。
　触覚デバイス８は、振動態様を変更することができる。振動態様には、振幅、周波数及び繰り返し周期又はリズム等が含まれる。例えば、触覚デバイス８は、ボイスコイルモータ８１に印加する電流を調整することによって振幅、即ち、振動の大きさを調整することができる。触覚デバイス８は、振動の大きさを３段階に調整することができる。触覚デバイス８は、比較的小さな振動の第１振動、第１振動よりも大きな第２振動、及び、第２振動よりも大きな第３振動を択一的に発生させることができる。第１振動、第２振動及び第３振動は、連続的な振動であっても、断続的な振動であってもよい。第１振動、第２振動及び第３振動の振動態様は、統一されていてもよいし、互いに異なっていてもよい。尚、触覚デバイス８は、振幅に加えて、又は、振幅に代えて、振動の周波数を調整してもよい。さらに、触覚デバイス８は、第１振動、第２振動及び第３振動に加えて、警報振動を発生させることができる。例えば、警報振動の振幅は、第１振動、第２振動及び第３振動よりも大きく、且つ、警報振動の振動態様は、第１振動、第２振動及び第３振動とは異なる。
　［制御装置］
　制御装置６には、ロボット１、センサ３、操作装置４、撮像装置５１、表示装置５２及び触覚デバイス８が接続されている。制御装置６は、操作装置４からの操作情報に基づいてロボット１を動作させる。具体的には、制御装置６は、操作装置４への入力に基づいて、複数の工程が含まれる作業をロボット１に実行させる。例えば、制御装置６は、ワークＷのピッキング作業をロボット１に実行させる。この例では、制御装置６は、ロボット１の状態に基づく操作装置４の力制御及び位置制御を行わない。制御装置６は、操作装置４の操作情報に基づいてロボット１を一方通行で制御する、いわゆるユニラテラル制御を行う。
　ロボット１の制御と並行して、制御装置６は、撮像装置５１からの撮影画像を表示装置５２へ送信する。さらに、制御装置６は、ロボット１の状況に応じて、触覚デバイス８を制御する。具体的には、制御装置６は、他の物体へのロボット１の接触状況を触覚デバイス８を介してユーザの触覚に提示する。このように、制御装置６は、ロボット１の制御、撮影画像の提示及び触覚デバイス８の制御を並行して実行する。
　図３は、制御装置６の概略的なハードウェア構成を示す図である。制御装置６は、主制御装置６０とロボット制御装置７とを有している。主制御装置６０は、ロボット制御装置７と情報、指令及びデータ等の送受信を行う。
　主制御装置６０は、操作装置４からの信号を受信し、ロボット制御装置７へ指令を出力する。ロボット制御装置７は、指令に基づいて、サーボモータ１４又はサーボモータ２３へ電流を印加する。このとき、ロボット制御装置７は、エンコーダ３１又はエンコーダ３２から信号を受信して、サーボモータ１４又はサーボモータ２３をフィードバック制御する。さらに、ロボット制御装置７は、エンコーダ３１、エンコーダ３２及び接触力センサ３３からの信号、並びに、撮像装置５１からの画像信号を受信し、受信された信号を主制御装置６０へ出力する。主制御装置６０は、撮像装置５１からの画像信号を表示装置５２へ出力する。主制御装置６０は、エンコーダ３２及び接触力センサ３３からの信号に基づいて触覚デバイス８を制御する。
　ロボット制御装置７は、制御部７１と、記憶部７２と、メモリ７３とを有している。主制御装置６０は、制御部６１と、記憶部６２と、メモリ６３とを有している。
　制御部７１は、ロボット制御装置７の全体を制御する。制御部６１は、主制御装置６０の全体を制御する。制御部７１及び制御部６１はそれぞれ、各種の演算処理を行う。例えば、制御部７１及び制御部６１のそれぞれは、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部７１及び制御部６１のそれぞれは、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。
　記憶部７２は、制御部７１で実行されるプログラム及び各種データを格納している。記憶部６２は、制御部６１で実行されるプログラム及び各種データを格納している。具体的には、記憶部６２は、遠隔制御プログラム６２ａを格納している。記憶部７２及び記憶部６２のそれぞれは、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。
　メモリ７３及びメモリ６３はそれぞれ、データ等を一時的に格納する。例えば、メモリ７３及びメモリ６３のそれぞれは、揮発性メモリで形成される。
　図４は、制御装置６の機能ブロック図である。制御部６１は、記憶部６２から遠隔制御プログラム６２ａをメモリ６３に読み出して展開することによって、各種機能を実現する。具体的には、制御部６１は、入力処理部６４と指令位置生成部６５と指令角度変換部６６と画像処理部６７と触覚制御部６８として機能する。制御部７１は、記憶部７２からプログラムをメモリ７３に読み出して展開することによって、各種機能を実現する。具体的には、制御部７１は、センサ処理部７４と動作制御部７５と撮像制御部７６として機能する。
　入力処理部６４は、操作装置４からの操作情報に基づいて、ロボットアーム１１を動作させる第１モードと指２２を動作させる第２モードとを切り替える。例えば、ユーザが方向キー４１ａ、第１入力ボタン４１ｂ又は第２入力ボタン４１ｃを操作することによって、モードの切り替え指令が操作装置４から入力処理部６４へ入力される。
　入力処理部６４は、操作装置４からの操作情報に基づいて、現在のモードの動作対象の指令速度を生成する。
　具体的には、第１モードの場合には、ユーザは、方向キー４１ａ等を操作することによってハンド２の移動方向を入力する。入力処理部６４は、操作装置４から入力される移動方向に基づいてハンド２の指令速度を生成する。指令速度は、いわゆる速度ベクトルであり、移動方向と速さとで定義される。ここでは、速さは一定とする。ただし、方向キー４１ａ等の操作によって、ハンド２の移動方向に加えてハンド２の速さが入力されてもよい。その場合、入力処理部６４は、操作装置４から入力される移動方向及び速さに基づいてハンド２の指令速度を生成する。
　第２モードの場合には、ユーザは、方向キー４１ａ等を操作することによって指２２の移動方向、即ち、開方向か閉方向かを入力する。入力処理部６４は、操作装置４から入力される移動方向に基づいて指２２の指令速度を生成する。指令速度は、いわゆる速度ベクトルであり、移動方向と速さとで定義される。ここでは、速さは一定とする。ただし、方向キー４１ａ等の操作によって、指２２の移動方向に加えて指２２の速さが入力されてもよい。その場合、入力処理部６４は、操作装置４から入力される移動方向及び速さに基づいて指２２の指令速度を生成する。
　指令位置生成部６５は、入力処理部６４によって生成された指令速度を指令位置に換算する。指令位置生成部６５は、第１モードの場合にはハンド２の指令位置を換算し、第２モードの場合には指２２の指令位置を換算する。ここで、ハンド２の指令位置は、ハンド２の位置だけでなく、ハンド２の姿勢も含む。尚、指２２が開閉動作しても、ハンド本体２１に対する指２２の姿勢は変わらないので、指２２の指令位置は、指２２の姿勢を含まない。
　指令角度変換部６６は、指令位置生成部６５によって換算された指令位置をサーボモータの指令角度位置に変換する。指令角度変換部６６は、第１モードの場合には、ハンド２の指令位置に対応する各サーボモータ１４の角度位置を指令角度位置として求める。指令角度変換部６６は、第２モードの場合には、指２２の指令位置に対応するサーボモータ２３の角度位置を指令角度位置として求める。指令角度変換部６６は、求められた指令角度位置をロボット制御装置７へ出力する。
　センサ処理部７４は、エンコーダ３１、エンコーダ３２及び接触力センサ３３から検出信号、即ち、検出結果を受け取る。センサ処理部７４は、エンコーダ３１及びエンコーダ３２からの検出信号を動作制御部７５へ出力する。さらに、センサ処理部７４は、エンコーダ３１、エンコーダ３２及び接触力センサ３３からの検出信号を主制御装置６０へ出力する。
　動作制御部７５は、主制御装置６０から指令角度位置を受け取り、指令角度位置に従ってロボット１を動作させる。詳しくは、動作制御部７５は、サーボモータ１４の指令角度位置を受け取ると、指令角度位置を実現するための電流指令値を求める。動作制御部７５は、電流指令値に相当する電流をサーボモータ１４へ印加することによって、ロボットアーム１１を動作させる。このとき、動作制御部７５は、センサ処理部７４からのエンコーダ３１の検出信号に基づいて、サーボモータ１４への印加電流をフィードバック制御する。これにより、ハンド２が指令位置へ移動する。あるいは、動作制御部７５は、サーボモータ２３の指令角度位置を受け取ると、指令角度位置を実現するための電流指令値を求める。動作制御部７５は、電流指令値に相当する電流をサーボモータ２３へ印加することによって、指２２を動作させる。このとき、動作制御部７５は、センサ処理部７４からのエンコーダ３２の検出信号に基づいて、サーボモータ２３への印加電流をフィードバック制御する。これにより、指２２が指令位置へ移動する。
　撮像制御部７６は、撮像装置５１へ指令を出力して、撮像装置５１に撮影を実行させる。撮像制御部７６は、撮像装置５１から撮影画像を受信し、撮影画像を主制御装置６０へ送信する。
　画像処理部６７は、撮像装置５１から受信した撮影画像、即ち、画像信号を表示装置５２へ転送する。このとき、画像処理部６７は、撮影画像に所定の画像処理を施してもよい。
　触覚制御部６８は、触覚デバイス８を制御する。具体的には、触覚制御部６８は、ロボット１が他の物体に接触したか否かを判定し、接触が発生している場合に触覚デバイス８を振動させる。触覚制御部６８は、エンコーダ３１、エンコーダ３２及び接触力センサ３３を含むセンサ３の検出結果に基づいて、接触の発生を判定する。
　接触力センサ３３は、ハンド２が他の物体から受ける接触力を検出する。接触力センサ３３は、少なくとも指２２の中心軸Ｚの方向の力を検出するので、指２２が他の物体に中心軸Ｚの方向に接触する際の接触力を検出する。触覚制御部６８は、接触力センサ３３によって検出される接触力が所定の第１閾値以上の場合に、指２２が他の物体に接触していると判定する。第１閾値は、ハンド２が他の物体に接触していることを判定できる程度の接触力の値であり、比較的小さい値である。
　触覚制御部６８は、エンコーダ３１の検出結果に基づいて、ロボットアーム１１の対応するサーボモータ１４の現在の角度位置と指令角度位置との偏差を求める。サーボモータ１４の角度位置の偏差は、ロボットアーム１１が他の物体から受ける接触力に対応する。触覚制御部６８は、角度位置の偏差が所定の第２閾値以上の場合に、ロボットアーム１１が他の物体に接触していると判定する。第２閾値は、ロボットアーム１１が他の物体に接触したと判定できる程度の接触力に相当する偏差の値である。
　触覚制御部６８は、エンコーダ３２の検出結果に基づいて、ハンド２のサーボモータ２３の現在の角度位置と指令角度位置との偏差を求める。サーボモータ２３の角度位置の偏差は、指２２が開閉方向Ｘにおいて他の物体から受ける接触力に対応する。触覚制御部６８は、角度位置の偏差が所定の第３閾値よりも大きい場合に、指２２が他の物体に接触していると判定する。第３閾値は、指２２によるワークＷの把持力に相当する偏差の値である。例えば、指２２がワークＷを把持する際に指２２がワークＷに接触すると、指２２はそれ以上閉じることができず、サーボモータ２３の偏差が増大して第３閾値を超える。このような場合に、触覚制御部６８は、指２２が他の物体に接触していると判定する。
　触覚制御部６８は、エンコーダ３１、エンコーダ３２及び接触力センサ３３のそれぞれによって検出される接触を、別々の接触として認識する。つまり、触覚制御部６８は、ロボット１の接触の種別を、エンコーダ３１、エンコーダ３２及び接触力センサ３３の何れによって接触が検出されたかに基づいて判別する。例えば、エンコーダ３１及び接触力センサ３３のそれぞれによって接触が検出されている場合には、触覚制御部６８は、異なる２つの種別の接触が発生していると判定する。
　他の物体へのロボット１の接触が発生している場合には、触覚制御部６８は、触覚デバイス８を作動させる。触覚制御部６８は、種別が異なる接触ごとに触覚デバイス８を作動させる。具体的には、触覚制御部６８は、同時に発生している接触の種別の数に応じて触覚デバイス８の作動態様を変更する。１つの種別の接触が発生している場合には、触覚制御部６８は、第１振動を発生させる指令を触覚デバイス８へ出力する。２つの種別の接触が発生している場合には、触覚制御部６８は、第２振動を発生させる指令を触覚デバイス８へ出力する。３つの種別の接触が発生している場合には、触覚制御部６８は、第３振動を発生させる指令を触覚デバイス８へ出力する。いずれの場合も、触覚制御部６８は、接触の種別にかかわらず、接触の種別の数だけで判断して、対応する指令を出力する。
　それに加えて、触覚制御部６８は、ロボット１の接触力の大きさを判定し、触覚デバイス８の作動態様を接触力の大きさに応じて変更する。具体的には、触覚制御部６８は、ロボット１の動作を強制的に停止させる程度の大きな接触力での他の物体へのロボット１の接触（以下、「強接触」という）が発生していないか監視している。ここで、強接触は、各センサの検出結果に基づいて接触が発生していると判定したときの接触力よりも大きい接触力での接触である。接触力センサ３３によって検出される接触力が第１閾値よりも大きい第１上限値以上の場合に、触覚制御部６８は、指２２の強接触が発生していると判定する。サーボモータ１４の角度位置の偏差が第２閾値よりも大きい第２上限値以上の場合に、触覚制御部６８は、ロボットアーム１１の強接触が発生していると判定する。サーボモータ２３の角度位置の偏差が第３閾値よりも大きい第３上限値以上の場合に、触覚制御部６８は、開閉方向Ｘにおいて指２２の強接触が発生していると判定する。第１上限値、第２上限値及び第３上限値はそれぞれ、ロボット１の動作を強制的に停止させる程度の大きな接触力に相当する値である。
　ロボット１の強接触が発生している場合には、触覚制御部６８は、警報振動を発生させる指令を触覚デバイス８へ出力する。警報振動の振動態様は、第１振動、第２振動及び第３振動とは異なる。
　［ピッキング作業］
　このように構成された遠隔制御システム１００の動作をロボット１による具体的な作業としてピッキング作業を例に説明する。図５は、遠隔制御のフローチャートである。ピッキング作業は、ロボット１が所定の開始状態から、コンテナＣ内に載置されたワークＷをピッキングして、トレイＴへ移送する作業である。ピッキング作業は、ハンド２をピッキング位置まで移動させる第１移動工程と、ハンド２にワークＷを把持させる把持工程と、ワークＷを把持した状態のハンド２を移送位置まで移動させる第２移動工程と、ハンド２によるワークＷの把持を解除させる解除工程とが含まれる。
　遠隔制御システム１００においては、撮像装置５１によるロボット１の撮影画像が表示装置５２に表示されている。ユーザは、表示装置５２に表示されたロボット１の撮影画像を観ながら操作装置４を操作する。この表示装置５２によるロボット１の画像の表示は、動作するロボット１の画像を表示装置５２を介してユーザに提示することに相当する。
　まず、ステップＳ１０１において、ユーザが操作装置４に操作を入力する。ユーザが操作装置４を操作すると、操作装置４から制御部６１へ操作情報が入力される。制御部６１の入力処理部６４は、操作装置４からの操作情報を受信する。ステップＳ１０１は、操作装置４を介したユーザからの入力を受け付けることに相当する。
　ステップＳ１０２において、制御部６１は、操作情報に応じた動作をロボット１に実行させる。詳しくは、入力処理部６４は、操作装置４からの操作情報に応じた指令速度を生成する。指令位置生成部６５は、指令速度を位置指令に換算する。指令角度変換部６６は、位置指令を指令角度位置に変換し、変換された指令角度位置を動作制御部７５へ出力する。動作制御部７５は、指令角度位置を実現するための電流を対応するサーボモータ１４又はサーボモータ２３へ出力する。動作制御部７５は、エンコーダ３１又はエンコーダ３２の検出信号に基づいて印加電流をフィードバック制御する。こうして、ロボット１は、ユーザの操作装置４の操作に応じた動作を実行する。ステップＳ１０２は、操作装置４への入力に基づいてロボット１を動作させることに相当する。
　次に、ステップＳ１０３において、制御部６１は、ロボット１が他の物体に接触したか否かを判定する。制御部６１は、エンコーダ３１、エンコーダ３２及び接触力センサ３３の検出結果に基づいて、ロボット１が他の物体に接触したか否かを判定する。詳しくは、接触力センサ３３によって検出される接触力が第１閾値以上の場合、エンコーダ３１の検出結果に基づいて求められるサーボモータ１４の角度位置の偏差が第２閾値以上の場合、又は、エンコーダ３２の検出結果に基づいて求められるサーボモータ２３の角度位置の偏差が第３閾値以上の場合には、触覚制御部６８は、接触が発生していると判定する。
　接触が発生していない場合には、制御部６１は、ステップＳ１０１に戻り、ステップＳ１０１からの処理を繰り返す。ステップＳ１０１からの処理が所定の制御周期で繰り返されることによって、ロボット１がユーザによる操作装置４の操作に応じて連続的に動作する。
　こうしたロボット１の動作中に他の物体へのロボット１の接触が発生すると、制御部６１は、ステップＳ１０３からステップＳ１０４の処理へ進む。ステップＳ１０４において、制御部６１は、発生している接触が強接触か否かを判定する。具体的には、触覚制御部６８は、ステップＳ１０３の判定において用いた接触力、サーボモータ１４の角度位置の偏差、又は、サーボモータ２３の角度位置の偏差が対応する上限値以上の場合には、触覚制御部６８は、強接触が発生していると判定する。
　強接触が発生している場合には、触覚制御部６８は、ステップＳ１０５において、警報振動を発生させる指令を触覚デバイス８へ出力する。触覚デバイス８は、警報振動を発生させる。ユーザは、触覚デバイス８の警報振動によって、ロボット１が他の物体に大きい接触力で接触していることを知得することができる。それにより、ユーザは、ロボット１の動作を停止させたり、ロボット１の接触を解消するようにロボット１を動作させたりすることができる。尚、制御部６１は、警報振動の発生に加えて、ロボット１を強制的に停止させてもよい。
　一方、接触が強接触でない場合には、触覚制御部６８は、ステップＳ１０６において、同時に発生している接触の種別の数Ｎ（以下、「接触数Ｎ」という）を判定する。接触数Ｎが１の場合には、触覚制御部６８は、ステップＳ１０７において、第１振動を発生させる指令を触覚デバイス８へ出力する。接触数Ｎが２の場合には、触覚制御部６８は、ステップＳ１０８において、第２振動を発生させる指令を触覚デバイス８へ出力する。接触数Ｎが３の場合には、触覚制御部６８は、ステップＳ１０９において、第３振動を発生させる指令を触覚デバイス８へ出力する。触覚デバイス８は、指令に応じた振動を発生させる。ステップＳ１０５、Ｓ１０７、Ｓ１０８及びＳ１０９は、ロボット１が他の物体に接触した場合に、ユーザの触覚に刺激を付与する触覚デバイス８を作動させることに相当する。
　このように、ロボット１の動作中に他の物体へのロボット１の接触が発生すると、触覚デバイス８が振動を発生させて、ユーザに接触の発生を報知する。ユーザは、触覚デバイス８の振動によって、接触の発生を知得することができる。それに加えて、ユーザは、表示装置５２に表示されたロボット１の画像から、どのような接触が発生しているのかを判断することができる。例えば、作業には完了時に接触を伴う工程が含まれる場合がある。ユーザは、操作装置４への操作及び表示装置５２の画像に基づいて概ね工程の完了であると予測できるタイミングで接触を知らされると、工程の完了と判断して、次の工程へ移行することができる。あるいは、ユーザは、操作装置４への操作及び表示装置５２の画像に基づいても接触が予測できないタイミングで触覚デバイス８によって接触が知らされると、表示装置５２では確認できない部分等で予期せぬ接触が発生していることを知ることができる。さらに、そのときの触覚デバイス８の振動が警報振動である場合には、予期せぬ接触が比較的大きな接触力を伴うものであることを知ることができる。それにより、ユーザは、ロボット１に回避動作を取らせることができる。
　より詳しくは、ピッキング作業の例では、ユーザは、まずロボット１に第１移動工程を実行させる。具体的には、ユーザは、操作装置４を操作して第１モードに設定する。ユーザは、表示装置５２を観ながら、方向キー４１ａ及び、必要であれば第２入力ボタン４１ｃ又は第４入力ボタン４１ｅを操作することによって、ハンド２を把持位置へ向けて移動させる。把持位置は、コンテナＣのワークＷの位置である。ステップＳ１０１，Ｓ１０２及びＳ１０３が繰り返され、ハンド２は開始位置から把持位置へ向かってしだいに移動していく。基本的には、ユーザは、把持位置へのハンド２の到達を表示装置５２の画像に基づいて判断する。仮に、第１移動工程において指２２が意図せずコンテナＣの底面等に接触した場合には、接触力センサ３３が接触力を検出する（ステップＳ１０３）。このときの接触数Ｎは１なので、触覚制御部６８は、触覚デバイス８に第１振動を発生させる（ステップＳ１０７）。ユーザは、触覚デバイス８の第１振動を感知すると、操作装置４の操作内容及び表示装置５２のロボット１の画像からコンテナＣの底面等への指２２の接触を判断できる。指２２がコンテナＣの底面等に接触する場合には、ハンド２は概ね把持位置に到達しているので、ユーザは、指２２の接触を解消させて、ロボット１の移動を停止させる。
　表示装置５２の画質又は撮像装置５１の画角によっては、表示装置５２の画像からはコンテナＣの底面への指２２の接触を確認できない場合もある。そのような場合であっても、ユーザは、ハンド２がコンテナＣに接近したことを表示装置５２の画像から認識すると共に、ロボット１の接触が発生したことを触覚デバイス８の振動から知得できる。これにより、ユーザは、偶発的な指２２の接触を解消すると共に、指２２が把持位置へ概ね到達したことを的確に判断できる。
　第１移動工程が完了すると、ユーザは、ロボット１に把持工程を実行させる。ユーザは、操作装置４を操作して、第１モードから第２モードに切り替える。例えば、ユーザは、第１入力ボタン４１ｂを押し続けることによって、指２２に閉動作を実行させる。ステップＳ１０１，Ｓ１０２及びＳ１０３が繰り返され、指２２はワークＷへ接近していく。やがて、指２２がワークＷに接触して、接触力が所定の把持力に達すると、触覚制御部６８がエンコーダ３２の検出結果に基づいて指２２の接触を検出する（ステップＳ１０３）。指２２がワークＷに接触することによって接触数Ｎが１になる。触覚制御部６８は、触覚デバイス８に第１振動を発生させる（ステップＳ１０７）。ユーザは、触覚デバイス８の振動を感知することによって、ワークＷへの指２２の接触が発生したことを知得することができる。ユーザは、操作装置４の操作内容及び表示装置５２のロボット１の画像から指２２の接触を判断できるので、触覚デバイス８の第１振動を感知すると、把持工程の完了を判断し、指２２の移動を停止させる。そのため、このときの接触は、強接触に達することはほとんどない。
　表示装置５２の画質又は撮像装置５１の画角によっては、表示装置５２の画像からは指２２によるワークＷの把持を確認できない場合もある。そのような場合であっても、ユーザは、指２２がワークＷに接近したことを表示装置５２の画像から認識すると共に、ロボット１の接触が発生したことを触覚デバイス８の振動から知得できる。これにより、ユーザは、把持工程の完了を触覚デバイス８の振動によって的確に判断できる。
　把持工程が完了すると、ユーザは、ロボット１に第２移動工程を実行させる。ユーザは、操作装置４を操作して、第２モードから第１モードへ切り替える。ユーザは、表示装置５２を観ながら、方向キー４１ａ及び、必要であれば第２入力ボタン４１ｃ又は第４入力ボタン４１ｅを操作することによって、ハンド２を移送位置へ向けて移動させる。ステップＳ１０１，Ｓ１０２及びＳ１０３が繰り返され、ハンド２は把持位置から移送位置へ向かってしだいに移動していく。ハンド２がワークＷを保持している間は、エンコーダ３２に基づく指２２の接触の検出が継続するので、触覚デバイス８は第１振動を継続して発生させる。
　ハンド２が移送位置に到達すると、ワークＷがトレイＴの底面に載置される。これにより、接触力センサ３３が、トレイＴの底面からワークＷを介して指２２が受ける接触力を検出する（ステップＳ１０３）。接触数Ｎが１から２に増加し、触覚制御部６８は、触覚デバイス８に第２振動を発生させる（ステップＳ１０８）。ユーザは、操作装置４の操作内容及び表示装置５２のロボット１の画像からワークＷの接触を判断できるので、触覚デバイス８の第２振動を感知すると、第２移動工程の完了を判断し、ロボット１の移動を停止させる。そのため、このときの接触は、強接触に達することはほとんどない。
　表示装置５２の画質又は撮像装置５１の画角によっては、表示装置５２の画像からはトレイＴの底面へのワークＷの接触を確認できない場合もある。そのような場合であっても、ユーザは、ワークＷがトレイＴの底面に接近したことを表示装置５２の画像から認識すると共に、ロボット１の接触が発生したことを触覚デバイス８の振動から知得できる。これにより、ユーザは、第２移動工程の完了を触覚デバイス８の振動によって的確に判断できる。
　第２移動工程が完了すると、ユーザは、ロボット１に解除工程を実行させる。ユーザは、操作装置４を操作して、第１モードから第２モードに切り替える。例えば、ユーザは、第３入力ボタン４１ｄを押し続けることによって、指２２に開動作を実行させる。ステップＳ１０１，Ｓ１０２及びＳ１０３が繰り返され、指２２はワークＷから離間する。指２２がワークＷから離間すると、エンコーダ３２に基づく接触力が零になる。それに加えて、トレイＴの底面からワークＷを介して指２２に作用する接触力も零になる。触覚制御部６８は、触覚デバイス８の振動を停止させる。ユーザは、触覚デバイス８の振動が停止するので、指２２の接触が解消されたことを知得することができる。ユーザは、操作装置４の操作内容及び表示装置５２のロボット１の画像から指２２の接触の解消を判断できるので、触覚デバイス８の第１振動を感知すると、解除工程の完了を判断し、指２２の移動を停止させる。
　表示装置５２の画質又は撮像装置５１の画角によっては、指２２が大きく開かないと、表示装置５２の画像からワークＷの把持の解除を確認できない場合もある。そのような場合であっても、ユーザは、他の物体へのロボット１の接触が解消されたことを触覚デバイス８の振動が低減又は解消されることによって知得できる。これにより、ユーザは、解除工程の完了を触覚デバイス８の振動の低減又は解消によって的確に判断できる。
　解除工程が完了すると、ピッキング作業が完了する。尚、解除工程の後にロボット１を開始状態に戻すことをもってピッキング作業の完了としてもよい。
　それに加えて、このようなピッキング作業中に予期せぬロボット１の接触が発生した場合には、触覚デバイス８が警報振動を発生させることによって、ロボット１の接触の発生をユーザに知らせ、ユーザに回避動作を取ることを促すことができる。つまり、予期せぬ接触が発生した場合、ユーザはロボット１の動作を即座には停止させないので、比較的大きな接触力がロボット１に作用し得る。特に、ロボット１のうち表示装置５２に表示されていない部分が他の物体に接触している場合には、ユーザは接触の発生を表示装置５２から知ることができないので、比較的大きな接触力が発生しやすい。触覚制御部６８は、大きな接触力の接触を検出すると、ステップＳ１０４において強接触が発生したと判定して、ステップＳ１０５において触覚デバイス８に警報振動を発生させる。これにより、ユーザは、表示装置５２では知り得ないロボット１の接触の発生を知得することができ、ロボット１の接触を早期に解消させることができる。
　このように、遠隔制御システム１００は、ロボット１の接触の発生を、触覚デバイス８によってユーザの触覚を介してユーザに報知する。ユーザは、操作装置４の操作、表示装置５２のロボット１の画像及び振動態様等に基づいて接触の原因を判断する。接触が工程の完了に関連するものであれば、ユーザは次の工程へ移行する。接触が予期せぬものである場合には、ユーザは、ロボット１の動作を停止させたり、ロボット１に接触の解消動作を行わせたりする。つまり、ユーザは、ロボット１の状況を的確に判断することができる。
　尚、前述のピッキング作業が適切に実行される限り、接触数Ｎが３になることはない。しかし、ロボット１の作業によっては接触数Ｎが３となる状況も発生し得る。その場合には、触覚デバイス８は、第３振動を発生させる。
　また、前述の説明では、操作装置４は、ロボット１の連続的な動作、即ち、動作軌跡を連続的に入力している。つまり、ロボット１は、操作装置４からの入力が継続している間は動作し、操作装置４からの入力が停止すると停止する。しかし、操作装置４からの操作入力はこれに限定されない。例えば、操作装置４からコマンドが入力され、制御装置６が自律的にロボット１を制御して、ロボット１にコマンドに応じた動作を実行させてもよい。
　例えば、ピッキング作業では、操作装置４は、複数の工程に対応する複数のコマンドをユーザから入力される。複数のコマンドは、第１移動工程の実行コマンド、把持工程の実行コマンド、第２移動工程の実行コマンド及び解除工程の実行コマンドである。例えば、操作装置４の第１入力ボタン４１ｂ、第２入力ボタン４１ｃ、第３入力ボタン４１ｄ及び第４入力ボタン４１ｅに各工程の実行コマンドが割り当てられていてもよい。あるいは、表示装置５２に各工程のコマンドが選択肢として表示され、方向キー４１ａによって一のコマンドが選択され、第１入力ボタン４１ｂによってコマンドが決定されることによって、所望のコマンドが操作装置４から制御装置６入力されてもよい。
　制御装置６は、操作装置４に入力されたコマンドに対応する工程をロボット１に実行させる。具体的には、入力処理部６４は、操作装置４からの操作情報に基づいて、実行する工程を判別する。指令位置生成部６５は、判別された工程に対応する動作を実現するためのロボット１の軌跡を生成する。ロボット１の軌跡は、予め設定されたティーチング情報に基づいて生成されてもよいし、そのように生成された軌跡を撮像装置５１による撮影画像によって修正して生成されてもよい。指令位置生成部６５は、生成されたロボット１の軌跡を実現するための指令位置を指令角度変換部６６へ逐次出力する。指令角度変換部６６及び動作制御部７５の制御内容は、前述の連続的な動作入力の場合と同様である。
　コマンド入力によるピッキング作業について具体的に説明すると、まず、ユーザは、操作装置４を介して第１移動工程の実行コマンドを入力する。制御部６１は、ハンド２が開始位置から把持位置へ移動するようにロボット１を動作させる。ユーザは、第１移動工程の実行コマンドを入力した後は、第１移動工程の完了を待機する。ハンド２が把持位置に到達すると、指２２がコンテナＣの底面に接触する。接触力センサ３３が接触力を検出し、触覚デバイス８が第１振動を発生させる。ユーザは、表示装置５２のロボット１の画像だけでは第１移動工程の完了の判断が困難であっても、触覚デバイス８の振動によって第１移動工程の完了を的確に知得することができる。
　ユーザは、第１移動工程の完了を知得すると、操作装置４を介して把持工程の実行コマンドを入力する。制御部６１は、指２２に閉動作を実行させる。ユーザは、把持工程の実行コマンドを入力した後は、把持工程の完了を待機する。指２２がワークＷに接触し、所定の把持力でワークＷを把持する状態になると、触覚デバイス８の振動が第１振動から第２振動に切り替わる。ユーザは、表示装置５２のロボット１の画像だけでは、指２２が所定の把持力でワークＷを把持したか否かを判定することが困難である。ユーザは、触覚デバイス８の振動によって、指２２によるワークＷの把持が完了したことを的確に知得することができる。
　ユーザは、把持工程の完了を知得すると、操作装置４を介して第２移動工程の実行コマンドを入力する。制御部６１は、ハンド２がコンテナＣからトレイＴへ移動するようにロボット１を動作させる。ユーザは、第２移動工程の実行コマンドを入力した後は、第２移動工程の完了を待機する。第２移動工程において、指２２がコンテナＣの底面から離間するので、接触数Ｎが２から１に減少して、触覚デバイス８の振動が第２振動から第１振動に切り替わる。ハンド２がトレイＴの移送位置に到達すると、指２２がトレイＴの底面に接触する。接触数Ｎが１から２に増加するので、触覚デバイス８の振動が第１振動から第２振動に切り替わる。ユーザは、表示装置５２のロボット１の画像だけでは第２移動工程の完了の判断が困難であっても、触覚デバイス８の振動によって第２移動工程の完了を的確に知得することができる。
　ユーザは、第２移動工程の完了を知得すると、操作装置４を介して解除工程の実行コマンドを入力する。制御部６１は、指２２に開動作を実行させる。ユーザは、解除工程の実行コマンドを入力した後は、解除工程の完了を待機する。指２２がワークＷから離間すると、触覚デバイス８の振動が第２振動から第１振動に切り替わる。ユーザは、表示装置５２のロボット１の画像だけでは、ワークＷからの指２２の離間を判定することが困難である。ユーザは、触覚デバイス８の振動によって、指２２によるワークＷの把持の解除が完了したことを的確に知得することができる。
　ピッキング作業を繰り返す場合には、ユーザは、操作装置４を介して第１移動工程の実行コマンドを再び入力する。一方、ユーザが操作装置４を介して終了コマンドを入力すると、ピッキング作業が終了する。
　このように、コマンド入力に基づいてピッキング作業が実行される場合であっても、ユーザは、各工程の完了を触覚デバイス８の振動によって知得することができる。そのため、ユーザが工程の完了を不要に待機することがなくなり、次の工程へスムーズに移行することができる。
　以上のように、本開示の技術の第１の側面では、遠隔制御システム１００は、ロボット１と、ユーザからの入力を受け付ける操作装置４と、ロボット１の画像をユーザに提示する表示装置５２と、ユーザの触覚に刺激を付与する触覚デバイス８と、操作装置４への入力に基づいてロボット１を制御する制御装置６とを備え、制御装置６は、ロボット１が他の物体に接触した場合に触覚デバイス８を作動させる。
　この構成によれば、操作装置４を介してロボット１を遠隔制御する際に、表示装置５２のロボット１の画像だけでは判断が困難なロボット１と他の物体との接触を触覚デバイス８の作動によってユーザが的確に知得することができる。また、ロボット１の接触を判断する精度を高めるために表示装置５２の画質等と向上させる必要がないため、表示装置に表示される画像の遅延も低減される。このように、ユーザは、ロボット１の状況を的確に判断できる。
　さらに、本開示の技術の第２の側面では、第１の側面に係る遠隔制御システム１００において、制御装置６は、操作装置４への入力に基づいて、複数の工程が含まれる作業をロボット１に実行させ、複数の工程の少なくとも１つの工程の完了時にロボット１が他の物体に接触した場合に触覚デバイス８を作動させる。
　この構成によれば、ユーザは、工程の完了を的確に知得することができる。つまり、表示装置５２のロボット１の画像だけではロボット１の接触を正確に判断できない場合であっても、触覚デバイス８がユーザにロボット１の接触の発生を知らせる。ユーザは、自身による操作装置４の操作及び表示装置５２の画像を合わせて考慮することによって、その接触が工程の完了時のロボット１の接触であることを的確に判断することができる。
　また、本開示の技術の第３の側面では、第２の側面に係る遠隔制御システム１００において、操作装置４は、複数の工程に対応する複数のコマンドの入力を受け付け、制御装置６は、操作装置４に入力されたコマンドに対応する工程をロボットに実行させる。
　この構成によれば、操作装置４を介してコマンドが入力され、制御装置６は、入力されたコマンドに対応する工程をロボット１に実行させる。複数の工程のうち完了時にロボット１の接触を伴う工程は、工程の完了時のロボット１の接触が触覚デバイス８の作動によってユーザに知らされる。つまり、ユーザは、操作装置４を介してコマンドを入力して工程の完了を待機し、触覚デバイス８の作動によって工程の完了を的確に知得することができる。その結果、ユーザは、工程の完了を不要に待機することなく、次の工程にスムーズに移行することができる。
　さらに、本開示の技術の第４の側面では、第３の側面に係る遠隔制御システム１００において、制御装置６は、同時に発生している接触の種別の数に応じて触覚デバイス８の作動態様を変更する。
　この構成によれば、制御装置６は、触覚デバイス８の振動態様によって、同時に発生している接触の種別の数をユーザに知らせることができる。既に接触が発生して触覚デバイス８が作動している場合でも、ユーザは、新たな種別の接触が発生したり、既に発生している接触の一部が解消したりすることを知ることができる。
　また、本開示の技術の第５の側面では、第１の側面乃至第３の側面の何れか１つに係る遠隔制御システム１００において、制御装置６は、ロボット１の接触の種別を判別し、種別が異なる接触ごとに触覚デバイス８を作動させる。
　この構成によれば、制御装置６は、複数の種別の接触が同時に発生していても、それぞれの種別の接触を判別することができる。
　また、本開示の技術の第６の側面では、第１の側面乃至第５の側面の何れか１つに係る遠隔制御システム１００において、制御装置６は、ロボット１の接触力の大きさを判定し、触覚デバイス８の作動態様を接触力の大きさに応じて変更する。
　この構成によれば、触覚デバイス８の作動態様が接触力の大きさに応じて変更される。ユーザは、接触の発生に加えて、接触力の大きさも知得することができる。
　本開示の技術の第７の側面では、第１の側面乃至第６の側面の何れか１つに係る遠隔制御システム１００は、ロボット１に作用する力を検出するセンサ３をさらに備え、制御装置６は、他の物体へのロボット１の接触をセンサ３の検出結果に基づいて判定する。
　この構成によれば、制御装置６は、センサ３の検出結果に基づいてロボット１の接触を判定する。
　また、本開示の技術の第８の側面では、第７の側面に係る遠隔制御システム１００において、ロボット１は、ロボットアーム１１と、開閉動作を行う指２２が設けられ、ロボットアーム１１に連結されたハンド２とを有し、制御装置６は、ワークＷのピッキング作業をロボット１に実行させ、センサ３は、ワークＷが置かれた面から指２２に作用する力を検出する接触力センサ３３（第１センサ）と、指２２の開閉方向へワークＷから指２２に作用する力を検出するエンコーダ３２（第２センサ）とを含む。
　この構成によれば、ピッキング作業の作業中においては、ワークＷが置かれた面にハンド２の指２２が接触したり、指２２がワークＷを把持したりする。つまり、ピッキング作業においては、指２２の接触が何度か発生し、その指２２の接触は一部の工程の完了のタイミングで発生する。つまり、ピッキング作業においては、指２２の接触を触覚デバイス８によってユーザに報知することによって、実質的に工程の完了をユーザに知らせることができる。
　観点を変えると、本開示の技術の第９の側面では、遠隔制御システム１００は、ロボット１と、ユーザからの入力を受け付ける操作装置４と、ロボット１の画像をユーザに提示する表示装置５２と、ユーザの触覚に刺激を付与する触覚デバイス８と、操作装置４への入力に基づいて、複数の工程が含まれる作業をロボット１に実行させる制御装置６とを備え、制御装置６は、複数の工程の少なくとも１つの工程の完了時に触覚デバイス８を作動させる。
　この構成によれば、操作装置４によってロボット１を遠隔制御する際に、表示装置５２のロボット１の画像だけでは判断が困難な工程の完了を、触覚デバイス８の作動によってユーザが的確に知得することができる。また、ロボット１の工程の完了を判断の精度を高めるために表示装置５２の画質等と向上させる必要がないため、表示装置に表示される画像の遅延も低減される。このように、ユーザは、ロボット１の状況を的確に判断できる。
　この場合、制御装置６は、工程が完了したか否かに基づいて触覚デバイス８を作動させる。そして、制御装置６は、ロボット１の接触が発生したか否かに基づいて工程の完了を判定する。前述のピッキング作業においては、工程の完了時にロボット１の接触状況が変化する。そのため、ロボット１の接触に基づいて触覚デバイス８を作動させることは、工程の完了に基づいて触覚デバイス８を作動させることに等しい。しかし、工程の完了時に必ずしもロボット１の接触状況が変化しない作業もある。その場合、制御装置６は、ロボット１の接触が発生していなくても工程が完了した場合には、触覚デバイス８を作動させてもよい。
　その場合の遠隔制御のフローチャートを図６に示す。図６のフローチャートでは、図５のフローチャートからステップＳ１０３、Ｓ１０６、Ｓ１０７、Ｓ１０８及びＳ１０９が省略され、代わりにステップＳ２０６及びＳ２０７が追加されている。詳しくは、制御部６１は、ロボット１の動作中にロボット１が他の物体に接触したか否かを判定せず、ステップＳ１０４において強接触が発生したか否かを判定する。ステップＳ１０４の処理は、図５のフローチャートと同じであり、強接触が発生している場合は、触覚制御部６８は、ステップＳ１０５において、警報振動を発生させる指令を触覚デバイス８へ出力する。制御部６１は、ロボット１の接触を監視する代わりに、ステップＳ２０６において工程が完了したか否かを判定する。強接触が発生せず且つ工程が完了していない限りは、制御部６１は、ステップＳ１０１及びＳ１０２を繰り返すことによって、操作装置４への入力に基づいてロボット１を動作させる。制御部６１は、工程の完了を様々な手法で判定し得る。その１つの手法として、制御部６１は、ロボット１の接触が発生したか否かによって工程の完了を判定する。複数の工程には、完了時にロボット１の接触を伴うものがある。制御部６１は、そのような工程の完了を、ロボット１の接触に基づいて判定することができる。ロボット１の接触に基づいて完了を判定できない工程については、制御部６１は、外部からの信号、例えば、操作装置４を介したユーザからの入力等に基づいて完了を判定してもよい。そして、工程が完了した場合には、制御部６１は、ステップＳ２０７において、触覚デバイス８に振動を発生させる。このとき、制御部６１は、前述のように、接触数Ｎに応じて触覚デバイス８の振動態様を変更してもよい。
　本開示における技術の第１０の側面では、操作装置４を介してロボット１を制御するロボットの遠隔制御方法は、操作装置４を介したユーザからの入力を受け付けることと、操作装置４への入力に基づいてロボット１を動作させることと、動作するロボット１の画像を表示装置５２を介してユーザに提示することと、ロボット１が他の物体に接触した場合に、ユーザの触覚に刺激を付与する触覚デバイス８を作動させることとを含む。
　この構成によれば、操作装置４を介してロボット１を遠隔制御する際に、表示装置５２のロボット１の画像だけでは判断が困難なロボット１と他の物体との接触を触覚デバイス８の作動によってユーザが的確に知得することができる。また、ロボット１の接触を判断する精度を高めるために表示装置５２の画質等と向上させる必要がないため、表示装置に表示される画像の遅延も低減される。このように、ユーザは、ロボット１の状況を的確に判断できる。
　また、本開示における技術の第１１の側面では、遠隔制御プログラム６２ａは、ロボット１と、ユーザからの入力を受け付ける操作装置４と、ユーザの触覚に刺激を付与する触覚デバイス８とを備えた遠隔制御システム１００を制御する機能を制御部６１（コンピュータ）に実現させるためのプログラムであって、操作装置４を介したユーザからの入力を受け付ける機能と、操作装置４への入力に基づいてロボット１を動作させる機能と、ロボット１が他の物体に接触した場合に、ユーザの触覚に刺激を付与する触覚デバイス８を作動させる機能とを制御部６１に実現させる。
　この構成によれば、操作装置４を介してロボット１を遠隔制御する際に、ロボット１と他の物体との接触を触覚デバイス８の作動によってユーザが的確に知得することができる。それにより、ユーザは、ロボット１の状況を的確に判断できる。
　《その他の実施形態》
　以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　前述の遠隔制御システム１００の構成は、一例に過ぎず、これに限定されるものではない。例えば、ロボット１が実行する作業は、ピッキング作業に限定されない。ロボット１が実行する作業は加工作業であってもよい。また、ロボットアーム１１のエンドエフェクタは、ハンド２に限定されない。エンドエフェクタは、ロボット１が実行する作業に応じて変更され得る。
　また、ロボット１は、産業用ロボットに限定されない。例えば、ロボット１は、医療用ロボットであってもよい。
　ロボット１に作用する力を検出するセンサ３は、エンコーダ３１、エンコーダ３２及び接触力センサ３３に限定されない。これら以外の力センサをさらに設けてもよい。また、センサ３は、エンコーダ３１、エンコーダ３２及び接触力センサ３３の少なくとも１つを含んでいればよく、エンコーダ３１、エンコーダ３２及び接触力センサ３３の一部を含まなくてもよい。また、エンコーダ３１又はエンコーダ３２に代えて、サーボモータ１４の電流を検出する電流センサ、サーボモータ１４のトルクを検出するトルクセンサ、サーボモータ２３の電流を検出する電流センサ、又は、サーボモータ２３のトルクを検出するトルクセンサ等であってもよい。電流又はトルクの現在値と目標値との偏差に基づいてロボット１に作用する力を検出することができる。
　撮像装置５１は、ロボットアーム１１に取り付けられているものに限定されない。撮像装置５１は、ロボット１を撮影できる位置に固定的に配置されていてもよい。
　操作装置４に関し、前述の構成は一例である。操作装置４は、ジョイスティックのような操作部を有していてもよい。操作装置４は、タッチパネル等の操作部を有していてもよい。操作装置４による入力は、ロボット１の移動方向に加えて、ロボット１の移動の速さも含まれていてもよい。例えば、ジョイスティックのような操作部を有する操作装置４の場合、ジョイスティックの傾きによって移動の速さが入力されてもよい。
　触覚デバイス８は、前述の構成に限定されない。触覚デバイス８は、ユーザの触覚に刺激を付与できる限り、任意の態様でユーザに装着され得る。触覚デバイス８は、操作装置４に内蔵されていてもよい。また、触覚デバイス８の振動アクチュエータは、ボイスコイルモータ８１に限定されない。触覚デバイス８の振動アクチュエータは、偏心回転質量方式又はピエゾ方式であってもよい。
　触覚デバイス８は、複数の振動アクチュエータを有していてもよい。ロボット１の様々な接触に応じて複数の振動アクチュエータの組み合わせを変更することによって、ロボット１の接触の種別をユーザに知らせてもよい。例えば、錯触覚の技術を利用して、ロボット１の接触の種別等を判別可能にユーザに知らせてもよい。
　触覚デバイス８による振動は、第１振動、第２振動、第３振動及び警報振動に限定されない。ロボット１の構成及びロボット１の作業等に応じて、ロボット１に発生し得る接触は変化し得る。ロボット１の構成及びロボット１の作業等に応じて想定されるロボット１の接触に対応するように、触覚デバイス８の振動が設定され得る。例えば、触覚デバイス８による振動は、２段階又は４段階以上で変更されてもよい。
　前述のブロック図は一例であり、複数のブロックを１つのブロックとして実現したり、１つのブロックを複数のブロックに分割したり、一部の機能を別のブロックに移したりしてもよい。
　本開示の技術は、遠隔制御プログラム６２ａが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、遠隔制御プログラム６２ａは、インターネット等の伝送媒体を介して流通させることができるものであってもよい。
　フローチャートは、一例に過ぎない。フローチャートにおけるステップを適宜、変更、置き換え、付加、省略等を行ってもよい。また、フローチャートにおけるステップの順番を変更したり、直列的な処理を並列的に処理したりしてもよい。
　本明細書中に記載されている構成要素により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ＡＳＩＣｓ（Application Specific Integrated Circuits）、ＣＰＵ（a Central Processing Unit）、従来型の回路、及び／又はそれらの組合せを含む、回路（circuitry）又は演算回路（processing circuitry）において実装されてもよい。プロセッサは、トランジスタ及びその他の回路を含み、回路又は演算回路とみなされる。プロセッサは、メモリに格納されたプログラムを実行する、プログラマブルプロセッサ（programmed processor）であってもよい。
　本明細書において、回路（circuitry）、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。
　当該ハードウェアが回路（circuitry）のタイプであるとみなされるプロセッサである場合、当該回路、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成する為に用いられるソフトウェアの組合せである。

Claims (11)

  1. 　ロボットと、
    　ユーザからの入力を受け付ける操作装置と、
    　前記ロボットの画像をユーザに提示する表示装置と、
    　ユーザの触覚に刺激を付与する触覚デバイスと、
    　前記操作装置への入力に基づいて前記ロボットを制御する制御装置とを備え、
    　前記制御装置は、前記ロボットが他の物体に接触した場合に前記触覚デバイスを作動させる遠隔制御システム。
  2. 　請求項１に記載の遠隔制御システムにおいて、
    　前記制御装置は、
    　　前記操作装置への入力に基づいて、複数の工程が含まれる作業を前記ロボットに実行させ、
    　　前記複数の工程の少なくとも１つの工程の完了時に前記ロボットが他の物体に接触した場合に前記触覚デバイスを作動させる遠隔制御システム。
  3. 　請求項２に記載の遠隔制御システムにおいて、
    　前記操作装置は、前記複数の工程に対応する複数のコマンドの入力を受け付け、
    　前記制御装置は、前記操作装置に入力されたコマンドに対応する工程を前記ロボットに実行させる遠隔制御システム。
  4. 　請求項３に記載の遠隔制御システムにおいて、
    　前記制御装置は、同時に発生している接触の種別の数に応じて前記触覚デバイスの作動態様を変更する遠隔制御システム。
  5. 　請求項１に記載の遠隔制御システムにおいて、
    　前記制御装置は、前記ロボットの接触の種別を判別し、前記種別が異なる接触ごとに前記触覚デバイスを作動させる遠隔制御システム。
  6. 　請求項１に記載の遠隔制御システムにおいて、
    　前記制御装置は、前記ロボットの接触力の大きさを判定し、前記触覚デバイスの作動態様を前記接触力の大きさに応じて変更する遠隔制御システム。
  7. 　請求項１に記載の遠隔制御システムにおいて、
    　前記ロボットに作用する力を検出するセンサをさらに備え、
    　前記制御装置は、他の物体への前記ロボットの接触を前記センサの検出結果に基づいて判定する遠隔制御システム。
  8. 　請求項７に記載の遠隔制御システムにおいて、
    　前記ロボットは、ロボットアームと、開閉動作を行う指が設けられ、前記ロボットアームに連結されたハンドとを有し、
    　前記制御装置は、ワークのピッキング作業を前記ロボットに実行させ、
    　前記センサは、前記ワークが置かれた面から前記指に作用する力を検出する第１センサと、前記指の開閉方向へ前記ワークから前記指に作用する力を検出する第２センサとを含む遠隔制御システム。
  9. 　ロボットと、
    　ユーザからの入力を受け付ける操作装置と、
    　前記ロボットの画像をユーザに提示する表示装置と、
    　ユーザの触覚に刺激を付与する触覚デバイスと、
    　前記操作装置への入力に基づいて、複数の工程が含まれる作業を前記ロボットに実行させる制御装置とを備え、
    　前記制御装置は、前記複数の工程の少なくとも１つの工程の完了時に前記触覚デバイスを作動させる遠隔制御システム。
  10. 　操作装置を介してロボットを制御するロボットの遠隔制御方法であって、
    　前記操作装置を介したユーザからの入力を受け付けることと、
    　前記操作装置への入力に基づいて前記ロボットを動作させることと、
    　動作する前記ロボットの画像を表示装置を介してユーザに提示することと、
    　前記ロボットが他の物体に接触した場合に、ユーザの触覚に刺激を付与する触覚デバイスを作動させることとを含むロボットの遠隔制御方法。
  11. 　ロボットと、
    　ユーザからの入力を受け付ける操作装置と、
    　ユーザの触覚に刺激を付与する触覚デバイスとを備えた遠隔制御システムを制御する機能をコンピュータに実現させるための遠隔制御プログラムであって、
    　前記操作装置を介したユーザからの入力を受け付ける機能と、
    　前記操作装置への入力に基づいて前記ロボットを動作させる機能と、
    　前記ロボットが他の物体に接触した場合に、ユーザの触覚に刺激を付与する触覚デバイスを作動させる機能とをコンピュータに実現させるための遠隔制御プログラム。
PCT/JP2023/015227 2022-04-15 2023-04-14 遠隔制御システム、ロボットの遠隔制御方法及び遠隔制御プログラム WO2023200011A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022067838A JP2023157744A (ja) 2022-04-15 2022-04-15 遠隔制御システム、ロボットの遠隔制御方法及び遠隔制御プログラム
JP2022-067838 2022-04-15

Publications (1)

Publication Number Publication Date
WO2023200011A1 true WO2023200011A1 (ja) 2023-10-19

Family

ID=88329709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/015227 WO2023200011A1 (ja) 2022-04-15 2023-04-14 遠隔制御システム、ロボットの遠隔制御方法及び遠隔制御プログラム

Country Status (2)

Country Link
JP (1) JP2023157744A (ja)
WO (1) WO2023200011A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61188092A (ja) * 1985-02-14 1986-08-21 日本電気株式会社 マニプレ−タシステム
JP2010269418A (ja) * 2009-05-22 2010-12-02 Ihi Corp ロボット制御装置およびその制御方法
JP2015071220A (ja) * 2013-09-06 2015-04-16 パナソニックＩｐマネジメント株式会社 マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
WO2017033362A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 遠隔操縦マニピュレータシステム及びその運転方法
JP2018039099A (ja) * 2016-09-09 2018-03-15 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー ワークの接触状態推定装置及び接触状態推定方法
JP2018192599A (ja) * 2017-05-19 2018-12-06 川崎重工業株式会社 接触検知器、ハンド、ロボット、及びロボットシステム
JP2020131378A (ja) * 2019-02-21 2020-08-31 セイコーエプソン株式会社 ハンドおよびロボット

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61188092A (ja) * 1985-02-14 1986-08-21 日本電気株式会社 マニプレ−タシステム
JP2010269418A (ja) * 2009-05-22 2010-12-02 Ihi Corp ロボット制御装置およびその制御方法
JP2015071220A (ja) * 2013-09-06 2015-04-16 パナソニックＩｐマネジメント株式会社 マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
WO2017033362A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 遠隔操縦マニピュレータシステム及びその運転方法
JP2018039099A (ja) * 2016-09-09 2018-03-15 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー ワークの接触状態推定装置及び接触状態推定方法
JP2018192599A (ja) * 2017-05-19 2018-12-06 川崎重工業株式会社 接触検知器、ハンド、ロボット、及びロボットシステム
JP2020131378A (ja) * 2019-02-21 2020-08-31 セイコーエプソン株式会社 ハンドおよびロボット

Also Published As

Publication number Publication date
JP2023157744A (ja) 2023-10-26

Similar Documents

Publication Publication Date Title
Pastor et al. Towards associative skill memories
JP5180414B2 (ja) ロボットアームの制御装置及び制御方法、ロボット、ロボットアーム制御プログラム、並びに、集積電子回路
CN110709211B (zh) 机器人***和机器人***的控制方法
JP4568795B2 (ja) ロボットアームの制御装置及び制御方法、ロボット、ロボットアームの制御プログラム、並びに、集積電子回路
WO2017033381A1 (ja) ロボットシステム
Laghi et al. Shared-autonomy control for intuitive bimanual tele-manipulation
Peer et al. Multi-fingered telemanipulation-mapping of a human hand to a three finger gripper
US20170249561A1 (en) Robot learning via human-demonstration of tasks with force and position objectives
US9919424B1 (en) Analog control switch for end-effector
JP2019018340A (ja) 作業用ロボット、作業用ロボットの制御方法
JP7339806B2 (ja) 制御システム、ロボットシステム及び制御方法
Devine et al. Real time robotic arm control using hand gestures with multiple end effectors
JP6322949B2 (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
Lii et al. Toward a task space framework for gesture commanded telemanipulation
JP2015186834A (ja) ロボット制御装置、把持部制御装置、ロボット、把持部、ロボット制御方法、及びプログラム
JP2018089736A (ja) マスタスレーブシステム
Osswald et al. Mechanical system and control system of a dexterous robot hand
WO2023200011A1 (ja) 遠隔制御システム、ロボットの遠隔制御方法及び遠隔制御プログラム
Zhou et al. A bilateral dual-arm teleoperation robot system with a unified control architecture
WO2020032263A1 (ja) ロボットシステム
SaLoutos et al. Fast reflexive grasping with a proprioceptive teleoperation platform
Laaksonen et al. Embodiment independent manipulation through action abstraction
Kramberger et al. Adapting learning by demonstration for robot based part feeding applications
JP7185749B2 (ja) ロボットシステム及びロボットシステムの制御方法
WO2023200012A1 (ja) 遠隔制御システム、遠隔制御方法及び遠隔制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788428

Country of ref document: EP

Kind code of ref document: A1