WO2023203727A1 - 多関節ロボットアーム制御装置 - Google Patents

多関節ロボットアーム制御装置 Download PDF

Info

Publication number
WO2023203727A1
WO2023203727A1 PCT/JP2022/018457 JP2022018457W WO2023203727A1 WO 2023203727 A1 WO2023203727 A1 WO 2023203727A1 JP 2022018457 W JP2022018457 W JP 2022018457W WO 2023203727 A1 WO2023203727 A1 WO 2023203727A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work area
robot arm
imaging
images
Prior art date
Application number
PCT/JP2022/018457
Other languages
English (en)
French (fr)
Inventor
剛士 黒田
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to PCT/JP2022/018457 priority Critical patent/WO2023203727A1/ja
Publication of WO2023203727A1 publication Critical patent/WO2023203727A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators

Definitions

  • the present invention relates to an articulated robot arm control device.
  • Fruits such as strawberries and grapes, and green and yellow vegetables such as asparagus and tomatoes are more delicate and easily damaged than grains such as rice and wheat, and their unit prices are higher. These delicate and expensive crops are harvested by hand, one by one, to avoid damage during harvest. Therefore, harvesting of fruits, green and yellow vegetables, etc. places a greater physical burden on producers than grains, etc., which can be harvested efficiently and on a large scale using harvesting machines such as combines. Therefore, it is difficult to secure labor in harvesting the fruits, green and yellow vegetables, etc., and the burden on producers tends to increase.
  • a crop harvesting system using an articulated robot arm is known as a device that solves these problems.
  • the harvesting system is provided with a working device for harvesting crops, an image processing unit, etc. at the tip of the multi-joint robot arm.
  • the harvesting system uses the image processing unit to specify the position of crops to be harvested, and uses the work device to perform harvesting work.
  • the articulated robot arm control device disclosed in Patent Document 1 includes an imaging section that images an object such as a crop, an image processing section that detects the object from an image taken by the imaging section, and an image processing section that detects the object from an image taken by the imaging section. It has a coordinate information processing section that calculates the coordinates of an object, and a drive control section that controls the articulated robot arm.
  • the articulated robot arm control device images a work area where crops are harvested from a first imaging position using an imaging unit, and detects an image of the target object.
  • the articulated robot arm control device calculates the coordinates of the image of the target object.
  • the articulated robot arm control device photographs the work area at a second imaging position different from the first imaging position and under different imaging conditions. Thereby, the multi-joint robot arm control device can acquire an image suitable for the state of the work area and the shape of the object.
  • the articulated robot arm control device described in Patent Document 1 captures images under different conditions at the second imaging position based on the coordinates of the object detected in the image captured at the first imaging position. .
  • an image of the work area (hereinafter referred to as a work area image) is taken by an imaging unit, and an image of the target object (hereinafter referred to as an object image) is captured in the image. ), it is conceivable that the imaging unit captures images of a wide range of work areas so that as many object images as possible are included.
  • the articulated robot arm can efficiently work on more objects while reducing the work burden on the worker.
  • a configuration that allows work to be performed is desired.
  • the present invention provides a control device for controlling the drive of a multi-joint robot arm that works on objects in a work area.
  • the purpose is to realize a configuration that allows for efficient work.
  • the present inventor has developed a control device for controlling the drive of a multi-joint robot arm that works on objects in a work area, which allows the multi-joint robot arm to touch more objects while reducing the work burden on the worker.
  • a multi-joint robot arm control device is provided on a multi-joint robot arm, and captures a work area image that is an image of a work area in which the multi-joint robot arm performs work on a target object.
  • an imaging unit an image display unit that displays an image captured by the imaging unit, an image processing unit that detects an image of a target object from an image captured by the imaging unit, and a drive that drives an actuator of the articulated robot arm.
  • An articulated robot arm control device having a control section. The drive control section moves the imaging section to a plurality of imaging positions that are different from each other with respect to the work area by driving the actuator.
  • the imaging unit captures the work area images at each of the plurality of imaging positions.
  • the image display section displays each of the plurality of work area images captured by the imaging section at the plurality of imaging positions.
  • the image processing unit is configured to calculate designated position coordinates for calculating the coordinates of a position designated as an image of the object by a worker in at least one work area image among the plurality of work area images displayed on the image display unit.
  • a target object detection unit that detects an object image that is an image of the target object in the plurality of work area images
  • a target object detection unit that detects an object image that is an image of the object in the plurality of work area images
  • a reference imaging position determination unit that determines a reference imaging position of the imaging unit that images the work area during the work, based on the number of the target object images.
  • the designated position coordinate calculation unit calculates the coordinates of a position designated by the worker as an image of the object in the work area image captured by the imaging unit at the work site.
  • the reference imaging position determination section determines the position of the imaging section based on the number of object images in which the coordinates are included in the area of the object image, among the object images detected by the object detection section from the work area image. Calculate the reference imaging position.
  • the articulated robot arm control device uses the number of object images that are recognized by the worker and detected from the work area image in the work area image that reflects the site conditions to create an object image. An appropriately detectable imaging position can be determined.
  • the multi-joint robot arm can work on more objects while reducing the work burden on the worker. It is possible to realize a configuration that allows work to be performed efficiently.
  • the multi-joint robot arm control device of the present invention preferably includes the following configuration.
  • the reference imaging position determination unit selects one of the plurality of work area images based on the number of the object images in which the coordinates are included in the area of the object image in the plurality of work area images. One working area image is selected, and the imaging position where the one working area image is taken is set as the reference imaging position.
  • the articulated robot arm control device uses the number of object images recognized by the worker and detected from the work area image to generate a plurality of object images in the work area image that includes the site conditions. From among the imaging positions of the work area image, it is possible to find an imaging position where the object image can be appropriately detected.
  • the multi-joint robot arm can efficiently handle more objects while reducing the work burden on the worker. It is possible to realize a configuration that allows for efficient work.
  • the multi-joint robot arm control device of the present invention preferably includes the following configuration.
  • the reference imaging position determining unit selects a work area image having the largest number of object images whose coordinates are included in the area of the object image from among the plurality of work area images, and The imaging position at which the work area image is captured is defined as the reference imaging position.
  • the articulated robot arm control device calculates the number of object images detected by the image processing unit among the object images recognized by the worker in the work area image, which reflects on-site conditions such as brightness and obstacles.
  • the imaging position where the most work area images are taken is calculated as the reference imaging position. Therefore, the work area image taken at the reference imaging position is likely to include more object images than the work area images taken at other imaging positions. Furthermore, in the work area image taken at the reference imaging position, there is a high possibility that the number of object images recognized by the worker is greater than in the work area images taken at other imaging positions. Therefore, the articulated robot arm control device can efficiently work on more objects by performing work on the objects using the work area image taken at the reference imaging position. .
  • the multi-joint robot arm can work on more objects while reducing the work burden on the worker. It is possible to realize a configuration that allows work to be performed efficiently.
  • the multi-joint robot arm control device of the present invention preferably includes the following configuration.
  • the reference imaging position determination unit selects a work area image having the smallest number of object images whose coordinates are not included in the area of the object image from among the plurality of work area images, and The imaging position at which the work area image is captured is defined as the reference imaging position.
  • the articulated robot arm control device detects object images that are not detected by the image processing unit among the object images recognized by the worker in the work area image that reflects on-site conditions such as brightness and obstacles.
  • the imaging position where the least number of work area images are taken is calculated as the reference imaging position. Therefore, there is a high possibility that the work area image captured at the reference imaging position includes fewer object images that are difficult to detect by the image processing unit, compared to work area images captured at other imaging positions. In addition, in the work area image taken at the reference imaging position, there is a high possibility that omissions in detection of object images visually recognized by the worker will be suppressed compared to work area images taken at other imaging positions. . Therefore, the articulated robot arm control device can efficiently work on more objects by performing work on the objects using the work area image taken at the reference imaging position. .
  • the multi-joint robot arm can work on more objects while reducing the work burden on the worker. It is possible to realize a configuration that allows work to be performed efficiently.
  • the multi-joint robot arm control device of the present invention preferably includes the following configuration.
  • the reference imaging position determination unit determines the number of object images detected by the object detection unit in the plurality of work area images and the object image in which the coordinates are included in the area of the object image.
  • the reference imaging position is determined based on the ratio with the number of .
  • the articulated robot arm control device calculates the number of object images detected by the image processing unit and the objects recognized as objects by the worker in the work area image, which reflects on-site conditions such as brightness and obstacles.
  • a reference imaging position of the work area is calculated based on the ratio to the number of images. Therefore, the articulated robot arm control device sets, for example, an imaging position at which an image of an object visually recognized by a worker is detected at a higher rate than work area images taken at other imaging positions as the reference imaging position. Can be set.
  • the multi-joint robot arm can work on more objects while reducing the work burden on the worker. It is possible to realize a configuration that allows work to be performed efficiently.
  • the multi-joint robot arm control device of the present invention preferably includes the following configuration.
  • the drive control section moves the imaging section at predetermined intervals with respect to the work area by driving the actuator, and positions the imaging section at the plurality of imaging positions.
  • the articulated robot arm control device changes the position of the imaging unit with respect to the work area at predetermined intervals, and images the work area image at each position.
  • the imaging range of the imaging unit and the size of the object image vary depending on the distance to the work area.
  • the imaging range of the imaging unit becomes narrower, while the image of the object included in the imaging range becomes larger.
  • the imaging section by bringing the imaging section closer to the work area, the number of object images that can be detected by the image processing section is reduced, and the possibility of misrecognizing object images is reduced.
  • the imaging unit when the imaging unit is moved away from the work area, the imaging range of the imaging unit becomes wider, but the image of the object included in the imaging range becomes smaller.
  • the imaging unit by moving the imaging unit away from the work area, the number of object images that can be detected by the image processing unit increases, but the possibility of misrecognizing the object image increases. .
  • the articulated robot arm control device can determine the optimal imaging position that can achieve both the number of detected objects and the recognition rate. .
  • the multi-joint robot arm can work on more objects while reducing the work burden on the worker. It is possible to realize a configuration that allows work to be performed efficiently.
  • the multi-joint robot arm control device of the present invention preferably includes the following configuration.
  • the imaging unit includes a camera, and images the work area at the reference imaging position under a plurality of imaging conditions with different exposure times of the camera.
  • the object detection section detects an object image that is an image of the object in a plurality of work area images captured by the imaging section.
  • the image processing unit is configured to control the camera based on the number of object images in which the coordinates are included in the area of the object image in the plurality of work area images captured under the plurality of imaging conditions.
  • has a reference exposure time determination section that determines a reference exposure time of the reference exposure time.
  • the articulated robot arm control device images the work area under a plurality of imaging conditions with different camera exposure times at the reference imaging position.
  • the articulated robot arm control device determines the exposure time of the camera based on the number of object images in which the coordinates of the object recognized by the worker are included in the plurality of captured work area images. do. Thereby, the multi-joint robot arm control device determines the exposure time of the camera that allows the image processing unit to appropriately detect the object image in the work area image that reflects on-site conditions such as brightness and obstacles. can be found.
  • the multi-joint robot arm can work on more objects while reducing the work burden on the worker. It is possible to realize a configuration that allows work to be performed efficiently.
  • the multi-joint robot arm control device of the present invention preferably includes the following configuration.
  • the imaging unit images the work area at the reference imaging position under a plurality of imaging conditions in which the work area image differs in color.
  • the object detection section detects an object image that is an image of the object in a plurality of work area images captured by the imaging section.
  • the image processing unit determines the work area based on the number of object images in which the coordinates are included in the area of the object image in the plurality of work area images captured under the plurality of imaging conditions. It has a tint determining section that determines the tint of the image.
  • the articulated robot arm control device images the work area at a reference imaging position under a plurality of imaging conditions in which the work area images have different tints.
  • the articulated robot arm control device adjusts the color tone of the work area image based on the number of object images in which the coordinates of the object recognized by the worker are included in the plurality of work area images taken. Determine.
  • the multi-joint robot arm control device can provide a color tone that allows the image processing unit to appropriately detect the target object image in the work area image that reflects on-site conditions such as brightness and obstacles. can be found.
  • the multi-joint robot arm can work on more objects while reducing the work burden on the worker. It is possible to realize a configuration that allows work to be performed efficiently.
  • connection As used herein, “attached,” “connected,” “coupled,” and/or their equivalents are used in a broad sense, including “direct and indirect” attachment; Includes both connections and combinations. Additionally, “connected” and “coupled” are not limited to physical or mechanical connections or couplings, but can include direct or indirect electrical connections or couplings.
  • an articulated robot arm refers to a robot arm that has a plurality of joints connecting a plurality of links.
  • the articulated robot arm includes a vertical articulated robot arm.
  • the vertical multi-joint robot arm is a serial link mechanism robot arm in which the links are connected in series from the base to the tip by a rotary joint or a translational joint with one degree of freedom.
  • the vertically articulated robot arm has a plurality of joints.
  • the term "object” refers to an object on which an articulated robot arm performs work within a work area.
  • the target object is an object that can be grasped by the articulated robot arm, such as fruits such as strawberries and grapes, green and yellow vegetables such as asparagus and tomatoes, other vegetables, fruits, food, electronic products, and parts. include.
  • the work on the target object includes all the work performed on the target object, such as harvesting work, grasping work, moving work, processing work, sorting work, and the like.
  • the working area refers to a three-dimensional area in which an articulated robot arm can work on an object.
  • the work area is the same area as the movable range of the multi-joint robot arm or an area narrower than the movable range. That is, the work area is included in the movable range of the multi-joint robot arm.
  • the work area may be columnar or prismatic, spherical, polyhedral such as a rectangular parallelepiped, or pyramidal.
  • the work area may be a circular area, an elliptical area, a polygonal area, or at least a portion of the working area when viewed from the imaging unit provided on the multi-joint robot arm. may be a region surrounded by curved lines.
  • the work area may have any shape when viewed from an imaging unit provided on the multi-joint robot arm.
  • the imaging position means a position where an imaging unit provided on a multi-joint robot arm captures an image of a work target area.
  • the imaging position may be, for example, absolute coordinates of the imaging unit, or a relative position with respect to a work area, a target object, a structure, or a reference object.
  • the imaging position may be a position in a coordinate system of the articulated robot arm. The imaging unit is positioned at the imaging position by having its position adjusted by the articulated robot arm.
  • the reference imaging position means that when the multi-joint robot arm moves and sequentially performs work on a target object in a plurality of work target areas, the imaging unit provided on the multi-joint robot arm is This means the position when capturing an image of the work target area.
  • the reference imaging position may be, for example, the absolute coordinates of the imaging unit, or may be a relative position with respect to a work area, a target object, a structure, or a reference object. Further, the reference imaging position may be a position in a coordinate system of the articulated robot arm.
  • the reference imaging position may be the same position in the plurality of work target areas, or may be the same position in some work target areas among the plurality of work target areas.
  • Exposure time means the time during which light hits an image sensor (image sensor) of a camera.
  • tint refers to the shade of color, fine tint, and degree of color.
  • the multi-joint robot arm in a control device that controls the drive of a multi-joint robot arm that performs work on an object in a work area, the multi-joint robot arm can be improved while reducing the work burden on the worker. It is possible to realize a configuration that can efficiently work on many objects.
  • FIG. 1 is a diagram showing a schematic configuration of an articulated robot arm device according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating how the imaging unit acquires work area images at a plurality of imaging positions.
  • FIG. 3 is a diagram illustrating an example of a work area image obtained when the imaging unit captures an image at the first imaging position.
  • FIG. 4 is a diagram illustrating an example of a work area image obtained when the imaging unit captures an image at the second imaging position.
  • FIG. 5 is a diagram illustrating an example of a work area image obtained when the imaging unit captures an image at the third imaging position.
  • FIG. 1 is a diagram showing a schematic configuration of an articulated robot arm device according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating how the imaging unit acquires work area images at a plurality of imaging positions.
  • FIG. 3 is a diagram illustrating an example of a work area image obtained when the imaging unit captures an image at the
  • FIG. 6 is a functional block diagram showing a schematic configuration of a multi-joint robot arm device including a multi-joint robot arm control device according to the second embodiment.
  • FIG. 7 is a diagram schematically showing how the actuator of the multi-joint robot arm is controlled using the multi-joint robot arm control device according to the third embodiment.
  • FIG. 8 is a diagram showing a schematic configuration of a multi-joint robot arm device including a multi-joint robot arm control device according to the fourth embodiment.
  • FIG. 9 is a diagram showing a schematic configuration of a multi-joint robot arm device including a multi-joint robot arm control device according to the fifth embodiment.
  • FIG. 10 is a diagram illustrating a schematic configuration of the articulated robot arm device according to the first embodiment and an example of a work area image photographed by an imaging unit.
  • FIG. 1 is a diagram showing a schematic configuration of an articulated robot arm device 1000 according to Embodiment 1 of the present invention.
  • the articulated robot arm device 1000 performs work on a target object T within a work area W.
  • FIG. 10 is a diagram showing a schematic configuration of the multi-joint robot arm device 1000 and an example of a work area image taken by an imaging unit described below.
  • the target object T is an object that can be grasped by the multi-joint robot arm 50, such as fruits such as strawberries and grapes, green and yellow vegetables such as asparagus and tomatoes, other vegetables, fruits, foods, electrical appliances, and parts. including.
  • the work performed on the object T includes all the works performed on the object T, such as harvesting work, grasping work, moving work, processing work, and sorting work.
  • the multi-joint robot arm device 1000 includes a multi-joint robot arm 50 and a multi-joint robot arm control device 1.
  • the articulated robot arm 50 is provided, for example, on the base of a manufacturing device, on a vehicle, or the like.
  • the multi-joint robot arm 50 has a plurality of arms 51, a plurality of joint parts 52, and an end effector 53 including a grip part and the like.
  • the joint portion 52 has an actuator (not shown) that drives the arm 51.
  • the actuator includes, for example, a motor.
  • the driving of the joint portion 52 is controlled by the multi-joint robot arm control device 1.
  • the end effector 53 is located at the tip of the articulated robot arm 50 and performs work on the object T.
  • the end effector 53 is movable relative to the object T by controlling the drive of the joint portion 52 by the multi-joint robot arm control device 1 .
  • the configuration of the multi-joint robot arm 50 is similar to that of a general multi-joint robot arm. Therefore, detailed explanation of the multi-joint robot arm 50 will be omitted. Note that the configuration of the articulated robot arm 50 is not limited to the configuration described in each figure as long as it is configured to be able to work on the target object T.
  • the articulated robot arm control device 1 captures a work area image, which is an image of the work area W, at a reference imaging position using an imaging unit 10, which will be described later, when the end effector 53 performs work on the object T within the work area W. is acquired, and a target object image, which is an image of the target object T within the work area W, is detected from the work area image by an image processing unit 30, which will be described later.
  • the multi-joint robot arm control device 1 controls the driving of the joint portion 52 and the end effector 53 of the multi-joint robot arm 50 based on the detection result of the object image from the work area image. Thereby, the articulated robot arm device 1000 can perform work on the target object T.
  • the method in which the articulated robot arm control device 1 drives and controls the joint portion 52 and end effector 53 of the articulated robot arm 50 based on the detection result of the object image from the work area image is the same as the conventional method. be. Therefore, the description of the drive control method will be omitted.
  • the multi-joint robot arm control device 1 determines the position (reference imaging position) at which the imaging unit 10 images the work area W when the multi-joint robot arm 50 performs work on the target object T. That is, the articulated robot arm control device 1 has a calibration function that adjusts the position of the imaging unit 10 that images the work area W.
  • the articulated robot arm control device 1 determines the work when the end effector 53 performs work on the object T based on the number of object images G included in the plurality of work area images Im1, Im2, and Im3. A reference imaging position for imaging area W is determined.
  • the articulated robot arm control device 1 also displays work area images Im1, Im2, and Im3 at a plurality of imaging positions on the image display unit 20, and displays the coordinates of the position designated by the operator as an image of the target object T. is used to detect the number of object images G in the work area images Im1, Im2, and Im3.
  • the multi-joint robot arm control device 1 acquires work area images at a plurality of imaging positions using the imaging unit 10, which will be described later, as shown in FIG.
  • P1 indicated by a one-dot chain line is the first imaging position
  • P2 indicated by a solid line is the second imaging position
  • P3 indicated by a two-dot chain line is the third imaging position.
  • FIG. 3 shows an example of a work area image Im1 obtained when the imaging unit 10 captures an image at the first imaging position P1.
  • FIG. 4 shows an example of a work area image Im2 obtained when the imaging unit 10 captures an image at the second imaging position P2.
  • FIG. 5 shows an example of a work area image Im3 obtained when the imaging unit 10 captures an image at the third imaging position P3.
  • FIGS. 3 to 5 schematically show the state in which work area images Im1, Im2, and Im3 are displayed on the image display unit 20 of the articulated robot arm control device 1, which will be described later.
  • the symbol G is an object image that is an image of the object T.
  • the articulated robot arm control device 1 includes an imaging section 10, an image display section 20, an image processing section 30, and a drive control section 40.
  • the imaging unit 10 images the work area W and obtains work area images Im1, Im2, and Im3.
  • the imaging unit 10 is provided on an articulated robot arm 50.
  • the work area images Im1, Im2, and Im3 acquired by the imaging section 10 are input to the image display section 20 and the image processing section 30.
  • the imaging unit 10 may be, for example, a stereo camera or a monocular camera.
  • the imaging unit 10 may sequentially acquire two work area images, or may sequentially acquire four or more work area images.
  • the image display section 20 has a configuration that can display the work area images Im1, Im2, and Im3 acquired by the imaging section 10.
  • the image display unit 20 includes a display device of a mobile terminal that can be carried by an operator, such as a liquid crystal display. Further, the image display unit 20 is configured to be able to perform an input operation on the displayed work area image. That is, the image display section 20 also has a function as an input device for the operator.
  • the image display section 20 includes, for example, a touch panel.
  • the image processing unit 30 performs image processing on the work area images Im1, Im2, and Im3 captured by the imaging unit 10, and also performs input operations by the worker on the work area images Im1, Im2, and Im3 displayed on the image display unit 20. We will also process accordingly.
  • the image processing section 30 includes a specified position coordinate calculation section 31, a target object detection section 32, and a reference imaging position determination section 33.
  • the specified position coordinate calculation unit 31 calculates the coordinates of the position specified by the worker as the image of the target object T in the work area images Im1, Im2, and Im3 displayed on the image display unit 20. That is, the designated position coordinate calculation unit 31 calculates the coordinates of the position of the object T recognized by the operator on the display screen of the image display unit 20. Note that when the operator places a marker or the like on a position recognized as the target object T on the image display unit 20, the designated position coordinate calculation unit 31 calculates the coordinates of the position of the marker or the like.
  • the coordinates are, for example, two-axis coordinates (X-axis coordinate and Y-axis coordinate) in the work area images Im1, Im2, and Im3.
  • the coordinates may be three-axis coordinates (X-axis coordinate, Y-axis coordinate, and Z-axis coordinate) in the work area.
  • the object detection unit 32 detects the object image G in the work area images Im1, Im2, and Im3 captured by the imaging unit 10. That is, the target object detection unit 32 extracts the target object image G from the work area images Im1, Im2, and Im3 by image processing.
  • the method for extracting the object image G by the object detection unit 32 is similar to the conventional image processing method. Therefore, a detailed explanation of the method for extracting the object image G by the object detection section 32 will be omitted.
  • the reference imaging position determination unit 33 determines a reference imaging position based on the number of coordinates calculated by the specified position coordinate calculation unit 31 included in the object image G detected by the object detection unit 32. That is, the reference imaging position determination unit 33 determines the number of matches between the image that the worker recognizes as the object T in the work area image and the object image G extracted from the work area image by the object detection unit 32. The reference imaging position is determined based on the above.
  • the symbol M indicates a marker placed on the image display unit 20 by the operator at a position recognized as the target object.
  • the specified position coordinate calculation unit 31 calculates the coordinates of the marker M in the work area images Im1, Im2, and Im3.
  • the coordinates are, for example, two-axis coordinates (X-axis coordinate and Y-axis coordinate) in the work area images Im1, Im2, and Im3.
  • the coordinates may be three-axis coordinates (X-axis coordinate, Y-axis coordinate, and Z-axis coordinate) in the work area.
  • the target object detection unit 32 detects the target object image G in the work area images Im1, Im2, and Im3. 3 to 5, the target object image G detected by the target object detection unit 32 is shown in a bold rectangular frame.
  • the object detection unit 32 determines the size of the object image G, the sharpness of the object image G, the imaging range of the object T (part, half, all, etc.) in the work area images Im1, Im2, Im3, etc. Based on this, a target image G is detected.
  • the reference imaging position determination unit 33 determines the reference imaging position based on the number of coordinates calculated by the designated position coordinate calculation unit 31 included in the area of the object image G detected by the object detection unit 32. . That is, the reference imaging position determining unit 33 determines the positional relationship between the coordinates calculated by the specified position coordinate calculating unit 31 and the target object image G detected by the target object detecting unit 32 in the work area images Im1, Im2, and Im3. The number of object images G in which the coordinates are included in the area is determined. The reference imaging position determination unit 33 determines the reference imaging position based on the obtained number of object images G.
  • the image processing unit 30 can determine the reference imaging position at which the imaging unit 10 will take the work area image when working on the target object T. Moreover, the image processing unit 30 determines the number of matches between the image that the worker recognizes as the object T in the work area image and the object image G extracted from the work area image by the object detection unit 32. Then, the reference imaging position is determined. Thereby, the image processing unit 30 captures a work area image in which the object image G can be appropriately detected so that the end effector 53 of the articulated robot arm 50 can efficiently work on the object T. The position can be set as the reference imaging position.
  • the multi-joint robot arm control device 1 is provided on a multi-joint robot arm 50 and captures a work area image that is an image of a work area W in which the multi-joint robot arm 50 performs work on a target object T.
  • an image display section 20 that displays the image captured by the image capture section 10; an image processing section 30 that detects an image of the object T from the image captured by the image capture section 10; and an articulated robot arm 50.
  • It has a drive control section 40 that drives the actuator.
  • the drive control section 40 moves the imaging section 10 to a plurality of imaging positions having different positions relative to the work area W by driving the actuator.
  • the imaging unit 10 images the work area images at each of the plurality of imaging positions.
  • the image display section 20 displays the plurality of work area images captured by the imaging section 10 at the plurality of imaging positions.
  • the image processing unit 30 performs a designated position coordinate calculation process that calculates the coordinates of a position designated by the worker as an image of the object T in at least one work area image among the plurality of work area images displayed on the image display unit 20.
  • a target object detection unit 32 that detects an object image G that is an image of the object in the plurality of work area images; It includes a reference imaging position determination unit 33 that determines a reference imaging position of the imaging unit 10 that images the work area W during the work based on the number of included object images G.
  • the specified position coordinate calculation unit 31 calculates the coordinates of the position of the object T specified by the worker in the work area image captured by the imaging unit 10 at the work site.
  • the reference imaging position determination section 33 determines the position based on the number of object images G in which the coordinates are included in the area of the object image G, among the object images G detected by the object detection section 32 from the work area image. , a reference imaging position of the imaging unit 10 is calculated.
  • the articulated robot arm control device 1 appropriately detects the object T based on the object T confirmed by the worker in the work area image that reflects the site conditions such as brightness and obstacles. Possible imaging positions can be determined.
  • the multi-joint robot arm control device 1 that controls the drive of the multi-joint robot arm 50 that performs work on the object T in the work area W, the multi-joint robot arm 50 can be operated while reducing the work burden on the worker. It is possible to realize a configuration in which the operator can efficiently work on a larger number of objects T.
  • FIG. 6 is a functional block diagram showing a schematic configuration of a multi-joint robot arm device 2000 including a multi-joint robot arm control device 101 according to the second embodiment.
  • the reference imaging position determination unit 133 of the articulated robot arm control device 101 according to the second embodiment is configured such that the coordinates of the position specified by the operator as the image of the target object T are included in the area.
  • Embodiment 1 is different from the first embodiment in that one work area image is selected from the plurality of work area images based on the number of object images G, and the imaging position in the one work area image is set as the reference imaging position. This is different from such an articulated robot arm control device 1.
  • configurations similar to those in Embodiment 1 are given the same reference numerals and explanations are omitted, and only portions that are different from Embodiment 1 will be explained.
  • the articulated robot arm control device 101 includes an imaging section 10, an image display section 20, and an image processing section 130.
  • the image processing section 130 includes a specified position coordinate calculation section 31, a target object detection section 32, and a reference imaging position determination section 133.
  • the reference imaging position determination unit 133 selects one of the plurality of work area images based on the number of object images G in which the coordinates of the position specified by the operator as an image of the object T are included in the area. A work area image is selected, and the position where the one work area image is taken is set as a reference imaging position. Specifically, the reference imaging position determining unit 133 selects, for example, an object image whose area includes the coordinates of a position specified by the operator as an image of the object T from among the plurality of work area images. The work area image with the largest number of G's is selected, and the imaging position where the work area image is taken is set as the reference imaging position.
  • the reference imaging position determination section 133 includes an object counting section 134 and a reference imaging position selection section 135.
  • the object counting section 134 calculates, in each of the plurality of work area images captured by the imaging section 10, an object image G whose area includes the coordinates of the position specified by the operator as an image of the object T. Count the numbers.
  • the reference imaging position selection unit 135 selects the work area image with the largest number of object images G counted by the object counting unit 134 from among the plurality of work area images.
  • the reference imaging position selection unit 135 sets the imaging position where the selected work area image is captured as the reference imaging position.
  • the reference imaging position selection unit 135 selects the second imaging position P2, which has the largest number of object images G in the work area image, as the reference Select as the imaging position. Therefore, in the examples shown in FIGS. 3 to 5, the reference imaging position is the second imaging position P2.
  • the articulated robot arm control device 101 uses the image processing unit 130 to detect objects T recognized by the worker in the work area image that reflects on-site conditions such as brightness and obstacles.
  • the imaging position where the work area image with the largest number of target object images G is captured is calculated as the reference imaging position. Therefore, the work area image captured at the reference imaging position is likely to include more object images G than the work area images captured at other imaging positions. Furthermore, in the work area image taken at the reference imaging position, there is a high possibility that the number of object images G recognized by the worker is greater than in the work area images taken at other imaging positions. Therefore, the articulated robot arm control device 101 efficiently works on more objects T by using the work area image taken at the reference imaging position to work on the objects T. be able to.
  • the multi-joint robot arm control device 101 that controls the drive of the multi-joint robot arm 50 that performs work on the object T in the work area W, the multi-joint robot arm 50 can be operated while reducing the work burden on the worker. It is possible to realize a configuration in which the operator can efficiently work on a larger number of objects T.
  • FIG. 7 is a diagram schematically showing how the actuator of the multi-joint robot arm 50 is controlled using the multi-joint robot arm control device according to the third embodiment.
  • the drive control unit 140 of the multi-joint robot arm control device according to the third embodiment moves the imaging unit 10 at predetermined intervals in a direction approaching the work area W by driving an actuator (not shown) of the multi-joint robot arm 50.
  • This differs from the multi-joint robot arm control device 1 according to the first embodiment in this point.
  • configurations similar to those in Embodiment 1 are given the same reference numerals and explanations are omitted, and only portions that are different from Embodiment 1 will be explained.
  • the multi-joint robot arm control device has a drive control section 140 that controls the drive of the actuator of the multi-joint robot arm 50.
  • the configuration of the multi-joint robot arm control device other than the drive control unit 140 is the same as the structure of the multi-joint robot arm control device 1 in the first embodiment.
  • the drive control unit 140 controls the drive of the multi-joint robot arm 50 to move the imaging unit 10 at predetermined intervals in the direction approaching the work area W (the direction of the white arrow in FIG. 7).
  • the imaging unit 10 is moved not only in the horizontal direction but also in the vertical direction, but the imaging unit 10 may be moved in the horizontal direction toward the object T in the work area W.
  • the drive control unit 140 controls the drive of the actuator of the multi-joint robot arm 50 so as to move the imaging unit 10 in a direction closer to the work area W.
  • the drive control unit 140 may control the drive of the actuator of the multi-joint robot arm 50 so as to move the imaging unit 10 in a direction away from the work area W.
  • the drive control section 140 includes a position control section 141 and a drive signal generation section 142.
  • the position control unit 141 generates and outputs a position command signal that determines the position of the imaging unit 10 so that the position of the imaging unit 10 gradually approaches the work area W. Specifically, the position control unit 141 generates and outputs information regarding a plurality of imaging positions obtained by dividing the distance between the imaging unit 10 and the target object T into a plurality of positions as the position command signal. If the position control unit 141 can change the position of the imaging unit 10 with respect to the work area W at predetermined intervals, the position control unit 141 may generate the position command signal so that the imaging unit 10 moves a predetermined distance. However, the moving distance may be calculated so that the imaging unit 10 approaches the work area W efficiently, and the position command signal may be generated from the result.
  • the position control unit 141 generates and outputs information regarding the first imaging position P1, second imaging position P2, and third imaging position P3 as the position command signal.
  • the position command signal output from the position control section 141 is input to the drive signal generation section 142.
  • the drive signal generation unit 142 generates and outputs a drive signal for driving the actuator of the articulated robot arm 50 based on the position command signal output from the position control unit 141.
  • the drive signal output from the drive signal generation unit 142 is input to the actuator of the articulated robot arm 50.
  • the drive control unit 140 moves the imaging unit 10 at predetermined intervals in a direction approaching the work area W or in a direction away from the work area W by driving the actuator. Position at multiple imaging positions.
  • the articulated robot arm control device changes the position of the imaging unit 10 with respect to the work area W at predetermined intervals, and images the work area image at each position.
  • the imaging range of the imaging unit 10 and the size of the image of the object T vary depending on the distance from the imaging unit 10 to the work area W.
  • the imaging range of the imaging unit 10 becomes narrower, while the image of the object T included in the imaging range becomes larger.
  • the articulated robot arm control device reduces the number of object images G that can be detected by the image processing unit 30, but increases the possibility of misrecognizing the object images G. becomes lower.
  • the imaging unit 10 when the imaging unit 10 is moved away from the work area W, the imaging range of the imaging unit 10 becomes wider, but the image of the object T included in the imaging range becomes smaller.
  • the imaging section 10 by moving the imaging section 10 away from the work area W, the number of object images G that can be detected by the image processing section 30 increases, but there is a possibility that the object images G will be misrecognized. becomes higher.
  • the articulated robot arm control device can find the optimal imaging position that can achieve both the number of detected object images G and the recognition rate. can.
  • the multi-joint robot arm control device that controls the drive of the multi-joint robot arm 50 that performs work on the object T in the work area W, the multi-joint robot arm 50 can be operated while reducing the work burden on the worker. It is possible to realize a configuration in which work can be efficiently performed on a larger number of objects T.
  • FIG. 8 is a diagram showing a schematic configuration of a multi-joint robot arm device 3000 including a multi-joint robot arm control device 201 according to the fourth embodiment.
  • the articulated robot arm control device 201 according to the fourth embodiment is configured such that the coordinates of the position specified by the worker as the image of the target object T are in the area of the target image G in a plurality of work area images captured under a plurality of imaging conditions.
  • This embodiment differs from the articulated robot arm control device 1 according to the first embodiment in that the exposure time of the camera included in the imaging unit 10 is determined based on the number of object images G included in the image capture unit 10 .
  • configurations similar to those in Embodiment 1 are given the same reference numerals and explanations are omitted, and only portions that are different from Embodiment 1 will be explained.
  • the articulated robot arm control device 201 includes an image display section 20, an image processing section 230, and a drive control section 40.
  • the image processing section 230 includes a specified position coordinate calculation section 31, an object detection section 32, a reference imaging position determination section 33, and a reference exposure time determination section 234.
  • the reference exposure time determination unit 234 determines the reference exposure time of the camera included in the imaging unit 10 using a plurality of work area images captured under a plurality of imaging conditions at the reference imaging position determined by the reference imaging position determination unit 33. Determine. Specifically, the reference exposure time determining unit 234 determines the number of object images G in which the coordinates of the position specified by the operator as an image of the object T in the plurality of work area images are included in the area. A reference exposure time of a camera included in the imaging unit 10 is determined.
  • the reference exposure time determining section 234 includes an exposure time changing section 2341, an object counting section 2342, and a reference exposure time selecting section 2343.
  • the exposure time changing unit 2341 changes the exposure time of the camera included in the imaging unit 10.
  • the exposure time changing unit 2341 generates a command signal for changing the exposure time at predetermined time intervals, and outputs the command signal to the imaging unit 10.
  • the imaging unit 10 to which the command signal is input can capture a plurality of work area images under a plurality of imaging conditions in which the exposure time is changed.
  • the object counting section 2342 determines whether, in each of the plurality of work area images captured by the imaging section 10, the coordinates of the position specified by the worker as the image of the object T are included in the area of the object image G. The number of object images G is counted.
  • the reference exposure time selection unit 2343 selects the work area image with the largest number of object images G counted by the object counting unit 2342 from among the plurality of work area images.
  • the reference exposure time selection unit 2343 sets the exposure time of the camera when the selected work area image is captured as the reference exposure time.
  • the articulated robot arm control device 201 images the work area under a plurality of imaging conditions with different camera exposure times at the reference imaging position.
  • the articulated robot arm control device 201 determines the number of object images G in which the coordinates of the position of the object image G recognized by the worker are included in the area of the object image G in the plurality of captured work area images.
  • the exposure time of the camera is determined based on. Thereby, the articulated robot arm control device 201 can perform camera exposure that allows the image processing unit 230 to appropriately detect the object image G in the work area image that reflects on-site conditions such as brightness and obstacles. Time can be calculated.
  • the multi-joint robot arm control device 201 that controls the drive of the multi-joint robot arm 50 that performs work on the object T in the work area W, the multi-joint robot arm 50 can be operated while reducing the work burden on the worker. It is possible to realize a configuration in which the operator can efficiently work on a larger number of objects T.
  • FIG. 9 is a diagram showing a schematic configuration of a multi-joint robot arm device 4000 including a multi-joint robot arm control device 301 according to the fifth embodiment.
  • the articulated robot arm control device 301 according to the fifth embodiment allows the operator to adjust the color tone of the image captured by the imaging unit 10 as an image of the target object T in a plurality of work area images captured under a plurality of imaging conditions.
  • This embodiment differs from the articulated robot arm control device 1 according to the first embodiment in that the coordinates of the designated position are determined based on the number of object images G included in the area.
  • configurations similar to those in Embodiment 1 are given the same reference numerals and explanations are omitted, and only portions that are different from Embodiment 1 will be explained.
  • the articulated robot arm control device 301 includes an image display section 20, an image processing section 330, and a drive control section 40.
  • the image processing section 330 includes a specified position coordinate calculation section 31 , an object detection section 32 , a reference imaging position determination section 33 , and a tint determination section 334 .
  • the tint determining unit 334 determines the tint of the image captured by the imaging unit 10 using a plurality of work area images captured under a plurality of imaging conditions at the reference imaging position determined by the reference imaging position determining unit 33. decide. Specifically, the color determination unit 334 determines the image capture based on the number of object images G in which the coordinates of the position specified by the operator as an image of the object T in the plurality of work area images are included in the area. The color tone of the image captured by the unit 10 is determined.
  • the tint determining section 334 includes a tint changing section 3341, an object counting section 3342, and a tint selecting section 3343.
  • the tint changing unit 3341 changes the tint of the image captured by the imaging unit 10.
  • the tint changing unit 3341 generates a command signal for changing the tint, and outputs the command signal to the imaging unit 10. Thereby, the imaging unit 10 to which the command signal is input can capture a plurality of work area images under a plurality of imaging conditions with different tints.
  • the object counting section 3342 determines whether, in each of the plurality of work area images captured by the imaging section 10, the coordinates of the position specified by the worker as the image of the object T are included in the area of the object image G. The number of object images G is counted.
  • the color selection unit 3343 selects the work area image with the largest number of object images G counted by the object counting unit 2342 from among the plurality of work area images.
  • the color selection unit 3343 sets the color of the image processed or displayed by the articulated robot arm control device 301 to the color of the selected work area image.
  • the articulated robot arm control device 301 images the work area at a reference imaging position under a plurality of imaging conditions in which the work area images have different tones.
  • the articulated robot arm control device 301 determines the number of object images G in which the coordinates of the position of the object image G recognized by the worker are included in the area of the object image G in the plurality of captured work area images.
  • the color tone of the image is determined based on the .
  • the articulated robot arm control device 301 has a color tone that allows the image processing unit 330 to appropriately detect the object image G in the work area image that reflects on-site conditions such as brightness and obstacles. can be found.
  • the multi-joint robot arm control device 301 that controls the drive of the multi-joint robot arm 50 that performs work on the object T in the work area W, the multi-joint robot arm 50 can be operated while reducing the work burden on the worker. It is possible to realize a configuration in which the operator can efficiently work on a larger number of objects T.
  • the image display unit 20 includes a display device of a mobile terminal that can be carried by the worker, such as a liquid crystal display.
  • the image display section may be provided in the multi-joint arm robot, or may be provided in a separate device from the multi-joint arm robot.
  • the image display section may be provided anywhere as long as it can display the work area image acquired by the imaging section and allows input by the operator.
  • the plurality of imaging positions of the imaging unit 10 are three imaging positions.
  • the plurality of imaging positions may include two imaging positions, or may include four or more imaging positions.
  • the reference imaging position determination unit 33 of the image processing unit 30 determines whether the worker is the target object among the target object images detected by the target object detection unit 32 in the plurality of work area images. Based on the number of object images in which the coordinates of the designated position are included in the area, a reference imaging position of the imaging unit 10 that images the work area during work is determined. The reference imaging position determination unit selects one work area image from the plurality of work area images based on the number of object images in which the coordinates are included in the area in the plurality of work area images. , the imaging position where the one work area image is taken may be the reference imaging position.
  • the reference imaging position determination unit determines, based on the number of object images in which the coordinates are included in the area in the plurality of work area images, the reference imaging position determining unit is configured to take an image at a position different from an imaging position at which the plurality of work area images were imaged.
  • the position may be the reference imaging position.
  • the reference imaging position selection unit 135 selects the work area image with the largest number of object images counted by the object counting unit 134 from among the plurality of work area images, and selects the work area image with the largest number of object images counted by the object counting unit 134.
  • the imaging position where the work area image was captured is set as the reference imaging position.
  • the reference imaging position selection section may determine the reference imaging position based on the number of object images counted by the object counting section. For example, the reference imaging position selection section uses the number of object images in the plurality of work area images to estimate the imaging position at which the number of object images counted by the object counting section is the largest, and The imaging position may be used as the reference imaging position.
  • the reference imaging position selection section counts the number of object images detected by the object detection section and the number of object images detected by the object counting section in each of the plurality of work area images taken by the imaging section. Based on the ratio, one work area image is selected from the plurality of work area images, and the imaging position at which the selected work area image was taken is determined. , may be used as the reference imaging position. That is, the reference imaging position determination unit is configured to determine the position based on the ratio between the number of object images in the plurality of work area images and the number of object images in which the coordinates are included in the area of the object images. Then, the reference imaging position may be determined.
  • the reference imaging position selection section having the above-mentioned configuration may select an object counted by the object counting section from among the plurality of work area images with respect to the number of object images detected by the object detection section 32.
  • the work area image with the highest ratio of the number of object images is selected, and the imaging position where the work area image is taken is set as the reference imaging position.
  • the articulated robot arm control device having the above-mentioned configuration is configured to calculate the number of objects recognized by the worker and the number of objects detected by the image processing unit in the work area image, which reflects on-site conditions such as brightness and obstacles.
  • the reference imaging position of the work area is calculated based on the ratio of . Therefore, the multi-joint robot arm control device sets, for example, an imaging position at which an image of a target visually recognized by a worker is detected at a higher rate than work area images taken at other imaging positions as the reference imaging position. Can be set to .
  • the object counting section calculates, in each of the plurality of work area images captured by the imaging section, an object whose coordinates at a position specified by the worker as an image of the object are not included in the area.
  • the number of object images may be counted.
  • the reference imaging position selection unit selects the working area image with the smallest number of object images counted by the object counting unit from among the plurality of working area images, and images the working area image.
  • the obtained imaging position is set as the reference imaging position.
  • the reference imaging position determination unit of the articulated robot arm control device determines whether the coordinates of the position specified by the worker as the image of the target object are included in the area from among the plurality of work area images.
  • a work area image with the smallest number of target object images that are not included may be selected, and an imaging position at which the work area image is taken may be set as the reference imaging position.
  • the object counting section determines that the marker M is not included in the area of the object image G detected by the object detection section in the work area images Im1, Im2, and Im3.
  • the number of object images G is counted.
  • the reference imaging position selection unit selects the second imaging position P2, which is the imaging position of the work area image Im2 that has the smallest number counted by the object counting unit, among the work area images Im1, Im2, and Im3, as the reference imaging position. Select as. Thereby, the reference imaging position determination unit determines the second imaging position P2 as the reference imaging position.
  • the articulated robot arm control device having the above-mentioned configuration detects objects recognized by the worker that are not detected by the image processing unit in a work area image that reflects on-site conditions such as brightness or obstacles.
  • the imaging position where the work area image with the least number of objects is captured is calculated as the reference imaging position. Therefore, there is a high possibility that the work area image captured at the reference imaging position includes fewer object images that are difficult to detect by the image processing unit, compared to work area images captured at other imaging positions. Furthermore, in the work area image taken at the reference imaging position, there is a higher possibility that the failure to detect the object image visually recognized by the worker is suppressed than in the work area image taken at other imaging positions. Therefore, the articulated robot arm control device can efficiently work on more objects by performing work on the objects using the work area image taken at the reference imaging position. .
  • the drive control unit 140 moves the imaging unit 10 at predetermined intervals in a direction approaching the work area W by driving an actuator (not shown) of the articulated robot arm 50.
  • the drive control section may position the imaging section at a plurality of imaging positions by driving the actuator to move the imaging section at predetermined intervals in the lateral direction with respect to the work area.
  • the drive control unit may move the imaging position of the imaging unit in any direction with respect to the work area so as to change the number of objects in the work area image imaged by the imaging unit.
  • the position control unit 141 generates and outputs information regarding the first imaging position P1, the second imaging position P2, and the third imaging position P3 as the position command signal.
  • the position control unit may generate and output information regarding two imaging positions as a position command signal, or may generate and output information regarding four or more imaging positions as the position command signal. .
  • the reference exposure time selection unit 2343 selects the work area image with the largest number of object images G counted by the object counting unit 2342 from among the plurality of work area images, and The exposure time of the camera when the selected work area image is captured is set as the reference exposure time.
  • the reference exposure time selection section determines, based on the number of object images counted by the object counting section, a time other than the camera exposure time when a plurality of work area images are taken as the reference exposure time. Good too.
  • the color selection unit 3343 selects the work area image with the largest number of object images G counted by the object counting unit 2342 from among the plurality of work area images, and The color of the work area image thus obtained is set as the color of the image.
  • the color selection unit may set a color other than the color of the plurality of work area images as the color of the image based on the number of target object images G counted by the target object counting unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現する。多関節ロボットアーム制御装置１は、撮像部１０と、画像表示部２０と、画像処理部３０と、駆動制御部４０と、を有する。撮像部１０は、複数の撮像位置において作業領域画像を撮像する。画像処理部３０は、画像表示部２０に表示された前記作業領域画像において作業者が対象物Ｔの画像として指定した位置の座標を算出する指定位置座標算出部３１と、前記複数の作業領域画像において対象物画像Ｇを検出する対象物検出部３２と、前記複数の作業領域画像において前記座標が領域内に含まれている対象物画像Ｇの数に基づいて、前記作業の際に作業領域Ｗを撮像する撮像部１０の基準撮像位置を求める基準撮像位置決定部３３と、を有する。

Description

多関節ロボットアーム制御装置
　本発明は、多関節ロボットアーム制御装置に関する。
　イチゴ、ぶどう等の果物、アスパラガス、トマト等の緑黄色野菜は、米、小麦等の穀物に比べてデリケートで損傷し易く、且つ単価が高い。このようなデリケートで単価が高い作物は、収穫時に損傷しないように一つずつ手作業で収穫される。従って、前記果物及び前記緑黄色野菜等の収穫は、コンバイン等の収穫作業機械を用いた効率的で大規模な収穫が可能な穀物等に比べて生産者の肉体的負担が大きい。そのため、前記果物及び前記緑黄色野菜等の収穫作業において、労働力の確保は難しく、生産者の負担が増大する傾向にある。
　このような問題を解決する装置として、多関節ロボットアームを用いた作物の収穫システムが知られている。前記収穫システムには、前記多関節ロボットアームの先端に、作物を収穫するための作業装置及び画像処理部等が設けられている。前記収穫システムは、前記画像処理部によって収穫の対象となる作物の位置を特定し、前記作業装置によって収穫作業を行う。
　ところで、作物は、個別の形状、実っている状況等が全て異なっている。よって、前記画像処理部では、作物の形状、実っている状況、圃場の天候等の影響により作物を適切に検出できない。このような問題を解決する装置として、例えば特許文献１に開示されるように、作物を収穫する領域を異なる位置から撮影して作物を探索する多関節ロボットアーム制御装置が知られている。
　前記特許文献１に開示されている多関節ロボットアーム制御装置は、作物等の対象物を撮像する撮像部と、前記撮像部が撮像した画像から前記対象物を検出する画像処理部と、前記対象物の座標を算出する座標情報処理部と、前記多関節ロボットアームを制御する駆動制御部とを有する。前記多関節ロボットアーム制御装置は、第１撮像位置から撮像部によって作物を収穫する作業領域を撮像し、前記対象物の画像を検出する。次に、前記多関節ロボットアーム制御装置は、前記対象物の画像の座標を算出する。更に、前記多関節ロボットアーム制御装置は、前記第１撮像位置と異なる第２撮像位置で、異なる撮影条件で前記作業領域を撮影する。これにより、前記多関節ロボットアーム制御装置は、前記作業領域の状態や前記対象物の形状に適した画像を取得することができる。
国際公開第２０２１／０４４４７３号
　前記特許文献１に記載の多関節ロボットアーム制御装置は、前記第１撮像位置で撮像した画像内で検出した前記対象物の座標に基づいて、前記第２撮像位置で異なる条件の画像を撮像する。
　ところで、多関節ロボットアームがより多くの対象物に対して効率良く作業を行うためには、前記多関節ロボットアームが前記対象物に対して作業を行う作業領域内に、前記対象物がより多く含まれているのが好ましい。前記特許文献１に記載の多関節ロボットアーム制御装置のように撮像部によって前記作業領域の画像（以下、作業領域画像）を撮像して該画像内で前記対象物の画像（以下、対象物画像）を検出する場合、できるだけ多くの対象物画像が含まれるように前記撮像部によって広範囲の作業領域の画像を撮像することが考えられる。
　しかしながら、前記作業領域内に多くの前記対象物が含まれるように作業領域画像を撮像しようとすると、前記画像内での前記対象物画像の大きさが小さくなり、多関節ロボットアーム制御装置が前記画像において前記対象物画像を認識しにくくなる可能性がある。これに対し、前記作業領域画像において前記対象物画像をできるだけ多く認識できるように、多関節ロボットアームを動作させるプログラム等を現場の状況に合わせて修正して前記作業領域を撮像する撮像部の位置を調整したり、前記作業領域画像に含まれる前記対象物画像の検出精度を向上するために現場の状況に合わせて対象物の学習データを改変したりすることが考えられる。このような事前作業は、現場の作業者に大きな負担となる。
　そのため、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成が望まれている。
　本発明は、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現することを目的とする。
　本発明者は、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成について検討した。鋭意検討の結果、本発明者は、以下のような構成に想到した。
　本発明の一実施形態に係る多関節ロボットアーム制御装置は、多関節ロボットアームに設けられ、前記多関節ロボットアームが対象物に対して作業を行う作業領域の画像である作業領域画像を撮像する撮像部と、前記撮像部が撮像した画像を表示する画像表示部と、前記撮像部が撮像した画像から対象物の画像を検出する画像処理部と、前記多関節ロボットアームのアクチュエータを駆動する駆動制御部と、を有する多関節ロボットアーム制御装置である。前記駆動制御部は、前記アクチュエータを駆動することにより、前記撮像部を、前記作業領域に対する位置が異なる複数の撮像位置に移動させる。前記撮像部は、前記複数の撮像位置において前記作業領域画像をそれぞれ撮像する。前記画像表示部は、前記複数の撮像位置において前記撮像部が撮像した複数の前記作業領域画像をそれぞれ表示する。前記画像処理部は、前記画像表示部に表示された前記複数の作業領域画像のうち少なくとも一つの作業領域画像において作業者が前記対象物の画像として指定した位置の座標を算出する指定位置座標算出部と、前記複数の作業領域画像において前記対象物の画像である対象物画像を検出する対象物検出部と、前記複数の作業領域画像において前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数に基づいて、前記作業の際に前記作業領域を撮像する前記撮像部の基準撮像位置を求める基準撮像位置決定部と、を有する。
　指定位置座標算出部は、作業を行う現場で撮像部が撮像した作業領域画像において、作業者が対象物の画像であると指定した位置の座標を算出する。基準撮像位置決定部は、対象物検出部が前記作業領域画像から検出した対象物画像のうち、該対象物画像の領域内に前記座標が含まれる対象物画像の数に基づいて、前記撮像部の基準撮像位置を算出する。つまり、多関節ロボットアーム制御装置は、現場の条件が反映された前記作業領域画像において、作業者が認識し且つ前記作業領域画像から検出された対象物画像の数を用いて、対象物画像を適切に検出可能な撮像位置を求めることができる。
　これにより、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現できる。
　他の観点によれば、本発明の多関節ロボットアーム制御装置は、以下の構成を含むことが好ましい。前記基準撮像位置決定部は、前記複数の作業領域画像において前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数に基づいて、前記複数の作業領域画像の中から一つの作業領域画像を選択し、前記一つの作業領域画像を撮像した撮像位置を前記基準撮像位置とする。
　これにより、多関節ロボットアーム制御装置は、現場の条件が含まれている前記作業領域画像において、作業者が認識し且つ前記作業領域画像から検出された対象物画像の数を用いて、複数の作業領域画像の撮像位置の中から、対象物画像を適切に検出可能な撮像位置を求めることができる。
　したがって、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現できる。
　他の観点によれば、本発明の多関節ロボットアーム制御装置は、以下の構成を含むことが好ましい。前記基準撮像位置決定部は、前記複数の作業領域画像の中から、前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数が最も多い作業領域画像を選択し、その作業領域画像を撮像した撮像位置を前記基準撮像位置とする。
　多関節ロボットアーム制御装置は、明るさや障害物などの現場の条件が反映されている前記作業領域画像において、作業者が認識した対象物画像のうち画像処理部によって検出した対象物画像の数が最も多い作業領域画像を撮像した撮像位置を基準撮像位置として算出する。よって、前記基準撮像位置で撮像した作業領域画像には、他の撮像位置で撮像した作業領域画像と比べて多くの対象物画像が含まれている可能性が高い。また、前記基準撮像位置で撮像した作業領域画像において、他の撮像位置で撮像した作業領域画像よりも作業者が認識した対象物画像の数が多い可能性が高い。よって、多関節ロボットアーム制御装置は、前記基準撮像位置で撮像した作業領域画像を用いて対象物に対して作業を行うことにより、より多くの対象物に対して効率良く作業を行うことができる。
　これにより、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現できる。
　他の観点によれば、本発明の多関節ロボットアーム制御装置は、以下の構成を含むことが好ましい。前記基準撮像位置決定部は、前記複数の作業領域画像の中から、前記座標が前記対象物画像の領域内に含まれていない前記対象物画像の数が最も少ない作業領域画像を選択し、その作業領域画像を撮像した撮像位置を前記基準撮像位置とする。
　多関節ロボットアーム制御装置は、明るさや障害物などの現場の条件が反映されている前記作業領域画像において、作業者が認識した対象物画像のうち画像処理部によって検出されなかった対象物画像の数が最も少ない作業領域画像を撮像した撮像位置を基準撮像位置として算出する。よって、前記基準撮像位置で撮像した作業領域画像には、他の撮像位置で撮像した作業領域画像と比べて画像処理部が検出し難い対象物画像が少ない可能性が高い。また、前記基準撮像位置で撮像した作業領域画像において、他の撮像位置で撮像した作業領域画像に比べて、作業者が目視で認識した対象物画像の検出もれが抑制される可能性が高い。よって、多関節ロボットアーム制御装置は、前記基準撮像位置で撮像した作業領域画像を用いて対象物に対して作業を行うことにより、より多くの対象物に対して効率良く作業を行うことができる。
　これにより、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現できる。
　他の観点によれば、本発明の多関節ロボットアーム制御装置は、以下の構成を含むことが好ましい。前記基準撮像位置決定部は、前記複数の作業領域画像において前記対象物検出部によってそれぞれ検出された対象物画像の数と前記対象物画像の領域内に前記座標が含まれている前記対象物画像の数との比率に基づいて、前記基準撮像位置を求める。
　多関節ロボットアーム制御装置は、明るさや障害物などの現場の条件が反映されている前記作業領域画像において、画像処理部によって検出した対象物画像の数と作業者が対象物として認識した対象物画像の数との比率によって作業領域の基準撮像位置を算出する。よって、多関節ロボットアーム制御装置は、例えば、他の撮像位置で撮像した作業領域画像よりも作業者が目視で認識した対象物の画像を検出する割合が高い撮像位置を、前記基準撮像位置に設定することができる。
　これにより、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現できる。
　他の観点によれば、本発明の多関節ロボットアーム制御装置は、以下の構成を含むことが好ましい。前記駆動制御部は、前記アクチュエータを駆動することにより、前記作業領域に対して所定の間隔で前記撮像部を移動させて、前記撮像部を前記複数の撮像位置に位置付ける。
　多関節ロボットアーム制御装置は、作業領域に対する撮像部の位置を所定の間隔で変更し、それぞれの位置で作業領域画像を撮像する。前記撮像部の撮像範囲と対象物画像の大きさとは、作業領域までの距離に応じて変動する。
　例えば、前記撮像部を前記作業領域に近づけた場合、前記撮像部の撮像範囲が狭くなる一方、前記撮像範囲に含まれる対象物の画像が大きくなる。つまり、多関節ロボットアーム制御装置は、前記撮像部を前記作業領域に近づけることにより、画像処理部による対象物画像の検出可能数が減少する一方、対象物画像を誤認識する可能性が低くなる。
　一方、前記撮像部を前記作業領域から遠ざけた場合、前記撮像部の撮像範囲が広くなる一方、前記撮像範囲に含まれる対象物の画像が小さくなる。つまり、多関節ロボットアーム制御装置は、前記撮像部を前記作業領域から遠ざけることで、画像処理部による対象物画像の検出可能数が増大する一方、対象物画像を誤認識する可能性が高くなる。
　よって、多関節ロボットアーム制御装置は、前記作業領域から前記撮像部までの距離を調整することにより、前記対象物の検出数と認識率とを両立できるような最適な撮像位置を求めることができる。
　これにより、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現できる。
　他の観点によれば、本発明の多関節ロボットアーム制御装置は、以下の構成を含むことが好ましい。前記撮像部は、カメラを含み、前記基準撮像位置において前記カメラの露光時間が異なる複数の撮像条件で前記作業領域を撮像する。前記対象物検出部は、前記撮像部によって撮像された複数の作業領域画像において、前記対象物の画像である対象物画像を検出する。前記画像処理部は、前記複数の撮像条件で撮像された前記複数の前記作業領域画像において前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数に基づいて、前記カメラの基準露光時間を決定する基準露光時間決定部を有する。
　多関節ロボットアーム制御装置は、基準撮像位置においてカメラの露光時間が異なる複数の撮像条件で作業領域を撮像する。前記多関節ロボットアーム制御装置は、前記撮像された複数の作業領域画像において、作業者が認識した対象物の座標が領域内に含まれる対象物画像の数に基づいて、カメラの露光時間を決定する。これにより、前記多関節ロボットアーム制御装置は、明るさや障害物などの現場の条件が反映された前記作業領域画像において、前記画像処理部が前記対象物画像を適切に検出可能なカメラの露光時間を求めることができる。
　これにより、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現できる。
　他の観点によれば、本発明の多関節ロボットアーム制御装置は、以下の構成を含むことが好ましい。前記撮像部は、前記基準撮像位置において前記作業領域画像の色味が異なる複数の撮像条件で前記作業領域を撮像する。前記対象物検出部は、前記撮像部によって撮像された複数の作業領域画像において、前記対象物の画像である対象物画像を検出する。前記画像処理部は、前記複数の撮像条件で撮像された複数の前記作業領域画像において前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数に基づいて、前記作業領域画像の色味を決定する色味決定部を有する。
　多関節ロボットアーム制御装置は、基準撮像位置において作業領域画像の色味が異なる複数の撮像条件で作業領域を撮像する。前記多関節ロボットアーム制御装置は、前記撮像された複数の作業領域画像において、作業者が認識した対象物の座標が領域内に含まれる対象物画像の数に基づいて、作業領域画像の色味を決定する。これにより、前記多関節ロボットアーム制御装置は、明るさや障害物などの現場の条件が反映された前記作業領域画像において、前記画像処理部が前記対象物画像を適切に検出可能な画像の色味を求めることができる。
　これにより、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現できる。
　本明細書で使用される専門用語は、特定の実施例のみを定義する目的で使用されるのであって、前記専門用語によって発明を制限する意図はない。
　本明細書で使用される「及び／または」は、一つまたは複数の関連して列挙された構成物のすべての組み合わせを含む。
　本明細書において、「含む、備える（ｉｎｃｌｕｄｉｎｇ）」「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」または「有する（ｈａｖｉｎｇ）」及びそれらの変形の使用は、記載された特徴、工程、操作、要素、成分、及び／または、それらの等価物の存在を特定するが、ステップ、動作、要素、コンポーネント、及び／または、それらのグループのうちの１つまたは複数を含むことができる。
　本明細書において、「取り付けられた」、「接続された」、「結合された」、及び／または、それらの等価物は、広義の意味で使用され、“直接的及び間接的な”取り付け、接続及び結合の両方を包含する。さらに、「接続された」及び「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な電気的接続または結合を含むことができる。
　他に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。
　一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。
　本発明の説明においては、いくつもの技術および工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の１つ以上、または、場合によっては全てと共に使用することもできる。
　したがって、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。
　本明細書では、本発明に係る多関節ロボットアーム制御装置の実施形態について説明する。
　以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。
　よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。
　［多関節ロボットアーム］
　本明細書において、多関節ロボットアームとは、複数のリンクを連結する関節部を複数有するロボットアームを意味する。前記多関節ロボットアームは、垂直多関節ロボットアームを含む。具体的には、前記垂直多関節ロボットアームは、リンクが１自由度の回転関節または直動関節によって根元から先端まで直列に連結されたシリアルリンク機構のロボットアームである。前記垂直多関節ロボットアームは、複数の関節部を有する。
　［対象物］
　本明細書において、対象物とは、多関節ロボットアームが作業領域内で作業を行う対象となる物を意味する。前記対象物は、例えば、イチゴ、ぶどう等の果物、アスパラガス、トマト等の緑黄色野菜、その他の野菜、果物、食品、電化製品、部品などのように、多関節ロボットアームが把持可能な物を含む。なお、前記対象物に対する作業は、収穫作業、把持作業、移動作業、加工作業、選別作業などのように、前記対象物に対して行われるすべての作業を含む。
　［作業領域］
　本明細書において、作業領域とは、多関節ロボットアームが対象物に対して作業可能な３次元の領域を意味する。前記作業領域は、前記多関節ロボットアームの可動範囲と同じ領域か該可動範囲よりも狭い領域である。すなわち、前記作業領域は、前記多関節ロボットアームの可動範囲に含まれる。前記作業領域は、円柱状または角柱状の柱状であってもよいし、球状であってもよいし、直方体などの多面体形状であってもよいし、錐状体であってもよい。また、前記作業領域は、前記多関節ロボットアームに設けられた撮像部から見て、円形状の領域であってもよいし、楕円状の領域であってもよいし、多角形状または少なくとも一部が曲線に囲まれた形状の領域であってもよい。前記作業領域は、前記多関節ロボットアームに設けられた撮像部から見て、どのような形状を有する領域であってもよい。
　［撮像位置］
　本明細書において、撮像位置とは、多関節ロボットアームに設けられた撮像部が、作業対象領域の画像を撮像する位置を意味する。前記撮像位置は、例えば、前記撮像部の絶対座標であってもよいし、作業領域、対象物、構造物または基準となる物に対する相対位置であってもよい。また、前記撮像位置は、前記多関節ロボットアームの座標系における位置であってもよい。前記撮像部は、前記多関節ロボットアームによって位置を調整されることにより、前記撮像位置に位置付けられる。
　［基準撮像位置］
　本明細書において、基準撮像位置とは、多関節ロボットアームが移動して複数の作業対象領域で順に対象物に対して作業を行う場合に、前記多関節ロボットアームに設けられた撮像部が各作業対象領域の画像を撮像する際の位置を意味する。前記基準撮像位置は、例えば、前記撮像部の絶対座標であってもよいし、作業領域、対象物、構造物または基準となる物に対する相対位置であってもよい。また、前記基準撮像位置は、前記多関節ロボットアームの座標系における位置であってもよい。前記基準撮像位置は、前記複数の作業対象領域において同じ位置であってもよいし、前記複数の作業対象領域のうち一部の作業対象領域において同じ位置であってもよい。
　［露光時間］
　本明細書において、露光時間とは、カメラの撮像素子（イメージセンサ）に、光が当たっている時間を意味する。
　［色味］
　本明細書において、色味とは、色の濃淡、微細な色味、色加減を意味する。
　本発明の一実施形態によれば、作業領域内の対象物に対して作業を行う多関節ロボットアームの駆動を制御する制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアームがより多くの対象物に対して効率良く作業を行うことができる構成を実現することができる。
図１は、本発明の実施形態１に係る多関節ロボットアーム装置の概略構成を示す図である。 図２は、撮像部によって複数の撮像位置における作業領域画像を取得する様子を示す図である。 図３は、撮像部が第１撮像位置で撮像した際に得られる作業領域画像の一例を示す図である。 図４は、撮像部が第２撮像位置で撮像した際に得られる作業領域画像の一例を示す図である。 図５は、撮像部が第３撮像位置で撮像した際に得られる作業領域画像の一例を示す図である。 図６は、実施形態２に係る多関節ロボットアーム制御装置を含む多関節ロボットアーム装置の概略構成を示す機能ブロック図である。 図７は、実施形態３に係る多関節ロボットアーム制御装置を用いて多関節ロボットアームのアクチュエータの駆動を制御する様子を模式的に示す図である。 図８は、実施形態４に係る多関節ロボットアーム制御装置を含む多関節ロボットアーム装置の概略構成を示す図である。 図９は、実施形態５に係る多関節ロボットアーム制御装置を含む多関節ロボットアーム装置の概略構成を示す図である。 図１０は、実施形態１に係る多関節ロボットアーム装置の概略構成と撮像部が撮影した作業領域画像の一例とを示す図である。
　以下で、各実施形態について、図面を参照しながら説明する。各図において、同一部分には同一の符号を付して、その同一部分の説明は繰り返さない。なお、各図中の構成部材の寸法は、実際の構成部材の寸法及び各構成部材の寸法比率等を忠実に表したものではない。
［実施形態１］
　図１及び図１０を用いて、本発明の実施形態１に係る多関節ロボットアーム５０及び多関節ロボットアーム制御装置１を有する多関節ロボットアーム装置１０００の全体構成について説明する。図１は、本発明の実施形態１に係る多関節ロボットアーム装置１０００の概略構成を示す図である。多関節ロボットアーム装置１０００は、作業領域Ｗ内の対象物Ｔに対して作業を行う。図１０は、多関節ロボットアーム装置１０００の概略構成と、後述する撮像部が撮影した作業領域画像の一例とを示す図である。
　対象物Ｔは、例えば、イチゴ、ぶどう等の果物、アスパラガス、トマト等の緑黄色野菜、その他の野菜、果物、食品、電化製品、部品などのように、多関節ロボットアーム５０が把持可能な物を含む。対象物Ｔに対する作業は、収穫作業、把持作業、移動作業、加工作業、選別作業などのように、対象物Ｔに対して行われるすべての作業を含む。
　図１に示すように、多関節ロボットアーム装置１０００は、多関節ロボットアーム５０と、多関節ロボットアーム制御装置１とを有する。多関節ロボットアーム５０は、例えば、製造装置の基台、車両等に設けられている。
　多関節ロボットアーム５０は、複数のアーム５１と、複数の関節部５２と、把持部などを含むエンドエフェクタ５３とを有する。関節部５２は、アーム５１を駆動させる図示しないアクチュエータを有する。前記アクチュエータは、例えばモータなどを含む。関節部５２の駆動は、多関節ロボットアーム制御装置１によって制御される。エンドエフェクタ５３は、多関節ロボットアーム５０の先端部に位置し、対象物Ｔに対して作業を行う。エンドエフェクタ５３は、多関節ロボットアーム制御装置１によって関節部５２の駆動が制御されることにより、対象物Ｔに対して移動可能である。
　多関節ロボットアーム５０の構成は、一般的な多関節ロボットアームの構成と同様である。よって、多関節ロボットアーム５０の詳しい説明は省略する。なお、多関節ロボットアーム５０の構成は、対象物Ｔに対して作業可能な構成であれば、各図に記載する構成には限定されない。
　多関節ロボットアーム制御装置１は、エンドエフェクタ５３が作業領域Ｗ内で対象物Ｔに対して作業を行う際に、後述する撮像部１０によって基準撮像位置で作業領域Ｗの画像である作業領域画像を取得し、後述する画像処理部３０によって前記作業領域画像から作業領域Ｗ内の対象物Ｔの画像である対象物画像を検出する。多関節ロボットアーム制御装置１は、前記作業領域画像からの対象物画像の検出結果に基づいて、多関節ロボットアーム５０の関節部５２及びエンドエフェクタ５３の駆動を制御する。これにより、多関節ロボットアーム装置１０００は、対象物Ｔに対して作業を行うことができる。
　なお、多関節ロボットアーム制御装置１が前記作業領域画像からの前記対象物画像の検出結果に基づいて多関節ロボットアーム５０の関節部５２及びエンドエフェクタ５３を駆動制御する方法は、従来と同様である。よって、前記駆動制御の方法については、説明を省略する。
　多関節ロボットアーム制御装置１は、多関節ロボットアーム５０が対象物Ｔに対して作業を行う際に、撮像部１０が作業領域Ｗを撮像する位置（基準撮像位置）を決定する。すなわち、多関節ロボットアーム制御装置１は、作業領域Ｗを撮像する撮像部１０の位置を調整するキャリブレーション機能を有する。
　多関節ロボットアーム制御装置１は、複数の作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３に含まれている対象物画像Ｇの数に基づいて、エンドエフェクタ５３が対象物Ｔに対して作業を行う際の作業領域Ｗを撮像する基準撮像位置を求める。また、多関節ロボットアーム制御装置１は、複数の撮像位置における作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３を画像表示部２０に表示して、作業者が対象物Ｔの画像であると指定した位置の座標を用いて、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３内における対象物画像Ｇの数を検出する。
　多関節ロボットアーム制御装置１は、上述のような撮像位置のキャリブレーションを行う際に、図２に示すように後述する撮像部１０によって複数の撮像位置における作業領域画像を取得する。図２において、１点鎖線で示すＰ１は、第１撮像位置であり、実線で示すＰ２は、第２撮像位置であり、２点鎖線で示すＰ３は、第３撮像位置である。
　図３は、撮像部１０が第１撮像位置Ｐ１で撮像した際に得られる作業領域画像Ｉｍ１の一例を示す。図４は、撮像部１０が第２撮像位置Ｐ２で撮像した際に得られる作業領域画像Ｉｍ２の一例を示す。図５は、撮像部１０が第３撮像位置Ｐ３で撮像した際に得られる作業領域画像Ｉｍ３の一例を示す。なお、図３から図５では、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３を、後述する多関節ロボットアーム制御装置１の画像表示部２０に表示した状態を模式的に示している。図３及び図４において、符号Ｇは、対象物Ｔの画像である対象物画像である。
　図１に示すように、多関節ロボットアーム制御装置１は、撮像部１０と、画像表示部２０と、画像処理部３０と、駆動制御部４０とを有する。
　撮像部１０は、作業領域Ｗを撮像して、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３を取得する。撮像部１０は、多関節ロボットアーム５０に設けられている。撮像部１０によって取得された作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３は、画像表示部２０及び画像処理部３０に入力される。撮像部１０は、例えばステレオカメラであってもよいし、単眼カメラであってもよい。撮像部１０は、２つの作業領域画像を順に取得してもよいし、４つ以上の作業領域画像を順に取得してもよい。
　画像表示部２０は、撮像部１０によって取得された作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３を表示可能な構成を有する。画像表示部２０は、例えば液晶ディスプレイなどのように、作業者が携帯可能な携帯端末の表示装置を含む。また、画像表示部２０は、表示された前記作業領域画像に対して入力作業が可能に構成されている。すなわち、画像表示部２０は、作業者の入力装置としての機能も有する。画像表示部２０は、例えばタッチパネルを有している。
　画像処理部３０は、撮像部１０が撮像した作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３の画像処理を行うとともに、画像表示部２０に表示された作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３に対する作業者の入力操作に応じた処理も行う。詳しくは、画像処理部３０は、指定位置座標算出部３１と、対象物検出部３２と、基準撮像位置決定部３３とを有する。
　指定位置座標算出部３１は、画像表示部２０に表示された作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３において作業者が対象物Ｔの画像として指定した位置の座標を算出する。すなわち、指定位置座標算出部３１は、画像表示部２０の表示画面上で、作業者が認識した対象物Ｔの位置の座標を求める。なお、指定位置座標算出部３１は、作業者が画像表示部２０上で対象物Ｔであると認識した位置にマーカー等を付した場合に、そのマーカー等の位置の座標を求める。前記座標は、例えば、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３における２軸の座標（Ｘ軸座標及びＹ軸座標）である。前記座標は、作業領域における３軸の座標（Ｘ軸座標、Ｙ軸座標、Ｚ軸座標）であってもよい。
　対象物検出部３２は、撮像部１０が撮像した作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３において対象物画像Ｇを検出する。すなわち、対象物検出部３２は、画像処理によって、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３から対象物画像Ｇを抽出する。対象物検出部３２による対象物画像Ｇの抽出方法は、従来の画像処理の方法と同様である。よって、対象物検出部３２による対象物画像Ｇの抽出方法の詳しい説明を省略する。
　基準撮像位置決定部３３は、指定位置座標算出部３１によって算出された座標が対象物検出部３２によって検出された対象物画像Ｇに含まれている数に基づいて、基準撮像位置を求める。すなわち、基準撮像位置決定部３３は、前記作業領域画像において作業者が対象物Ｔとして認識した画像と、対象物検出部３２によって前記作業領域画像から抽出された対象物画像Ｇとが一致する数に基づいて、前記基準撮像位置を求める。
　以下で、撮像部１０が図３から図５に示す作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３を取得した場合における画像処理部３０の動作を説明する。
　図３から図５に、作業者が画像表示部２０に前記対象物であると認識した位置に付したマーカーを符号Ｍで示す。指定位置座標算出部３１は、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３におけるマーカーＭの座標を算出する。前記座標は、例えば、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３における２軸の座標（Ｘ軸座標及びＹ軸座標）である。前記座標は、作業領域における３軸の座標（Ｘ軸座標、Ｙ軸座標、Ｚ軸座標）であってもよい。
　対象物検出部３２は、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３において、対象物画像Ｇを検出する。図３から図５には、対象物検出部３２によって検出された対象物画像Ｇを、太線の矩形状枠で示す。対象物検出部３２は、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３における、対象物画像Ｇの大きさ、対象物画像Ｇの鮮明さ、対象物Ｔの撮像範囲（一部、半分、全部など）等に基づいて、対象物画像Ｇを検出する。
　基準撮像位置決定部３３は、指定位置座標算出部３１によって算出された座標が対象物検出部３２によって検出された対象物画像Ｇの領域に含まれている数に基づいて、基準撮像位置を決める。すなわち、基準撮像位置決定部３３は、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３において、指定位置座標算出部３１によって算出された座標と、対象物検出部３２によって検出された対象物画像Ｇとの位置関係を比較し、前記座標が領域内に含まれている対象物画像Ｇの数を求める。基準撮像位置決定部３３は、求めた対象物画像Ｇの数に基づいて、前記基準撮像位置を決める。
　以上の構成により、画像処理部３０は、対象物Ｔに対して作業を行う際に、撮像部１０が作業領域画像を撮像する基準撮像位置を決めることができる。しかも、画像処理部３０は、前記作業領域画像において作業者が対象物Ｔとして認識した画像と、対象物検出部３２によって前記作業領域画像から抽出された対象物画像Ｇとが一致する数に基づいて、前記基準撮像位置を求める。これにより、多関節ロボットアーム５０のエンドエフェクタ５３が対象物Ｔに対して効率良く作業を行うことができるように、画像処理部３０が対象物画像Ｇを適切に検出可能な作業領域画像を撮像する位置を、前記基準撮像位置に設定することができる。
　本実施形態に係る多関節ロボットアーム制御装置１は、多関節ロボットアーム５０に設けられ、多関節ロボットアーム５０が対象物Ｔに対して作業を行う作業領域Ｗの画像である作業領域画像を撮像する撮像部１０と、撮像部１０が撮像した画像を表示する画像表示部２０と、撮像部１０が撮像した画像から対象物Ｔの画像を検出する画像処理部３０と、多関節ロボットアーム５０のアクチュエータを駆動する駆動制御部４０と、を有する。駆動制御部４０は、前記アクチュエータを駆動することにより、撮像部１０を、作業領域Ｗに対する位置が異なる複数の撮像位置に移動させる。撮像部１０は、前記複数の撮像位置において前記作業領域画像をそれぞれ撮像する。画像表示部２０は、前記複数の撮像位置において撮像部１０が撮像した複数の前記作業領域画像をそれぞれ表示する。画像処理部３０は、画像表示部２０に表示された前記複数の作業領域画像のうち少なくとも一つの作業領域画像において作業者が対象物Ｔの画像として指定した位置の座標を算出する指定位置座標算出部３１と、前記複数の作業領域画像において前記対象物の画像である対象物画像Ｇを検出する対象物検出部３２と、前記複数の作業領域画像において前記座標が対象物画像Ｇの領域内に含まれている対象物画像Ｇの数に基づいて、前記作業の際に作業領域Ｗを撮像する撮像部１０の基準撮像位置を求める基準撮像位置決定部３３と、を有する。
　指定位置座標算出部３１は、作業を行う現場で撮像部１０が撮像した作業領域画像において作業者が指定した対象物Ｔの位置の座標を算出する。基準撮像位置決定部３３は、対象物検出部３２が前記作業領域画像から検出した対象物画像Ｇのうち、対象物画像Ｇの領域内に前記座標が含まれる対象物画像Ｇの数に基づいて、撮像部１０の基準撮像位置を算出する。つまり、多関節ロボットアーム制御装置１は、明るさや障害物などの現場の条件が反映されている前記作業領域画像において、作業者が確認した対象物Ｔを基準として、対象物Ｔを適切に検出可能な撮像位置を求めることができる。
　これにより、作業領域Ｗ内の対象物Ｔに対して作業を行う多関節ロボットアーム５０の駆動を制御する多関節ロボットアーム制御装置１において、作業者の作業負担を軽減しつつ多関節ロボットアーム５０がより多くの対象物Ｔに対して効率良く作業を行うことができる構成を実現できる。
［実施形態２］
　図６は、実施形態２に係る多関節ロボットアーム制御装置１０１を含む多関節ロボットアーム装置２０００の概略構成を示す機能ブロック図である。図６に示すように、実施形態２に係る多関節ロボットアーム制御装置１０１の基準撮像位置決定部１３３は、作業者が対象物Ｔの画像として指定した位置の座標が領域内に含まれている対象物画像Ｇの数に基づいて、前記複数の作業領域画像の中から一つの作業領域画像を選択し、前記一つの作業領域画像における撮像位置を基準撮像位置とする点で、実施形態１に係る多関節ロボットアーム制御装置１とは異なる。以下では、実施形態１と同様の構成には同一の符号を付して説明を省略し、実施形態１と異なる部分についてのみ説明する。
　図６に示すように、多関節ロボットアーム制御装置１０１は、撮像部１０と、画像表示部２０と、画像処理部１３０とを有する。画像処理部１３０は、指定位置座標算出部３１と、対象物検出部３２と、基準撮像位置決定部１３３とを有する。
　基準撮像位置決定部１３３は、作業者が対象物Ｔの画像として指定した位置の座標が領域内に含まれている対象物画像Ｇの数に基づいて、複数の作業領域画像の中から一つの作業領域画像を選択し、該一つの作業領域画像を撮像した位置を基準撮像位置とする。具体的には、基準撮像位置決定部１３３は、例えば、前記複数の作業領域画像の中から、作業者が対象物Ｔの画像として指定した位置の座標が領域内に含まれている対象物画像Ｇの数が最も多い作業領域画像を選択し、その作業領域画像を撮像した撮像位置を、前記基準撮像位置とする。
　詳しくは、基準撮像位置決定部１３３は、対象物カウント部１３４と、基準撮像位置選定部１３５とを有する。
　対象物カウント部１３４は、撮像部１０によって撮像された複数の作業領域画像において、それぞれ、作業者が対象物Ｔの画像として指定した位置の座標が領域内に含まれている対象物画像Ｇの数をカウントする。
　基準撮像位置選定部１３５は、前記複数の作業領域画像の中から、対象物カウント部１３４によってカウントされた対象物画像Ｇの数が最も多い作業領域画像を選択する。基準撮像位置選定部１３５は、選択した作業領域画像を撮像した撮像位置を基準撮像位置とする。
　実施形態１で説明した図３から図５に示す例の場合には、基準撮像位置選定部１３５は、作業領域画像内での対象物画像Ｇの数が最も多い第２撮像位置Ｐ２を、基準撮像位置に選択する。よって、図３から図５に示す例の場合では、前記基準撮像位置は、第２撮像位置Ｐ２である。
　本実施形態では、多関節ロボットアーム制御装置１０１は、明るさや障害物などの現場の条件が反映されている前記作業領域画像において、作業者が認識した対象物Ｔのうち画像処理部１３０によって検出した対象物画像Ｇの数が最も多い作業領域画像を撮像した撮像位置を基準撮像位置として算出する。よって、前記基準撮像位置で撮像した作業領域画像には、他の撮像位置で撮像した作業領域画像と比べて多くの対象物画像Ｇが含まれている可能性が高い。また、前記基準撮像位置で撮像した作業領域画像において、他の撮像位置で撮像した作業領域画像よりも作業者が認識した対象物画像Ｇの数が多い可能性が高い。よって、多関節ロボットアーム制御装置１０１は、前記基準撮像位置で撮像した作業領域画像を用いて対象物Ｔに対して作業を行うことにより、より多くの対象物Ｔに対して効率良く作業を行うことができる。
　これにより、作業領域Ｗ内の対象物Ｔに対して作業を行う多関節ロボットアーム５０の駆動を制御する多関節ロボットアーム制御装置１０１において、作業者の作業負担を軽減しつつ多関節ロボットアーム５０がより多くの対象物Ｔに対して効率良く作業を行うことができる構成を実現できる。
［実施形態３］
　図７は、実施形態３に係る多関節ロボットアーム制御装置を用いて多関節ロボットアーム５０のアクチュエータの駆動を制御する様子を模式的に示す図である。実施形態３に係る多関節ロボットアーム制御装置の駆動制御部１４０は、多関節ロボットアーム５０の図示しないアクチュエータを駆動させることによって、作業領域Ｗに近づく方向に所定の間隔で撮像部１０を移動させる点で、実施形態１に係る多関節ロボットアーム制御装置１とは異なる。以下では、実施形態１と同様の構成には同一の符号を付して説明を省略し、実施形態１と異なる部分についてのみ説明する。
　多関節ロボットアーム制御装置は、多関節ロボットアーム５０のアクチュエータの駆動を制御する駆動制御部１４０を有する。多関節ロボットアーム制御装置における駆動制御部１４０以外の構成は、実施形態１における多関節ロボットアーム制御装置１の構成と同様である。
　駆動制御部１４０は、作業領域Ｗに近づく方向（図７の白抜き矢印の方向）に所定の間隔で撮像部１０を移動させるように、多関節ロボットアーム５０の駆動を制御する。なお、図７に示す例では、撮像部１０は水平方向だけでなく上下方向にも移動しているが、撮像部１０を作業領域Ｗの対象物Ｔに向かって水平方向に移動させてもよい。すなわち、駆動制御部１４０は、撮像部１０を作業領域Ｗに近づく方向に移動させるように、多関節ロボットアーム５０のアクチュエータの駆動を制御する。駆動制御部１４０は、撮像部１０を作業領域Ｗから遠ざかる方向に移動させるように、多関節ロボットアーム５０のアクチュエータの駆動を制御してもよい。
　詳しくは、駆動制御部１４０は、位置制御部１４１と、駆動信号生成部１４２とを有する。
　位置制御部１４１は、作業領域Ｗに対して撮像部１０の位置が徐々に近づくように撮像部１０の位置を決める位置指令信号を生成して出力する。具体的には、位置制御部１４１は、撮像部１０と対象物Ｔとの距離を複数に分割して得られる複数の撮像位置に関する情報を、前記位置指令信号として生成して出力する。位置制御部１４１は、作業領域Ｗに対する撮像部１０の位置を所定の間隔で変更可能であれば、撮像部１０が予め決められた距離を移動するように前記位置指令信号を生成してもよいし、撮像部１０が効率良く作業領域Ｗに近づくように移動距離を演算によって求めて、その結果から前記位置指令信号を生成してもよい。
　位置制御部１４１は、図６に示す例では、第１撮像位置Ｐ１、第２撮像位置Ｐ２及び第３撮像位置Ｐ３に関する情報を、前記位置指令信号として生成して出力する。位置制御部１４１から出力された前記位置指令信号は、駆動信号生成部１４２に入力される。
　駆動信号生成部１４２は、位置制御部１４１から出力された前記位置指令信号に基づいて、多関節ロボットアーム５０のアクチュエータを駆動させる駆動信号を生成して出力する。駆動信号生成部１４２から出力された前記駆動信号は、多関節ロボットアーム５０のアクチュエータに入力される。
　本実施形態では、駆動制御部１４０は、前記アクチュエータを駆動することにより、作業領域Ｗに近づく方向または作業領域Ｗから遠ざかる方向に所定の間隔で撮像部１０を移動させて、撮像部１０を前記複数の撮像位置に位置付ける。
　本実施形態に係る多関節ロボットアーム制御装置は、作業領域Ｗに対する撮像部１０の位置を所定の間隔で変更し、それぞれの位置で作業領域画像を撮像する。撮像部１０の撮像範囲及び対象物Ｔの画像の大きさは、撮像部１０から作業領域Ｗまでの距離に応じて変動する。
　例えば、撮像部１０を作業領域Ｗに近づけた場合、撮像部１０の撮像範囲が狭くなる一方、前記撮像範囲に含まれる対象物Ｔの画像が大きくなる。つまり、多関節ロボットアーム制御装置は、撮像部１０を作業領域Ｗに近づけることにより、画像処理部３０による対象物画像Ｇの検出可能数が減少する一方、対象物画像Ｇを誤認識する可能性が低くなる。
　一方、撮像部１０を作業領域Ｗから遠ざけた場合、撮像部１０の撮像範囲が広くなる一方、前記撮像範囲に含まれる対象物Ｔの画像が小さくなる。つまり、多関節ロボットアーム制御装置は、撮像部１０を作業領域Ｗから遠ざけることで、画像処理部３０による対象物画像Ｇの検出可能数が増大する一方、対象物画像Ｇを誤認識する可能性が高くなる。
　よって、多関節ロボットアーム制御装置は、作業領域Ｗから撮像部１０までの距離を調整することにより、対象物画像Ｇの検出数と認識率とを両立できるような最適な撮像位置を求めることができる。
　これにより、作業領域Ｗ内の対象物Ｔに対して作業を行う多関節ロボットアーム５０の駆動を制御する多関節ロボットアーム制御装置において、作業者の作業負担を軽減しつつ多関節ロボットアーム５０がより多くの対象物Ｔに対して効率良く作業を行うことができる構成を実現できる。
［実施形態４］
　図８は、実施形態４に係る多関節ロボットアーム制御装置２０１を含む多関節ロボットアーム装置３０００の概略構成を示す図である。実施形態４に係る多関節ロボットアーム制御装置２０１は、複数の撮像条件で撮像された複数の作業領域画像において、作業者が対象物Ｔの画像として指定した位置の座標が対象物画像Ｇの領域内に含まれている対象物画像Ｇの数に基づいて、撮像部１０に含まれるカメラの露光時間を決定する点で、実施形態１に係る多関節ロボットアーム制御装置１とは異なる。以下では、実施形態１と同様の構成には同一の符号を付して説明を省略し、実施形態１と異なる部分についてのみ説明する。
　図８に示すように、多関節ロボットアーム制御装置２０１は、画像表示部２０と、画像処理部２３０と、駆動制御部４０とを有する。画像処理部２３０は、指定位置座標算出部３１と、対象物検出部３２と、基準撮像位置決定部３３と、基準露光時間決定部２３４とを有する。
　基準露光時間決定部２３４は、基準撮像位置決定部３３で決定された基準撮像位置において複数の撮像条件で撮像された複数の作業領域画像を用いて、撮像部１０に含まれるカメラの基準露光時間を決定する。詳しくは、基準露光時間決定部２３４は、前記複数の作業領域画像において作業者が対象物Ｔの画像として指定した位置の座標が領域内に含まれている対象物画像Ｇの数に基づいて、撮像部１０に含まれるカメラの基準露光時間を決定する。
　基準露光時間決定部２３４は、露光時間変更部２３４１と、対象物カウント部２３４２と、基準露光時間選定部２３４３とを有する。
　露光時間変更部２３４１は、撮像部１０に含まれるカメラの露光時間を変更させる。露光時間変更部２３４１は、露光時間を所定の時間間隔で変更させるような指令信号を生成して、該指令信号を撮像部１０に出力する。これにより、前記指令信号が入力された撮像部１０は、露光時間を変化させた複数の撮像条件で、複数の作業領域画像を撮像することができる。
　対象物カウント部２３４２は、撮像部１０によって撮像された複数の作業領域画像において、それぞれ、作業者が対象物Ｔの画像として指定した位置の座標が対象物画像Ｇの領域内に含まれている対象物画像Ｇの数をカウントする。
　基準露光時間選定部２３４３は、前記複数の作業領域画像の中から、対象物カウント部２３４２によってカウントされた対象物画像Ｇの数が最も多い作業領域画像を選択する。基準露光時間選定部２３４３は、選択した作業領域画像を撮像した際のカメラの露光時間を、基準露光時間とする。
　本実施形態では、多関節ロボットアーム制御装置２０１は、基準撮像位置においてカメラの露光時間が異なる複数の撮像条件で作業領域を撮像する。多関節ロボットアーム制御装置２０１は、前記撮像された複数の作業領域画像において、作業者が認識した対象物画像Ｇの位置の座標が対象物画像Ｇの領域内に含まれる対象物画像Ｇの数に基づいて、前記カメラの露光時間を決定する。これにより、多関節ロボットアーム制御装置２０１は、明るさや障害物などの現場の条件が反映されている前記作業領域画像において、画像処理部２３０が対象物画像Ｇを適切に検出可能なカメラの露光時間を算出することができる。
　これにより、作業領域Ｗ内の対象物Ｔに対して作業を行う多関節ロボットアーム５０の駆動を制御する多関節ロボットアーム制御装置２０１において、作業者の作業負担を軽減しつつ多関節ロボットアーム５０がより多くの対象物Ｔに対して効率良く作業を行うことができる構成を実現できる。
［実施形態５］
　図９は、実施形態５に係る多関節ロボットアーム制御装置３０１を含む多関節ロボットアーム装置４０００の概略構成を示す図である。実施形態５に係る多関節ロボットアーム制御装置３０１は、撮像部１０によって撮像される画像の色味を、複数の撮像条件で撮像された複数の作業領域画像において作業者が対象物Ｔの画像として指定した位置の座標が領域内に含まれている対象物画像Ｇの数に基づいて、決定する点で、実施形態１に係る多関節ロボットアーム制御装置１とは異なる。以下では、実施形態１と同様の構成には同一の符号を付して説明を省略し、実施形態１と異なる部分についてのみ説明する。
　図９に示すように、多関節ロボットアーム制御装置３０１は、画像表示部２０と、画像処理部３３０と、駆動制御部４０とを有する。画像処理部３３０は、指定位置座標算出部３１と、対象物検出部３２と、基準撮像位置決定部３３と、色味決定部３３４とを有する。
　色味決定部３３４は、基準撮像位置決定部３３で決定された基準撮像位置において複数の撮像条件で撮像された複数の作業領域画像を用いて、撮像部１０によって撮像される画像の色味を決定する。詳しくは、色味決定部３３４は、前記複数の作業領域画像において作業者が対象物Ｔの画像として指定した位置の座標が領域内に含まれている対象物画像Ｇの数に基づいて、撮像部１０によって撮像される画像の色味を決定する。
　色味決定部３３４は、色味変更部３３４１と、対象物カウント部３３４２と、色味選定部３３４３とを有する。
　色味変更部３３４１は、撮像部１０によって撮像される画像の色味を変更させる。色味変更部３３４１は、色味を変更させるような指令信号を生成して、該指令信号を撮像部１０に出力する。これにより、前記指令信号が入力された撮像部１０は、色味を変化させた複数の撮像条件で、複数の作業領域画像を撮像することができる。
　対象物カウント部３３４２は、撮像部１０によって撮像された複数の作業領域画像において、それぞれ、作業者が対象物Ｔの画像として指定した位置の座標が対象物画像Ｇの領域内に含まれている対象物画像Ｇの数をカウントする。
　色味選定部３３４３は、前記複数の作業領域画像の中から、対象物カウント部２３４２によってカウントされた対象物画像Ｇの数が最も多い作業領域画像を選択する。色味選定部３３４３は、多関節ロボットアーム制御装置３０１で画像処理または表示される画像の色味を、選択した作業領域画像の色味にする。
　本実施形態では、多関節ロボットアーム制御装置３０１は、基準撮像位置において作業領域画像の色味が異なる複数の撮像条件で作業領域を撮像する。多関節ロボットアーム制御装置３０１は、前記撮像された複数の作業領域画像において、作業者が認識した対象物画像Ｇの位置の座標が対象物画像Ｇの領域内に含まれる対象物画像Ｇの数に基づいて、画像の色味を決定する。これにより、多関節ロボットアーム制御装置３０１は、明るさまたは障害物などの現場の条件が反映されている前記作業領域画像において、画像処理部３３０が対象物画像Ｇを適切に検出可能な色味を求めることができる。
　これにより、作業領域Ｗ内の対象物Ｔに対して作業を行う多関節ロボットアーム５０の駆動を制御する多関節ロボットアーム制御装置３０１において、作業者の作業負担を軽減しつつ多関節ロボットアーム５０がより多くの対象物Ｔに対して効率良く作業を行うことができる構成を実現できる。
　（その他の実施形態）
　以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
　前記各実施形態では、画像表示部２０は、例えば液晶ディスプレイなどのように、作業者が携帯可能な携帯端末の表示装置を含む。しかしながら、画像表示部は、多関節アームロボットに設けられていてもよいし、多関節アームロボットとは別の装置に設けられていてもよい。画像表示部は、撮像部によって取得した作業領域画像を表示可能であり且つ作業者が入力可能であれば、どこに設けられていてもよい。
　前記各実施形態では、撮像部１０の複数の撮像位置は、３カ所の撮像位置である。しかしながら、複数の撮像位置は、２箇所の撮像位置を含んでいてもよいし、４箇所以上の撮像位置を含んでいてもよい。
　前記実施形態１では、画像処理部３０の基準撮像位置決定部３３は、複数の作業領域画像において、対象物検出部３２によって検出された対象物画像のうち、作業者が対象物の画像であると指定した位置の座標が領域内に含まれている対象物画像の数に基づいて、作業の際に作業領域を撮像する撮像部１０の基準撮像位置を求める。基準撮像位置決定部は、前記複数の作業領域画像において前記座標が領域内に含まれている対象物画像の数に基づいて、前記複数の作業領域画像の中から一つの作業領域画像を選択し、前記一つの作業領域画像を撮像した撮像位置を、前記基準撮像位置としてもよい。また、基準撮像位置決定部は、前記複数の作業領域画像において前記座標が領域内に含まれている対象物画像の数に基づいて、前記複数の作業領域画像を撮像した撮像位置とは異なる撮像位置を、前記基準撮像位置としてもよい。
　前記実施形態２では、基準撮像位置選定部１３５は、複数の作業領域画像の中から、対象物カウント部１３４によってカウントされた対象物画像の数が最も多い作業領域画像を選択して、その選択された作業領域画像を撮像した撮像位置を、基準撮像位置とする。しかしながら、基準撮像位置選定部は、対象物カウント部によってカウントされた対象物画像の数に基づいて、前記基準撮像位置を求めてもよい。例えば、基準撮像位置選定部は、複数の作業領域画像における対象物画像の数を用いて、対象物カウント部によってカウントされた対象物画像の数が最も大きくなるような撮像位置を推測して、その撮像位置を基準撮像位置としてもよい。
　また、前記実施形態２において、基準撮像位置選定部は、撮像部によって撮像された複数の作業領域画像において、それぞれ、対象物検出部によって検出された対象物画像の数と対象物カウント部によってカウントされた対象物画像の数との比率を求め、その比率に基づいて、前記複数の作業領域画像の中から一つの作業領域画像を選択し、その選択された作業領域画像を撮像した撮像位置を、基準撮像位置としてもよい。すなわち、基準撮像位置決定部は、前記複数の作業領域画像における前記対象物画像の数と前記対象物の画像の領域内に前記座標が含まれている対象物の画像の数との比率に基づいて、前記基準撮像位置を求めてもよい。
　上述の構成を有する基準撮像位置選定部は、例えば、前記複数の作業領域画像の中から、対象物検出部３２によって検出された対象物画像の数に対して対象物カウント部によってカウントされた対象物画像の数の比率が最も高い作業領域画像を選択して、その作業領域画像を撮像した撮像位置を、前記基準撮像位置とする。
　上述の構成を有する多関節ロボットアーム制御装置は、明るさや障害物などの現場の条件が反映されている前記作業領域画像において、作業者が認識した対象物の数と画像処理部によって検出した対象物の数との比率によって作業領域の基準撮像位置を算出する。よって、前記多関節ロボットアーム制御装置は、例えば、他の撮像位置で撮像した作業領域画像よりも作業者が目視で認識した対象物の画像を検出する割合が高い撮像位置を、前記基準撮像位置に設定することができる。
　また、実施形態２において、対象物カウント部は、撮像部によって撮像された複数の作業領域画像において、それぞれ、作業者が対象物の画像として指定した位置の座標が領域内に含まれていない対象物画像の数をカウントしてもよい。この場合、基準撮像位置選定部は、前記複数の作業領域画像の中から、対象物カウント部によってカウントされた対象物画像の数が最も少ない作業領域画像を選択して、その作業領域画像を撮像した撮像位置を、基準撮像位置とする。
　すなわち、上述の構成を有する多関節ロボットアーム制御装置の基準撮像位置決定部は、複数の作業領域画像の中から、作業者が前記対象物の画像として指定した位置の座標が領域内に含まれていない前記対象物画像の数が最も少ない作業領域画像を選択し、その作業領域画像を撮像した撮像位置を前記基準撮像位置としてもよい。
　図３から図５に示す例の場合、対象物カウント部は、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３において、対象物検出部によって検出された対象物画像Ｇの領域内にマーカーＭが含まれていない対象物画像Ｇの数をカウントする。基準撮像位置選定部は、作業領域画像Ｉｍ１，Ｉｍ２，Ｉｍ３のうち、対象物カウント部によってカウントされた数が最も少ない作業領域画像Ｉｍ２の撮像位置である第２撮像位置Ｐ２を、前記基準撮像位置として選択する。これにより、前記基準撮像位置決定部は、第２撮像位置Ｐ２を前記基準撮像位置に決定する。
　上述の構成を有する多関節ロボットアーム制御装置は、明るさまたは障害物などの現場の条件が反映されている作業領域画像において、作業者が認識した対象物のうち画像処理部によって検出されなかった対象物の数が最も少ない作業領域画像を撮像した撮像位置を基準撮像位置として算出する。よって、前記基準撮像位置で撮像した作業領域画像には、他の撮像位置で撮像した作業領域画像と比べて画像処理部が検出し難い対象物画像が少ない可能性が高い。また、前記基準撮像位置で撮像した作業領域画像において、他の撮像位置で撮像した作業領域画像よりも作業者が目視で認識した対象物画像の検出もれが抑制される可能性が高い。よって、多関節ロボットアーム制御装置は、前記基準撮像位置で撮像した作業領域画像を用いて対象物に対して作業を行うことにより、より多くの対象物に対して効率良く作業を行うことができる。
　前記実施形態３では、駆動制御部１４０は、多関節ロボットアーム５０の図示しないアクチュエータを駆動させることによって、作業領域Ｗに近づく方向に所定の間隔で撮像部１０を移動させる。しかしながら、駆動制御部は、アクチュエータを駆動することにより、作業領域に対して横方向に所定の間隔で撮像部を移動させて、撮像部を複数の撮像位置に位置付けてもよい。駆動制御部は、撮像部によって撮像される作業領域画像内の対象物の数を変化させるように、作業領域に対して前記撮像部の撮像位置をいずれの方向に移動させてもよい。
　前記実施形態３では、位置制御部１４１は、第１撮像位置Ｐ１、第２撮像位置Ｐ２及び第３撮像位置Ｐ３に関する情報を、前記位置指令信号として生成して出力する。しかしながら、位置制御部は、２つの撮像位置に関する情報を位置指令信号として生成して出力してもよいし、４つ以上の撮像位置に関する情報を前記位置指令信号として生成して出力してもよい。
　前記実施形態４では、基準露光時間選定部２３４３は、前記複数の作業領域画像の中から、対象物カウント部２３４２によってカウントされた対象物画像Ｇの数が最も多い作業領域画像を選択し、該選択した作業領域画像を撮像した際のカメラの露光時間を、基準露光時間とする。しかしながら、基準露光時間選定部は、対象物カウント部によってカウントされた対象物画像の数に基づいて、複数の作業領域画像を撮影した際のカメラの露光時間以外の時間を、前記基準露光時間としてもよい。
　前記実施形態５では、色味選定部３３４３は、前記複数の作業領域画像の中から、対象物カウント部２３４２によってカウントされた対象物画像Ｇの数が最も多い作業領域画像を選択し、該選択した作業領域画像の色味を、画像の色味とする。しかしながら、色味選定部は、対象物カウント部によってカウントされた対象物画像Ｇの数に基づいて、複数の作業領域画像の色味以外の色味を、画像の色味としてもよい。
１、１０１、２０１、３０１　多関節ロボットアーム制御装置
１０　撮像部
２０　画像表示部
３０、１３０、２３０、３３０　画像処理部
３１　指定位置座標算出部
３２　対象物検出部
３３、１３３　基準撮像位置決定部
４０、１４０　駆動制御部
５０　多関節ロボットアーム
５１　アーム
５２　関節部
５３　エンドエフェクタ
１３４、２３４２、３３４２　対象物カウント部
１３５　基準撮像位置選定部
１４１　位置制御部
１４２　駆動信号生成部
１０００、２０００、３０００、４０００　多関節ロボットアーム装置
Ｔ　対象物
Ｇ　対象物画像
Ｗ　作業領域
 

Claims (8)

  1. 　多関節ロボットアームに設けられ、前記多関節ロボットアームが対象物に対して作業を行う作業領域の画像である作業領域画像を撮像する撮像部と、
    　前記撮像部が撮像した画像を表示する画像表示部と、
    　前記撮像部が撮像した画像から対象物の画像を検出する画像処理部と、
    　前記多関節ロボットアームのアクチュエータを駆動する駆動制御部と、を有する多関節ロボットアーム制御装置であって、
    　前記駆動制御部は、前記アクチュエータを駆動することにより、前記撮像部を、前記作業領域に対する位置が異なる複数の撮像位置に移動させ、
    　前記撮像部は、前記複数の撮像位置において前記作業領域画像をそれぞれ撮像し、
    　前記画像表示部は、前記複数の撮像位置において前記撮像部が撮像した複数の前記作業領域画像をそれぞれ表示し、
    　前記画像処理部は、
    　　前記画像表示部に表示された前記複数の作業領域画像のうち少なくとも一つの作業領域画像において作業者が前記対象物の画像として指定した位置の座標を算出する指定位置座標算出部と、
    　　前記複数の作業領域画像において前記対象物の画像である対象物画像を検出する対象物検出部と、
    　　前記複数の作業領域画像において前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数に基づいて、前記作業の際に前記作業領域を撮像する前記撮像部の基準撮像位置を決定する基準撮像位置決定部と、
    を有する、
    多関節ロボットアーム制御装置。
  2. 　請求項１に記載の多関節ロボットアーム制御装置において、
    　前記基準撮像位置決定部は、前記複数の作業領域画像において前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数に基づいて、前記複数の作業領域画像の中から一つの作業領域画像を選択し、前記一つの作業領域画像を撮像した撮像位置を前記基準撮像位置とする、
    多関節ロボットアーム制御装置。
  3. 　請求項２に記載の多関節ロボットアーム制御装置において、
    　前記基準撮像位置決定部は、前記複数の作業領域画像の中から、前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数が最も多い作業領域画像を選択し、その作業領域画像を撮像した撮像位置を前記基準撮像位置とする、
    多関節ロボットアーム制御装置。
  4. 　請求項２に記載の多関節ロボットアーム制御装置において、
    　前記基準撮像位置決定部は、前記複数の作業領域画像の中から、前記座標が前記対象物画像の領域内に含まれていない前記対象物画像の数が最も少ない作業領域画像を選択し、その作業領域画像を撮像した撮像位置を前記基準撮像位置とする、
    多関節ロボットアーム制御装置。
  5. 　請求項１に記載の多関節ロボットアーム制御装置において、
    　前記基準撮像位置決定部は、前記複数の作業領域画像において前記対象物検出部によってそれぞれ検出された対象物画像の数と前記対象物画像の領域内に前記座標が含まれている前記対象物画像の数との比率に基づいて、前記基準撮像位置を求める、
    多関節ロボットアーム制御装置。
  6. 　請求項１から５のいずれか一つに記載の多関節ロボットアーム制御装置において、
    　前記駆動制御部は、前記アクチュエータを駆動することにより、前記作業領域に対して所定の間隔で前記撮像部を移動させて、前記撮像部を前記複数の撮像位置に位置付ける、
    多関節ロボットアーム制御装置。
  7. 　請求項１から６のいずれか一つに記載の多関節ロボットアーム制御装置において、
    　前記撮像部は、カメラを含み、前記基準撮像位置において前記カメラの露光時間が異なる複数の撮像条件で前記作業領域を撮像し、
    　前記対象物検出部は、前記撮像部によって撮像された複数の作業領域画像において、前記対象物の画像である対象物画像を検出し、
    　前記画像処理部は、前記複数の撮像条件で撮像された前記複数の作業領域画像において前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数に基づいて、前記カメラの基準露光時間を決定する基準露光時間決定部を有する、
    多関節ロボットアーム制御装置。
  8. 　請求項１から７のいずれか一つに記載の多関節ロボットアーム制御装置において、
    　前記撮像部は、前記基準撮像位置において前記作業領域画像の色味が異なる複数の撮像条件で前記作業領域を撮像し、
    　前記対象物検出部は、前記撮像部によって撮像された複数の作業領域画像において、前記対象物の画像である対象物画像を検出し、
    　前記画像処理部は、前記複数の撮像条件で撮像された前記複数の作業領域画像において前記座標が前記対象物画像の領域内に含まれている前記対象物画像の数に基づいて、作業領域画像の色味を決定する色味決定部を有する、
    多関節ロボットアーム制御装置。
     
PCT/JP2022/018457 2022-04-21 2022-04-21 多関節ロボットアーム制御装置 WO2023203727A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/018457 WO2023203727A1 (ja) 2022-04-21 2022-04-21 多関節ロボットアーム制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/018457 WO2023203727A1 (ja) 2022-04-21 2022-04-21 多関節ロボットアーム制御装置

Publications (1)

Publication Number Publication Date
WO2023203727A1 true WO2023203727A1 (ja) 2023-10-26

Family

ID=88419616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018457 WO2023203727A1 (ja) 2022-04-21 2022-04-21 多関節ロボットアーム制御装置

Country Status (1)

Country Link
WO (1) WO2023203727A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62104513A (ja) * 1985-10-31 1987-05-15 株式会社クボタ 果菜類収穫装置
JP2020163502A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
JP2021085683A (ja) * 2019-11-25 2021-06-03 ファナック株式会社 Ｔｏｆセンサを用いた物体検出システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62104513A (ja) * 1985-10-31 1987-05-15 株式会社クボタ 果菜類収穫装置
JP2020163502A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
JP2021085683A (ja) * 2019-11-25 2021-06-03 ファナック株式会社 Ｔｏｆセンサを用いた物体検出システム

Similar Documents

Publication Publication Date Title
US10052765B2 (en) Robot system having augmented reality-compatible display
JP6734253B2 (ja) ワークを撮像する視覚センサを備える撮像装置
CN109382821B (zh) 校准方法、校准***及程序
JP5980873B2 (ja) ロボットの干渉領域設定装置
Han et al. Strawberry harvesting robot for bench-type cultivation
CN106113050B (zh) 工业机器人的示教方法、控制方法及装置、***
US9413976B2 (en) Auto exposure of a camera in a surgical robot
CN109459984B (zh) 一种基于三维点云的定位抓取***及其使用方法
CN109926817B (zh) 基于机器视觉的变压器自动装配方法
JP2018008369A (ja) マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御
US20050065653A1 (en) Robot and robot operating method
JP5782622B2 (ja) 果柄切断装置
Huang et al. An automatic machine vision-guided grasping system for Phalaenopsis tissue culture plantlets
JP6977634B2 (ja) 外観検査装置、外観検査方法及びプログラム
JP4961555B2 (ja) 植物の対象部分の位置特定方法とその方法による対象部分の位置特定装置及びその装置を用いた作業用ロボット
JP2016014994A (ja) ロボットシステム
WO2023203727A1 (ja) 多関節ロボットアーム制御装置
US20180215044A1 (en) Image processing device, robot control device, and robot
JP3054706B1 (ja) ナスの自動収穫方法及び装置
KR20140108047A (ko) 물체 추적 방법, 물체의 표시 상태 판단 방법 및 물체 추적이 가능한 제어 장치
Bulanon et al. Feedback control of manipulator using machine vision for robotic apple harvesting
KR20180066527A (ko) 고추 자동 수확 장치
JP6680812B2 (ja) ワーク画像生成装置
WO2019222480A1 (en) Confidence-based robotically-assisted surgery system
JPH05134737A (ja) ロボツトの教示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22938527

Country of ref document: EP

Kind code of ref document: A1