WO2020184101A1 - 情報処理装置、駆動制御方法およびプログラム記憶媒体 - Google Patents

情報処理装置、駆動制御方法およびプログラム記憶媒体 Download PDF

Info

Publication number
WO2020184101A1
WO2020184101A1 PCT/JP2020/006430 JP2020006430W WO2020184101A1 WO 2020184101 A1 WO2020184101 A1 WO 2020184101A1 JP 2020006430 W JP2020006430 W JP 2020006430W WO 2020184101 A1 WO2020184101 A1 WO 2020184101A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
gravity
center
captured image
detection
Prior art date
Application number
PCT/JP2020/006430
Other languages
English (en)
French (fr)
Inventor
丈晴 北川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/418,431 priority Critical patent/US12030175B2/en
Priority to JP2021504864A priority patent/JP7384898B2/ja
Publication of WO2020184101A1 publication Critical patent/WO2020184101A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • A01K61/80—Feeding devices
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M29/00—Scaring or repelling devices, e.g. bird-scaring apparatus
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M29/00—Scaring or repelling devices, e.g. bird-scaring apparatus
    • A01M29/06—Scaring or repelling devices, e.g. bird-scaring apparatus using visual means, e.g. scarecrows, moving elements, specific shapes, patterns or the like
    • A01M29/10—Scaring or repelling devices, e.g. bird-scaring apparatus using visual means, e.g. scarecrows, moving elements, specific shapes, patterns or the like using light sources, e.g. lasers or flashing lights
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M29/00—Scaring or repelling devices, e.g. bird-scaring apparatus
    • A01M29/16—Scaring or repelling devices, e.g. bird-scaring apparatus using sound waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to a technique for controlling a drive device using information acquired from a captured image.
  • Patent Document 1 describes a method of obstructing the behavior of an intruder by discharging water toward the intruder when it is detected from an image taken by a surveillance camera that an intruder who should be wary has invaded the important area. It is shown.
  • Patent Document 2 discloses a method of detecting an intruder intruding into a vehicle by using an image taken by a stereo camera and distance information in the depth direction acquired by the stereo camera.
  • JP-A-2007-124269 Japanese Unexamined Patent Publication No. 2005-208833
  • the drive device When controlling a drive device, the drive device may be controlled by acquiring the sensor output of a high-performance sensor or performing complicated calculations in order to acquire information about the object on which the drive device operates.
  • the control of the drive device may require not only the reliability of the device operation but also the simplification of the control configuration.
  • a main object of the present invention is to provide a control technique capable of simplifying a control configuration for controlling a drive device and increasing reliability of the operation of the drive device.
  • one form of the information processing apparatus is A detection unit that detects the detection target from the captured image using reference data that is the learning result of machine learning the detection target including the position of the center of gravity of the object in the captured image. It includes a processing unit that controls a driving device to be controlled that acts on the object by using the detection result of the detection unit.
  • one form of the drive control method according to the present invention is Using the reference data which is the learning result of machine learning the detection target including the position of the center of gravity of the object in the captured image, the detection target is detected from the captured image. The detection result is used to control the driving device to be controlled that acts on the object.
  • one form of the program storage medium is Processing to detect the detection target from the captured image using the reference data which is the learning result of machine learning the detection target including the position of the center of gravity of the object in the captured image.
  • the detection result a computer program that causes a computer to execute a process of controlling a driving device to be controlled that acts on the object is stored.
  • FIG. 1 It is a block diagram which simplifies the structure of the information processing apparatus of 1st Embodiment which concerns on this invention. It is a figure which shows the example of the drive device controlled by the information processing apparatus of 1st Embodiment, and the example of the object operated by the drive device. It is a figure which shows the operation example of the drive device shown in FIG. It is a figure explaining the teacher data used for generating the reference data used by the information processing apparatus of 1st Embodiment. It is a figure which shows the operation example of the drive apparatus controlled by the information processing apparatus of 1st Embodiment. It is a flowchart explaining the operation example of the drive control in the information processing apparatus of 1st Embodiment.
  • FIG. 14 is a diagram illustrating the effect of the tracking function. It is a figure explaining another application example of the information processing apparatus of 4th Embodiment. It is a block diagram which simplifies the structure of the information processing apparatus of another embodiment which concerns on this invention.
  • FIG. 1 is a block diagram showing a simplified configuration of the information processing apparatus according to the first embodiment of the present invention.
  • the information processing device 1 of the first embodiment is connected to the photographing device 4 and the driving device 5, and has a function of controlling the operation of the driving device 5 by using the captured image captured by the photographing device 4.
  • the drive device 5 is a robot arm 10 as shown in FIG. 2, and the hand 11 provided on the robot arm 10 has a mechanism capable of gripping the object 13. .
  • the photographing device 4 is installed at a position determined by a control method for controlling the hand 11 of the robot arm 10, and is installed at a position where a predetermined work area in the hand 11 of the robot arm 10 is included in the photographing range.
  • the information processing device 1 controls the gripping operation of the hand 11 of the robot arm 10 by using the captured image by the photographing device 4.
  • the information processing device 1 includes a control device 2 and a storage device 3 as shown in FIG.
  • the storage device 3 has a function of storing various data and computer programs, and is realized by, for example, a storage medium such as a hard disk device or a semiconductor memory.
  • the storage device provided in the information processing device 1 is not limited to one, and a plurality of types of storage devices may be provided in the information processing device 1. In this case, the plurality of storage devices are collectively referred to as the storage device. It shall be described as 3.
  • the information processing device 1 may be connected to an external storage device (not shown) separate from the information processing device 1. When the information processing device 1 is connected to the external storage device, the information processing device 1 appropriately executes a process of writing and reading information to the external storage device, but in the following description, it is external. The description of the process related to the storage device will be omitted.
  • the storage device 3 stores reference data (also referred to as a dictionary or a model) generated by machine learning.
  • This reference data is data used in a detection process for detecting a predetermined detection target from a captured image, and is generated by machine learning using the following teacher data in the first embodiment.
  • the detection target to be detected from the captured image is the position of the object 13 to be gripped by the hand 11 of the robot arm 10 as shown in FIG. 2 and the position of the center of gravity M of the object 13. is there.
  • the teacher data the teacher data as shown in FIG. 4 is used to generate the reference data. That is, in the example of FIG. 4, as the teacher data, a reference image including an image of the detection target (the position of the object 13 to be gripped and its center of gravity M), an image with a background, a partial image, and a deformed image are used for generating reference data. Will be done.
  • the reference image includes the entire image of the object 13 to be gripped, the center of gravity M of the object 13 to be gripped is located at the center of the image, and the background other than the object to be gripped is included. It is an image that satisfies all the conditions of being suppressed.
  • the image with a background is an image in which the center of gravity M of the object 13 to be gripped is located at the center of the image, and includes the entire object 13 to be gripped and the background showing other than the object 13 to be gripped. is there.
  • the partial image is an image in which the center of gravity M of the object 13 to be gripped is located at the center of the image and represents a part of the object 13 to be gripped.
  • the deformed image is an image in which the posture or the like is different from that of the object 13 to be gripped in the reference image, such that the object 13 to be gripped is tilted. Also in this deformed image, the center of gravity M of the object 13 to be gripped is located at the center of the image.
  • the object 13 to be gripped is a bottle, and the position of the center of gravity M changes depending on the amount of contents and the like.
  • the reference image, the background image, the partial image, and the deformed image as described above are used as teacher data to generate reference data. ..
  • FIGS. 2 and 4 an object other than the object (bin) 13 as shown in FIGS. 2 and 4 may be assumed. That is, there may be a plurality of types of objects to be detected to be detected by the detection process in the information processing device 1.
  • the reference image, the background image, the partial image, and the deformed image as described above for each of the plurality of types of objects to be detected are used as teacher data to generate reference data.
  • FIG. 5 shows an example of another object held by the hand 11 of the robot arm 10.
  • the object 13 to be gripped shown in FIG. 5 is a cushioning material that is inserted into the gap between the luggage and the box when the luggage is packed in the box. Since the outer shape of the cushioning material is easily deformed, an image considering that the outer shape is easily deformed is used as the teacher data used for generating reference data.
  • reference data used in the detection process for detecting the detection target from the captured image is generated, and the generated reference data is stored in the storage device 3.
  • the method of machine learning the reference data is not particularly limited as long as it is a learning method with teacher data, and the description thereof will be omitted.
  • the function of generating reference data by machine learning may be provided in the information processing device 1 as a learning unit 24 as shown by the dotted line in FIG. 1, or is provided in another information processing device. You may.
  • the control device 2 is composed of, for example, a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the control device 2 can have the following functions, for example, by the processor executing a computer program stored in the storage device 3. That is, the control device 2 includes a receiving unit 20, a detecting unit 21, and a processing unit 22 as functional units.
  • the receiving unit 20 has a function of receiving a captured image output from the photographing device 4. Further, the receiving unit 20 has a function of storing the received captured image in the storage device 3 and a function of outputting the received captured image to the detecting unit 21.
  • the captured image stored in the storage device 3 is associated with, for example, identification information of the photographing device that captured the captured image, information on the shooting date and time, and the like.
  • the detection unit 21 has a function of detecting a predetermined detection target from the image captured by the photographing device 4 by using the reference data stored in the storage device 3.
  • the detection target is the object 13 to be gripped by the hand 11 of the robot arm 10 (for example, as shown in a bin as shown in FIG. 2 or FIG. 5).
  • the detection target is the position of the object to be acted upon by the driving device 5 driven and controlled by the processing unit 22 and the center of gravity M thereof.
  • the type of the object to be detected, the performance of the information processing device 1, etc. An appropriate method in consideration of the above is adopted as the detection method used by the detection unit 21. The description thereof will be omitted.
  • the processing unit 22 has a function of controlling the operation of the driving device 5 (robot arm 10) to be controlled by using the information of the detection target detected by the detection unit 21.
  • attention is paid to the position of the center of gravity M of the object 13 to be gripped. That is, as shown in FIG. 3, the processing unit 22 moves or rotates the robot arm 10 so that the hand 11 of the robot arm 10 grips the portion of the object 13 to be gripped including the center of gravity M. , Controls the opening and closing of the hand 11.
  • the method of controlling the movement and rotation of the robot arm 10 and the opening and closing of the hand 11 is not limited as long as it is a control method capable of gripping a portion of the object 13 to be gripped including the center of gravity M, and the robot arm 10 and the hand are not limited. An appropriate method according to the mechanism of 11 is adopted.
  • the photographing device 4 is a photographing device such as a stereo camera that outputs a photographed image including distance information
  • the distance information can be obtained from the photographing device 4.
  • the sensor 7 for detecting the distance information between the hand 11 and the object 13 to be gripped is installed on, for example, the hand 11, the sensor output of the sensor 7 (as shown in FIG. 1) The distance information) is acquired by the processing unit 22 via the receiving unit 20.
  • FIG. 6 is a flowchart showing a process of controlling the operation of the control device 2 in the information processing device 1.
  • the detection unit 21 determines a detection target (object 13 to be gripped and its center of gravity) predetermined from the received captured image.
  • the position of M) is detected (step S2).
  • the processing unit 22 controls the operation of the drive device 5 by using the information detected by the detection unit 21 (step S3). That is, the processing unit 22 controls the operation of the robot arm 10 so that the hand 11 grips the portion of the object 13 to be gripped including the center of gravity M.
  • the information processing device 1 of the first embodiment has the above-mentioned control configuration. As a result, the information processing device 1 can obtain the following effects.
  • the information processing device 1 has a configuration for detecting the position of the center of gravity M of the object 13 to be gripped from the captured image.
  • a photographed image of an object simply does not include information about the position of the center of gravity (in other words, information about the weight).
  • the detection unit 21 detects the position of the center of gravity M in the object 13 to be gripped from the captured image by using the reference data based on the learning result obtained by machine learning to detect the position of the center of gravity M from the captured image. it can.
  • the detection unit 21 of the information processing device 1 can easily grasp the object to be grasped from the captured image without using the sensor output such as a sensor for measuring the size and without performing the calculation for calculating the position of the center of gravity M.
  • the position of the center of gravity M at 13 can be detected. That is, in other words, the detection unit 21 has a function of detecting information used for controlling the robot arm 10. In order to detect the information used for the control, the detection unit 21 does not acquire the sensor output from one or a plurality of sensors, and uses the sensor output to calculate, for example, the dimensions of the object 13 or the object. It is not necessary to perform a plurality of processes such as a process of calculating the shape of 13. As a result, the information processing apparatus 1 can simplify the processing (in other words, the control configuration).
  • the information processing device 1 has a control configuration for controlling the robot arm 10 so that the hand 11 grips the portion including the center of gravity M of the detected object 13.
  • the robot arm 10 controlled by the information processing device 1 grips the portion of the object 13 including the center of gravity M (that is, the position where the object can be stably gripped and held), and the other portion of the object 13 is gripped. It is possible to improve the stability of gripping an object as compared with the case of gripping. That is, the information processing device 1 can improve the reliability of the operation control of the robot arm 10.
  • the contents may increase or decrease, or the posture may change (that is, change in posture).
  • the position of the center of gravity changes due to the change in the biased state of the contents). Since the portion of the object including the center of gravity is a portion that can stably grip and hold the object, if the position of the center of gravity changes, the position of the portion suitable for gripping the object also changes.
  • the information processing device 1 responds to the amount of contents and the biased state by generating and using reference data for detecting the position of the center of gravity from the captured image using many variations of teacher data in consideration of such a situation. The position of the center of gravity of the container or bag can be easily detected.
  • the amount of contents and the biased state can be detected from the captured image, so the position of the center of gravity of the container or bag according to the amount and biased state of the contents is photographed. It can be obtained from the image.
  • the amount and biased state of the contents are based on a plurality of information obtained from the outer shape such as the size, posture (posture) and swelling condition of the bag. The position of the center of gravity of the bag according to the above may be obtained from the captured image.
  • the position of the center of gravity is obtained from the captured image by machine learning using the captured images of a large number of objects to be gripped to which the information on the position of the center of gravity is given as teacher data.
  • Reference data is generated to detect.
  • the information processing apparatus 1 can detect the position of the center of gravity of the container or bag according to the amount of contents and the biased state. Therefore, the information processing device 1 can easily detect the position of the center of gravity of the container or bag according to the amount of contents and the biased state, and even if the position of the center of gravity changes, it is not adversely affected by the change.
  • Containers and bags can be gripped at sites where they can be gripped stably. As a result, the information processing device 1 can further improve the reliability of the operation control of the robot arm 10.
  • the detection target detected by the detection unit 21 from the captured image is the drive device 5 (robot arm 10) controlled by the processing unit 22 in addition to the positions of the object 13 to be gripped and its center of gravity M.
  • This is a control point of interest.
  • the control point of interest is a spatial region defined by the hand 11 of the robot arm 10 as shown in FIG. 7 (a region surrounded by the hand 11 and the hand 11).
  • the central portion N of K region whose position changes by driving).
  • Reference data generated by machine learning to detect such a control point of interest N from the captured image is stored in the storage device 3. That is, the reference data used in the process of detecting the control point N is generated by machine learning using various captured images of the hand 11 to which the information on the position of the control point N is given as teacher data.
  • the detection unit 21 of the information processing device 1 detects the position of the object 13 to be gripped and its center of gravity M from the captured image as in the first embodiment, and also detects the control point of interest N. It also has.
  • the processing unit 22 moves and controls the hand 11 of the robot arm 10 in a direction in which the control attention point N in the hand 11 coincides with the position of the center of gravity M in the object 13 to be gripped, and the hand 11 controls the object 13 to be gripped.
  • the robot arm 10 is controlled so as to be gripped.
  • the configuration of the information processing device 1 in the second embodiment other than the above is the same as the configuration of the information processing device 1 in the first embodiment.
  • the information processing device 1 of the second embodiment has the same configuration as that of the first embodiment. As a result, the same effect as that of the first embodiment can be obtained. Further, the information processing apparatus 1 of the second embodiment detects the control attention point N of the hand 11 from the captured image, and makes the control attention point N of the hand 11 coincide with the position of the center of gravity M of the object 13 to be gripped. , Control the movement of the robot arm 10. As a result, the information processing device 1 can increase the reliability of the control in which the object 13 to be gripped is gripped by the hand 11 at a portion that can be stably gripped.
  • the space area or the device portion is appropriately determined according to the configuration of the drive device controlled by the processing unit 22. It may be set in the area, and is not limited to the example described in the second embodiment.
  • the drive device 5 controlled by the processing unit 22 includes two robot arms 10. Similar to the second embodiment, the detection unit 21 detects the position of the object 13 to be gripped and its center of gravity M from the captured image, and also detects the control point N of the hand 11. In the third embodiment, since there are two robot arms 10, the control attention point N of the hand 11 is detected for each robot arm 10.
  • the processing unit 22 has the control attention point N of the hand 11 on the two robot arms 10 and the position of the center of gravity M on the object 13 to be gripped on the same virtual straight line.
  • Each robot arm 10 is controlled so as to be located at intervals from each other. Further, the processing unit 22 moves and controls each robot arm 10 in a direction in which the control attention point N of the hand 11 faces the center of gravity M of the object 13 to be gripped from such an arrangement state, and the hand 11 grips the object 13.
  • the robot arm 10 is controlled so as to do so.
  • the configuration of the information processing device 1 in the third embodiment other than the above is the same as the configuration of the information processing device 1 in the second embodiment.
  • the information processing device 1 of the third embodiment can obtain the same effects as those of the first and second embodiments. Further, the information processing device 1 maintains the state in which the control attention point N of each hand 11 and the center of gravity M of the object 13 to be gripped are arranged on the same virtual straight line, and the hands 11 are arranged from both sides of the object 13 to be gripped. Controls the robot arm 10 so as to grip the object 13. Such control of the robot arm 10 by the information processing device 1 can enhance the stability of gripping the object 13 to be gripped. Even if the orientation of the object 13 to be gripped with respect to the robot arm 10 is as shown in FIGS. 9 and 10, the information processing device 1 can be gripped by the functions of the detection unit 21 and the processing unit 22 as described above. The object 13 can be gripped by the hand 11 of the robot arm 10.
  • FIG. 11 is a block diagram showing the configuration of the information processing apparatus of the fourth embodiment in a simplified manner.
  • the drive device 5 controlled by the information processing device 1 of the fourth embodiment is, for example, a device having a function of warding off harmful animals that damage fields (a device that discharges water toward the harmful animals, a device that emits sound, and light. (Irradiation device, etc.) that irradiates.
  • the drive device 5 is a device for feeding the fish in the cage that is being cultivated.
  • the photographing device 4 is installed so as to be able to photograph a predetermined area (a monitoring area to be protected from harmful animals, a water surface area of a cage, etc.) necessary for driving control of the driving device 5.
  • the detection target detected by the detection unit 21 in the control device 2 is the position of the creature 14 which is the moving body 14 and its center of gravity M as shown in FIG.
  • the posture of the creature changes in various ways. From this, the positions of the moving body 14 and its center of gravity M are based on the teacher data (teacher data of the reference image, the background image, the partial image, and the deformed image as described in the first embodiment) in consideration of such a change in posture.
  • Reference data to be used in the process of detecting is generated. The reference data thus generated is stored in the storage device 3 of the information processing device 1, and the detection unit 21 detects the moving body 14 to be detected from the captured image by using the reference data.
  • the control device 2 includes a tracking unit 25 in addition to the receiving unit 20, the detecting unit 21, and the processing unit 22.
  • the tracking unit 25 has a function of tracking a detection target detected by the detection unit 21 in a plurality of captured images continuously or intermittently captured.
  • the tracking method used by the tracking unit 25 is not limited. For example, there is a method using a Kalman filter or a particle filter, or a method using a tracking rule given in advance. In the method of using the tracking rule, for example, the following rule is given as one of the tracking rules.
  • the rule is that the displacement distance of the detected center of gravity M of the detection target is less than or equal to the set value in the comparison between the captured image obtained by the detection process and the captured image of the detection process at the next time point, which is too far away. It is a rule that it is not done.
  • the set value is set based on, for example, a movement speed assumed in consideration of the type of creature to be detected.
  • a rule that the moving direction of the creature is correct is also given.
  • the detection of the moving direction of the creature is performed by using, for example, an image of the head of the creature and the moving direction detection data acquired by machine learning.
  • an image of the head of a creature to which information on the moving direction of the creature is added is used as teacher data, and data for detecting the moving direction is generated based on such teacher data.
  • a creature with a high probability of being the same creature is detected (selected) from a plurality of captured images at different shooting times by using the tracking rule as described above. To track.
  • the processing unit 22 controls the drive of the drive device 5 to be controlled (for example, the operation of the motor or the solenoid valve) based on the information of the creature detected by the detection unit 21 and tracked by the tracking unit 25.
  • the drive control method of the drive device 5 is a method according to the type of the drive device 5, and an appropriate method is adopted. Although the description thereof is omitted here, for example, the processing unit 22 utilizes the latest movement direction obtained from the tracking information by the tracking unit 25 and the movement amount per unit time determined in advance, and is used at the time of control.
  • the drive device 5 may be controlled by predicting the position and the moving direction of the moving body 14.
  • the configuration of the information processing device 1 other than the above in the fourth embodiment is the same as the configuration of the information processing device 1 in the first to third embodiments.
  • the information processing device 1 of the fourth embodiment is configured as described above. That is, the information processing device 1 can detect the position of the center of gravity M of the moving body 14 on which the driving device 5 acts from the captured image, and can control the operation of the driving device 5 by using the information on the position of the center of gravity M. It has a various configurations. As a result, the drive device 5 (water discharge device) targets the water to the moving body 14 (harmful beast) as compared with the case where the drive device 5 is controlled by using the contour of the moving body 14 and the position of the head. You can increase the medium rate. That is, the information processing device 1 can improve the accuracy of the action of the drive device 5 on the moving body 14.
  • the information processing device 1 of the fourth embodiment includes a tracking unit 25. Therefore, even if the object on which the driving device 5 acts is the moving body 14, the information processing device 1 moves the moving body 14 so that the driving device 5 accurately acts on the moving body 14 which moves every moment. It is possible to control the drive device 5 in consideration of the above.
  • the information processing device 1 is provided with the tracking unit 25, the following effects can be obtained. For example, in the captured image after detecting the moving body 14 from the captured image as shown in FIG. 14, the information processing device 1 moves in the same manner as the detected moving body 14 as shown in FIG. Even if the body is photographed, the detected moving body 14 can be continuously detected. As a result, it is possible to prevent a situation in which the target acting by the drive device 5 is frequently changed, and the information processing device 1 can perform stable control of the drive device 5.
  • the information processing device 1 of the fourth embodiment can also be applied to the following drive control of the drive device.
  • the photographing device 4 is fixed.
  • the photographing device 4 is attached to an arm which is a driving device 5 as shown in FIG. 16, and the photographing device 4 can displace the photographing range by driving the driving device 5 (arm).
  • the photographing device 4 is set to photograph the working range of the hand of the worker 16.
  • the detection unit 21 has a function of detecting the positions of the moving body of the worker 16 and the center of gravity of the hand 14.
  • reference data is generated by machine learning using the same reference image, background image, partial image, and deformed image as described above. It is stored in the storage device 3. Using this reference data, the detection unit 21 executes the detection process.
  • the tracking unit 25 tracks the hand of the worker 16.
  • the processing unit 22 uses the information provided by the detection unit 21 and the tracking unit 25 to displace the imaging range of the imaging device 4 in accordance with the movement of the worker 16 (in other words, the work situation). It controls the operation of the drive device 5 (the arm to which the photographing device 4 is attached). Even in such a case, the information processing apparatus 1 can obtain the same effect as described above.
  • the photographing device 4 and the information processing device 1 may be mounted on a robot as a driving device 5 having a self-propelled function.
  • the detection unit 21 detects the position of the moving object to be detected and its center of gravity, and the tracking unit 25 tracks the moving object to be detected.
  • the processing unit 22 moves as the driving device 5 of the robot so that the robot on which the information processing device 1 is mounted moves (in other words, follows the moving body) according to the movement of the moving body. Controls the operation of the mechanism.
  • the processing unit 22 orients the photographing device 4 so that the moving body is located at the center of the captured image, for example, according to the movement of the moving body.
  • the mechanism as the drive device 5 to be changed may be controlled.
  • the detection target detected by the detection unit 21 is a moving body
  • the detection target may be, for example, a fixed mark indicating a destination point to which the robot is heading. It is conceivable that the shooting range of the photographing device 4 is displaced due to the movement of the robot, and the position of the detection target in the captured image changes even though the detection target has not moved. Even in such a case, the information processing device 1 of the fourth embodiment can continuously detect the detection target by the function of the tracking unit 25.
  • the tracking unit 25 determines the control attention point N. May also be tracked. Further, the processing unit 22 may control the drive device 5 by using the information including the tracking result of the control point N.
  • the present invention is not limited to the first to fourth embodiments, and various embodiments can be adopted.
  • the information processing device 1 of the first to fourth embodiments controls a display device (not shown) so as to superimpose and display information representing a detection target detected by the detection unit 21 on a captured image.
  • a control unit (not shown) may be provided. Further, the display control unit may control the display device so as to display the tracking result by the tracking unit 25 in the fourth embodiment.
  • FIG. 17 is a block diagram showing a simplified information processing apparatus of another embodiment according to the present invention.
  • the information processing device 30 includes a detection unit 31 and a processing unit 32.
  • the detection unit 31 has a function of detecting the detection target from the captured image by using reference data which is a learning result of machine learning of the detection target including the position of the center of gravity of the object in the captured image.
  • the processing unit 32 has a function of using the detection result of the detection unit 31 to control a driving device to be controlled that acts on an object having a center of gravity detected by the detection unit 31.
  • Such an information processing device 30 is realized by a processor, for example, like the information processing device 1 in the first embodiment.
  • the information processing device 30 detects the position of the center of gravity of the object from the captured image by the function of the detection unit 31, the position of the center of gravity can be easily detected. That is, the detection unit 31 has, in other words, a function of detecting information used for controlling the drive device. In order to detect the information used for the control, the detection unit 31 controls, for example, without acquiring the sensor output and without performing a plurality of processes such as a dimension calculation process using the acquired sensor output. Information used for can be detected. As a result, the information processing device 30 can simplify the control configuration for controlling the drive device. Further, the information processing device 30 can reduce, for example, failure of the gripping operation of the drive device by controlling the drive device by using the position of the center of gravity of the object, and can improve the reliability of the control of the drive device. Can be enhanced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

駆動装置を制御する制御構成の簡素化と駆動装置の動作に対する信頼性を高めるべく、情報処理装置３０は、検知部３１と処理部３２を備える。検知部３１は、撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から検知対象を検知する。処理部３２は、検知部３１の検知結果を利用して、検知部３１により検知される重心を持つ物体に作用する制御対象の駆動装置を制御する。

Description

情報処理装置、駆動制御方法およびプログラム記憶媒体
　本発明は、撮影画像から取得した情報を利用して駆動装置を制御する技術に関する。
　撮影画像から物体を検知し、当該検知した情報を利用して装置を制御する手法がある。
　特許文献１には、監視カメラからの画像から、重要区域内に警戒すべき侵入者が侵入したことを検知した場合に、侵入者に向けて放水することにより、侵入者の行動を妨害する手法が示されている。
　特許文献２には、ステレオカメラにより撮影される画像と当該ステレオカメラにより取得される深度方向の距離情報とを利用して、車内への侵入者の侵入を検知する手法が開示されている。
特開２００７－１２４２６９号公報 特開２００５－２０８８３３号公報
　駆動装置を制御する場合に、その駆動装置が作用する物体についての情報を取得するために高性能なセンサのセンサ出力の取得や複雑な演算を行って、駆動装置を制御することがある。しかしながら、駆動装置の制御には、装置動作に対する信頼性を高めるだけでなく、制御構成の簡素化が要求される場合もある。
　本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、駆動装置を制御する制御構成の簡素化と駆動装置の動作に対する信頼性を高めることができる制御の技術を提供することにある。
　上記目的を達成するために、本発明に係る情報処理装置の一形態は、
　撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する検知部と、
　前記検知部の検知結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理部と
を備える。
　また、本発明に係る駆動制御方法の一形態は、
　撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知し、
　その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する。
　さらに、本発明に係るプログラム記憶媒体の一形態は、
　撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する処理と、
　その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
　本発明によれば、駆動装置を制御する制御構成の簡素化と駆動装置の動作に対する信頼性を高めることができる。
本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。 第１実施形態の情報処理装置により制御される駆動装置の一例と当該駆動装置により作用される物体の一例を表す図である。 図２に表される駆動装置の動作例を表す図である。 第１実施形態の情報処理装置が利用する参考データの生成に利用する教師データを説明する図である。 第１実施形態の情報処理装置により制御される駆動装置の動作例を表す図である。 第１実施形態の情報処理装置における駆動制御の動作例を説明するフローチャートである。 本発明に係る第２実施形態を説明する図である。 本発明に係る第３実施形態の情報処理装置による駆動装置の制御の一例を説明する図である。 第３実施形態の情報処理装置による駆動装置の制御の別の例を説明する図である。 第３実施形態の情報処理装置による駆動装置の制御のさらに別の例を説明する図である。 本発明に係る第４実施形態の情報処理装置の構成を簡略化して表すブロック図である。 第４実施形態の情報処理装置が検知する移動体の一例を表す図である。 移動体の変形例を表す図である。 第４実施形態の情報処理装置における追尾機能の効果を説明する図である。 図１４と共に、追尾機能の効果を説明する図である。 第４実施形態の情報処理装置の別の適用例を説明する図である。 本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。
　以下に、本発明に係る実施形態を図面を参照しつつ説明する。
　＜第１実施形態＞
　図１は、本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。第１実施形態の情報処理装置１は、撮影装置４と、駆動装置５とに接続されており、撮影装置４により撮影された撮影画像を利用して、駆動装置５の動作を制御する機能を備える。第１実施形態では、駆動装置５は図２に表されているようなロボットアーム１０であり、当該ロボットアーム１０に備えられているハンド１１は物体１３を把持することができる機構を備えている。撮影装置４は、ロボットアーム１０のハンド１１を制御する制御手法により定まる設置位置であって、ロボットアーム１０のハンド１１における予め定められた作業領域が撮影範囲に含まれる位置に設置されている。情報処理装置１は、撮影装置４による撮影画像を利用して、ロボットアーム１０のハンド１１の把持動作を制御する。
　すなわち、情報処理装置１は、図１に表されているように、制御装置２と記憶装置３を備えている。
　記憶装置３は、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置１に備えられる記憶装置は一つに限定されず、複数種の記憶装置が情報処理装置１に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置３と記すものとする。また、情報処理装置１は、当該情報処理装置１とは別体の外付け記憶装置（図示せず）と接続されていてもよい。情報処理装置１が外付け記憶装置に接続されている場合には、情報処理装置１は、適宜、外付け記憶装置に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、外付け記憶装置に係る処理の説明を省略する。
　第１実施形態では、記憶装置３には、機械学習により生成された参考データ（辞書やモデルとも称される）が格納されている。この参考データは、撮影画像から予め定められた検知対象を検知する検知処理で利用するデータであり、第１実施形態では、次のような教師データを利用した機械学習により生成される。
　第１実施形態では、撮影画像から検知する検知対象は、図２に表されているようなロボットアーム１０のハンド１１により把持される把持対象の物体１３と、当該物体１３の重心Ｍの位置である。この場合、教師データとして、図４に表されるような教師データが参考データの生成に利用される。つまり、図４の例では、教師データとして、検知対象（把持対象の物体１３およびその重心Ｍの位置）の画像を含む基準画像と背景有り画像と部分画像と変形画像が参考データの生成に利用される。
　基準画像は、把持対象の物体１３の全体画像が含まれていることと、把持対象の物体１３における重心Ｍが画像中心部に位置していることと、把持対象の物体以外の背景の入り込みが抑えられていることとの全ての条件を満たす画像である。背景有り画像は、把持対象の物体１３における重心Ｍが画像中心部に位置し、かつ、把持対象の物体１３の全体と、当該把持対象の物体１３以外が表されている背景とを含む画像である。部分画像は、把持対象の物体１３における重心Ｍが画像中心部に位置し、かつ、把持対象の物体１３の一部分を表す画像である。変形画像は、把持対象の物体１３が傾いているというように、基準画像における把持対象の物体１３とは姿勢などが異なっている画像である。この変形画像においても、画像中心部に把持対象の物体１３における重心Ｍが位置している。
　また、図４の例では、把持対象の物体１３はビンであり、内容物の量などによって重心Ｍの位置が変化する。このことも考慮し、内容物の量が互いに異なる把持対象の物体１３のそれぞれについて、上述したような基準画像と背景有り画像と部分画像と変形画像が教師データとして参考データの生成に利用される。
　さらに、ロボットアーム１０のハンド１１が把持する物体として、図２や図４に表されているような物体（ビン）１３以外の物体も想定される場合がある。つまり、情報処理装置１における検知処理で検知する検知対象の物体が複数種ある場合がある。このような場合には複数種の検知対象の物体のそれぞれについて上述したような基準画像と背景有り画像と部分画像と変形画像が教師データとして参考データの生成に利用される。図５は、ロボットアーム１０のハンド１１が把持する別の物体の一例が表されている。図５に表されている把持対象の物体１３は、荷物を箱に梱包する際に荷物と箱との間の隙間に挿入される緩衝材である。緩衝材は、外形が変形しやすいことから、参考データの生成に利用される教師データとして、外形が変形しやすいことを考慮した画像が利用される。
　上記のような教師データを利用した機械学習によって、撮影画像から検知対象を検知する検知処理で利用する参考データが生成され、生成された参考データが記憶装置３に格納される。なお、参考データを機械学習する手法は教師データ有りの学習手法であれば特に限定されず、その説明は省略する。また、参考データを機械学習により生成する機能は、情報処理装置１に、図１の点線に表されるような学習部２４として備えられていてもよいし、別の情報処理装置に備えられていてもよい。
　制御装置２は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサにより構成される。制御装置２は、例えばプロセッサが記憶装置３に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置２は、機能部として、受信部２０と、検知部２１と、処理部２２とを備えている。
　受信部２０は、撮影装置４から出力された撮影画像を受信する機能を備える。また、受信部２０は、受信した撮影画像を記憶装置３に格納する機能と、検知部２１に出力する機能とを備える。なお、記憶装置３に格納される撮影画像には、例えば、当該撮影画像を撮影した撮影装置の識別情報や、撮影日時の情報などが関連付けられている。
　検知部２１は、記憶装置３に格納されている参考データを利用して、撮影装置４による撮影画像から、予め定められている検知対象を検知する機能を備えている。第１実施形態では、検知対象は、前述したように、ロボットアーム１０のハンド１１により把持される把持対象の物体１３（例えば、図２に示されるようなビンや図５に表されているような緩衝材）と、その重心Ｍの位置である。換言すれば、検知対象は、処理部２２により駆動制御される駆動装置５が力を作用する被作用物体とその重心Ｍの位置である。なお、機械学習により生成された参考データを利用して、撮影画像から検知対象を検知する手法には様々な手法があり、ここでは、検知対象の物体の種類や、情報処理装置１の性能などを考慮した適宜な手法が検知部２１で利用される検知手法として採用される。その説明は省略する。
　処理部２２は、検知部２１により検知された検知対象の情報を利用して、制御対象の駆動装置５（ロボットアーム１０）の動作を制御する機能を備えている。第１実施形態では、把持対象の物体１３の重心Ｍの位置に着目している。つまり、処理部２２は、ロボットアーム１０のハンド１１が、図３に表されているように、把持対象の物体１３における重心Ｍを含む部位を把持するように、ロボットアーム１０の移動や回転や、ハンド１１の開閉を制御する。そのロボットアーム１０の移動や回転やハンド１１の開閉を制御する手法は、把持対象の物体１３における重心Ｍを含む部位を把持できる制御手法であれば限定されるものではなく、ロボットアーム１０やハンド１１の機構に応じた適宜な手法が採用される。
　なお、処理部２２の制御によってロボットアーム１０のハンド１１が把持対象の物体１３を迅速、かつ、正確に把持するためには、把持対象の物体１３と、ハンド１１との間の距離の情報が必要である。撮影装置４が、距離情報を含む撮影画像を出力するステレオカメラなどの撮影装置である場合には、その距離の情報は、撮影装置４から得ることができる。また、ハンド１１と把持対象の物体１３との間の距離の情報を検出するセンサ７が例えばハンド１１などに設置される場合には、図１に表されるように、センサ７のセンサ出力（距離情報）は受信部２０を介して処理部２２に取得される。
　次に、情報処理装置１における駆動装置５（ロボットアーム１０）の制御動作の一例を図６を利用して簡単に説明する。なお、図６は、情報処理装置１における制御装置２の動作を制御する工程を表すフローチャートである。
　まず、情報処理装置１の受信部２０が撮影装置４から撮影画像を受信すると（ステップＳ１）、受信した撮影画像から検知部２１が予め定められている検知対象（把持対象の物体１３とその重心Ｍの位置）を検知する（ステップＳ２）。その後、処理部２２が、検知部２１により検知された情報を利用して、駆動装置５の動作を制御する（ステップＳ３）。つまり、処理部２２は、ハンド１１が把持対象の物体１３における重心Ｍを含む部位を把持するようにロボットアーム１０の動作を制御する。
　第１実施形態の情報処理装置１は上記のような制御構成を備えている。これにより、情報処理装置１は次のような効果を得ることができる。
　すなわち、情報処理装置１は、撮影画像から把持対象の物体１３の重心Ｍの位置を検知する構成を備えている。物体を単に撮影した撮影画像には、重心の位置の情報（換言すれば、重さに関する情報）は含まれない。第１実施形態では、重心Ｍの位置を撮影画像から検出すべく機械学習した学習結果による参考データを利用することにより、検知部２１は把持対象の物体１３における重心Ｍの位置を撮影画像から検知できる。これにより、大きさを測定するセンサなどのセンサ出力を用いることなく、重心Ｍの位置を算出する演算を行うことなく、情報処理装置１の検知部２１は、撮影画像から簡単に把持対象の物体１３における重心Ｍの位置を検知できる。つまり、検知部２１は、換言すれば、ロボットアーム１０を制御するために利用する情報を検知する機能を有する。検知部２１は、その制御に利用する情報を検知するために、１つあるいは複数のセンサからセンサ出力を取得することなく、かつ、センサ出力を利用した例えば物体１３の寸法を算出する処理や物体１３の形状を算出する処理等の複数の処理を行わなくすむ。これにより、情報処理装置１は、処理（換言すれば、制御構成）の簡素化を図ることができる。
　また、情報処理装置１は、そのように検知した物体１３における重心Ｍを含む部位をハンド１１が把持するようにロボットアーム１０を制御する制御構成を備えている。これにより、情報処理装置１により制御されるロボットアーム１０は、物体１３の重心Ｍを含む部位（つまり、安定して物体を把持し保持できる位置）を把持することとなり、物体１３の他の部位を把持する場合に比べて、物体把持の安定性を高めることができる。つまり、情報処理装置１は、ロボットアーム１０の動作制御に対する信頼性を高めることができる。
　また、液体が入っているビンやペットボトルなどの容器や、米や砂や粉などが入っている袋においては、同じ容器や袋であっても、内容物の増減変化や、体勢変化（つまり、内容物の偏り状態の変化）によって、重心の位置が変化する。物体における重心を含む部位は物体を安定的に把持し保持できる部位であることから、重心の位置が変化すると、物体における把持に適切な部位の位置も変化してしまう。このような事態を考慮した多くのバリエーションの教師データによって、撮影画像から重心の位置を検知する参考データを生成し利用することにより、情報処理装置１は、内容物の量や偏り状態に応じた容器や袋の重心の位置を簡単に検知できる。
　例えば、透明あるいは半透明の容器や袋であれば撮影画像から内容物の量や偏り状態を検知可能であることから、内容物の量や偏り状態に応じた容器や袋の重心の位置は撮影画像から取得可能である。また、内容物の量や偏り状態によって外形が変化する袋においては、袋の大きさ、体勢（姿勢）および膨らみ具合などの外形から得られる複数の情報に基づいて、内容物の量や偏り状態に応じた袋の重心の位置は撮影画像から取得可能な場合もある。このように撮影画像から重心の位置を取得可能である場合には、重心の位置の情報を付与した多数の把持対象の物体の撮影画像を教師データとした機械学習によって、撮影画像から重心の位置を検知する参考データが生成される。このように生成された参考データを利用することによって、情報処理装置１は、内容物の量や偏り状態に応じた容器や袋の重心の位置を検知できる。このため、情報処理装置１は、内容物の量や偏り状態に応じた容器や袋の重心の位置を容易に検知でき、重心の位置が変化しても、その変化の悪影響を受けずに、安定的に把持できる部位で容器や袋を把持できる。これにより、情報処理装置１は、ロボットアーム１０の動作制御に対する信頼性をより高めることができる。
　＜第２実施形態＞
　以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の情報処理装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　第２実施形態では、検知部２１が撮影画像から検知する検知対象は、把持対象の物体１３とその重心Ｍの位置に加えて、処理部２２により制御される駆動装置５（ロボットアーム１０）に係る制御注目点である。具体的には、第２実施形態では、制御注目点は、図７に表されるようなロボットアーム１０のハンド１１により画定される空間領域（ハンド１１により囲まれている領域であってハンド１１の駆動により位置が変化する領域）Ｋの中心部Ｎである。
　このような制御注目点Ｎを撮影画像から検知すべく機械学習により生成された参考データが記憶装置３に格納される。つまり、制御注目点Ｎを検知する処理で利用される参考データは、制御注目点Ｎの位置の情報が付与されたハンド１１の様々な撮影画像を教師データとした機械学習により生成される。
　第２実施形態では、情報処理装置１の検知部２１は、把持対象の物体１３およびその重心Ｍの位置を第１実施形態と同様に撮影画像から検知すると共に、制御注目点Ｎを検知する機能をも備えている。
　処理部２２は、ハンド１１における制御注目点Ｎが、把持対象の物体１３における重心Ｍの位置に一致する方向に、ロボットアーム１０のハンド１１を移動制御し、ハンド１１により把持対象の物体１３を把持させるべくロボットアーム１０を制御する。
　第２実施形態における情報処理装置１の上記以外の構成は、第１実施形態の情報処理装置１の構成と同様である。
　第２実施形態の情報処理装置１は、第１実施形態と同様の構成を備えている。これにより、第１実施形態と同様の効果を得ることができる。さらに、第２実施形態の情報処理装置１は、ハンド１１の制御注目点Ｎを撮影画像から検知し、ハンド１１の制御注目点Ｎが把持対象の物体１３の重心Ｍの位置と一致する方向に、ロボットアーム１０の移動を制御する。これにより、情報処理装置１は、安定的に把持できる部位で把持対象の物体１３をハンド１１によって把持させる制御に対する信頼性を高めることができる。なお、制御注目点は、処理部２２による制御対象の駆動装置の駆動により位置が変化する領域内であれば、処理部２２が制御する駆動装置の構成に応じて適宜に空間領域や装置の部分領域に設定してよく、第２実施形態で述べた例に限定されない。
　＜第３実施形態＞
　以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第１や第２の実施形態の情報処理装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　第３実施形態では、図８に表されているように、処理部２２により制御される駆動装置５は、２本のロボットアーム１０を備えている。検知部２１は、第２実施形態と同様に、撮影画像から、把持対象の物体１３とその重心Ｍの位置を検知すると共に、ハンド１１の制御注目点Ｎを検知する。第３実施形態では、ロボットアーム１０が２本であることから、各ロボットアーム１０について、ハンド１１の制御注目点Ｎを検知する。
　第３実施形態では、処理部２２は、図８のように、２本のロボットアーム１０におけるハンド１１の制御注目点Ｎと、把持対象の物体１３における重心Ｍの位置とが同じ仮想直線上に、互いに間隔を介して位置するように、各ロボットアーム１０を制御する。さらに、処理部２２は、そのような配置状態から、ハンド１１の制御注目点Ｎが把持対象の物体１３における重心Ｍにむかう方向に各ロボットアーム１０を移動制御してハンド１１が物体１３を把持するようにロボットアーム１０を制御する。
　第３実施形態における情報処理装置１の上記以外の構成は、第２実施形態の情報処理装置１の構成と同様である。
　第３実施形態の情報処理装置１は、第１や第２の実施形態と同様の効果を得ることができる。さらに、情報処理装置１は、各ハンド１１の制御注目点Ｎと把持対象の物体１３における重心Ｍとが同じ仮想直線上に配置された状態を維持しつつ把持対象の物体１３の両側からハンド１１が物体１３を把持するようにロボットアーム１０を制御する。このような情報処理装置１によるロボットアーム１０の制御は、把持対象の物体１３の把持の安定性を高めることができる。ロボットアーム１０に対する把持対象の物体１３の向きが図９や図１０のような状態であっても、上記のような検知部２１や処理部２２の機能によって、情報処理装置１は、把持対象の物体１３をロボットアーム１０のハンド１１により把持させることができる。
　＜第４実施形態＞
　以下に、本発明に係る第４実施形態を説明する。なお、第４実施形態の説明において、第１～第３の実施形態の情報処理装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　図１１は、第４実施形態の情報処理装置の構成を簡略化して表すブロック図である。第４実施形態の情報処理装置１が制御する駆動装置５は、例えば、畑などを荒らす害獣を追い払う機能を備えた装置（害獣に向けて放水する装置や、音を発する装置や、光を照射する照射装置など）である。あるいは、駆動装置５は、養殖している生簀の魚に向けて餌をまく装置である。撮影装置４は、駆動装置５の駆動制御に必要な予め定めた領域（害獣から保護したい監視領域や、生簀の水面領域など）を撮影できるように設置される。
　また、制御装置２における検知部２１が検知する検知対象は、図１２に表されるような移動体１４である生き物とその重心Ｍの位置である。図１３に表されるように、生き物は体勢が様々に変化する。このことから、そのような体勢変化を考慮した教師データ（第１実施形態で述べたような基準画像と背景有り画像と部分画像と変形画像の教師データ）によって移動体１４とその重心Ｍの位置を検知する処理で利用する参考データが生成される。このように生成された参考データが情報処理装置１の記憶装置３に格納され、当該参考データを利用して、検知部２１は、検知対象の移動体１４を撮影画像から検知する。
　第４実施形態では、制御装置２は、受信部２０と検知部２１と処理部２２に加えて、追尾部２５を備えている。追尾部２５は、連続的あるいは間欠的に撮影された複数の撮影画像において、検知部２１により検知された検知対象を追尾する機能を備えている。追尾手法には様々な手法があり、追尾部２５が利用する追尾手法は限定されないが、例えば、カルマンフィルタやパーティクルフィルタを利用した手法や、予め与えられた追尾用ルールを利用する手法がある。追尾用ルールを利用する手法では、例えば、追尾用ルールの一つとして、次のようなルールが与えられる。そのルールとは、検知処理が行われた撮影画像とその次の時点での検知処理の撮影画像との比較において、検知された検知対象の重心Ｍの変位距離が設定値以下であって離れすぎていないことというルールである。その設定値は、例えば、検知対象の生き物の種類などを考慮して想定される移動速度に基づいて設定される。また、追尾用ルールとして、生き物の移動方向が合っていることというルールも与えられる。生き物の移動方向の検知は、例えば、生き物の頭の画像と、機械学習により取得された移動方向検知用データとを利用して行われる。その機械学習では、生き物の移動方向の情報が付与された生き物の頭の画像が教師データとして用いられ、このような教師データに基づき移動方向検知用データが生成される。追尾用ルールを利用する手法では、撮影時点が異なる複数の撮影画像から、上記のような追尾用ルールを利用して同じ生き物である確率の高い生き物を検知（選択）していくことによって、生き物を追尾する。
　処理部２２は、検知部２１により検知され、かつ、追尾部２５により追尾された生き物の情報に基づき、制御対象の駆動装置５の駆動（例えばモータや電磁弁の動作）を制御する。駆動装置５の駆動制御の手法は、駆動装置５の種類に応じた手法であり、適宜な手法が採用される。ここでは、その説明は省略するが、例えば、処理部２２は、追尾部２５による追尾の情報により得られる直近の移動方向と予め定めた単位時間当たりの移動量を利用して、制御時点での移動体１４の位置と移動方向を予測して駆動装置５を制御してもよい。
　第４実施形態における情報処理装置１の上記以外の構成は、第１～第３実施形態の情報処理装置１の構成と同様である。
　第４実施形態の情報処理装置１は上記のように構成されている。つまり、情報処理装置１は、撮影画像から、駆動装置５が作用する移動体１４の重心Ｍの位置を検知し、当該重心Ｍの位置の情報を利用して、駆動装置５の動作を制御可能な構成を備えている。これにより、移動体１４の輪郭や頭部の位置を利用して駆動装置５が制御される場合に比べて、駆動装置５（放水装置）は、移動体１４（害獣）への水の的中率を高めることができる。つまり、情報処理装置１は、駆動装置５による移動体１４への作用の正確さを高めることができる。
　また、第４実施形態の情報処理装置１は追尾部２５を備えている。このため、駆動装置５が作用する物体が移動体１４であっても、情報処理装置１は、時々刻々と移動する移動体１４に駆動装置５が正確に作用するように、移動体１４の移動を考慮した駆動装置５の制御が可能である。
　さらに、情報処理装置１は追尾部２５を備えていることにより、次のような効果も得ることができる。情報処理装置１は、例えば、図１４に表されるような撮影画像から移動体１４を検知した後の撮影画像において、図１５に表されるように、検知した移動体１４と、同様な移動体とが撮影されたとしても、検知した移動体１４を引き続き、継続して検知できる。これにより、駆動装置５により作用する対象が頻繁に代わってしまう事態を防止でき、情報処理装置１は、駆動装置５の安定した制御を行うことができる。
　なお、第４実施形態の情報処理装置１は、次のような駆動装置の駆動制御にも適用可能である。例えば、上述した例では、撮影装置４は固定されている。これに代えて、図１６に表されるような駆動装置５であるアームに撮影装置４が取り付けられ、駆動装置５（アーム）の駆動により、撮影装置４はその撮影範囲を変位させることが可能であるとする。また、撮影装置４は、作業員１６の手の作業範囲を撮影することが設定されているとする。検知部２１は、作業員１６の移動体である手１４とその手１４の重心の位置を検知する機能を備える。作業員１６の手１４とその手の重心の位置を検知するために、前述したと同様な基準画像と背景有り画像と部分画像と変形画像による教師データを利用した機械学習により参考データが生成され記憶装置３に格納される。この参考データを利用して、検知部２１は検知処理を実行する。追尾部２５は、作業員１６の手元を追尾する。処理部２２は、検知部２１と追尾部２５による情報を利用して、作業員１６の手元の動き（換言すれば、作業の状況）に追従して撮影装置４の撮影範囲を変位するように駆動装置５（撮影装置４が取り付けられているアーム）の動作を制御する。このような場合にも、情報処理装置１は、前記同様の効果を得ることができる。
　さらに、第４実施形態の情報処理装置１の別の適用例として、撮影装置４と情報処理装置１が、自走機能を持つ駆動装置５としてのロボットに搭載されていてもよい。この場合には、例えば、検知部２１が検知対象の移動体とその重心の位置を検知し、追尾部２５がその検知対象の移動体を追尾する。処理部２２は、その移動体の移動に応じて、情報処理装置１が搭載されているロボットが移動するように（換言すれば、移動体に追従するように）ロボットの駆動装置５としての移動機構の動作を制御する。また、撮影装置４の向きを変更する機構を備えている場合には、処理部２２は、移動体の移動に応じて例えば移動体が撮影画像の中心に位置するように撮影装置４の向きを変更する駆動装置５としての機構を制御してもよい。
　さらにまた、上述したロボットに情報処理装置１を搭載する例において、検知部２１が検知する検知対象は移動体である例を説明している。これに代えて、検知対象は、例えば、ロボットが向かう目的地点を表す固定の目印などであってもよい。ロボットの移動により撮影装置４の撮影範囲が変位し、検知対象が移動していないのにも拘わらず、撮影画像における検知対象の位置が変化することが考えられる。このような場合にも、第４実施形態の情報処理装置１は、追尾部２５の機能により、検知対象を継続して検知できる。
　さらにまた、検知対象として、第２や第３の実施形態において説明したような駆動装置５における制御注目点Ｎが検知部２１により検知される場合には、追尾部２５は、その制御注目点Ｎも追尾してよい。また、処理部２２は、その制御注目点Ｎの追尾結果をも含めた情報を利用して駆動装置５を制御してもよい。
　＜その他の実施形態＞
　なお、本発明は第１～第４の実施形態に限定されずに様々な実施形態を採り得る。例えば、第１～第４の実施形態の情報処理装置１は、検知部２１により検知された検知対象を表す情報を撮影画像に重畳して表示すべく表示装置（図示せず）を制御する表示制御部（図示せず）が備えられていてもよい。また、その表示制御部は、第４実施形態における追尾部２５による追尾結果を表示するように表示装置を制御してもよい。
　図１７は、本発明に係るその他の実施形態の情報処理装置を簡略化して表すブロック図である。この情報処理装置３０は、検知部３１と処理部３２を備える。検知部３１は、撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から検知対象を検知する機能を備える。処理部３２は、検知部３１の検知結果を利用して、検知部３１により検知される重心を持つ物体に作用する制御対象の駆動装置を制御する機能を備える。このような情報処理装置３０は、例えば、第１実施形態における情報処理装置１と同様にプロセッサにより実現される。
　情報処理装置３０は、検知部３１の機能により、撮影画像から物体の重心の位置を検知するので、簡単に重心の位置を検知できる。つまり、検知部３１は、換言すれば、駆動装置を制御するために利用する情報を検知する機能を有する。検知部３１は、その制御に利用する情報を検知するために、例えば、センサ出力を取得しなくとも、かつ、取得したセンサ出力を利用した寸法算出処理等の複数の処理を行うことなく、制御に利用する情報を検知できる。これにより、情報処理装置３０は、駆動装置を制御する制御構成の簡素化を図ることができる。さらに、情報処理装置３０は、その物体の重心の位置を利用して駆動装置を制御することにより、駆動装置の例えば把持動作の失敗などを削減することができ、駆動装置の制御に対する信頼性を高めることができる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１９年３月１３日に出願された日本出願特願２０１９－４６０２３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１，３０　情報処理装置
　４　撮影装置
　５　駆動装置
　２１，３１　検知部
　２２，３２　処理部

Claims (7)

  1. 　撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する検知手段と、
    　前記検知手段の検知結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理手段と
    を備える情報処理装置。
  2. 　前記検知手段の検知結果を利用して前記検知対象を追尾する追尾手段をさらに備える請求項１に記載の情報処理装置。
  3. 　前記検知対象は、前記駆動装置の駆動により位置が変化する領域において予め定められた制御注目点をも含み、前記検知手段は、撮影画像から、前記物体の重心の位置に加えて、前記制御注目点をも検知する請求項１又は請求項２に記載の情報処理装置。
  4. 　前記処理手段は、前記検知手段により検知された前記物体の重心の位置と、前記駆動装置である把持機能を持つ装置における前記制御注目点とが同じ仮想直線上に配置されている状態から、前記制御注目点が前記物体の重心の位置に近付く方向に移動し前記物体を把持するように前記駆動装置を制御する請求項３に記載の情報処理装置。
  5. 　前記撮影画像における前記物体の重心の位置を含む前記検知対象を機械学習することにより前記参考データを生成する学習手段をさらに備える請求項１乃至請求項４の何れか一つに記載の情報処理装置。
  6. 　撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知し、
    　その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する駆動制御方法。
  7. 　撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する処理と、
    　その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理と
    をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
PCT/JP2020/006430 2019-03-13 2020-02-19 情報処理装置、駆動制御方法およびプログラム記憶媒体 WO2020184101A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/418,431 US12030175B2 (en) 2019-03-13 2020-02-19 Information processing device, driving control method, and program-recording medium
JP2021504864A JP7384898B2 (ja) 2019-03-13 2020-02-19 情報処理装置、駆動制御方法およびコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019046023 2019-03-13
JP2019-046023 2019-03-13

Publications (1)

Publication Number Publication Date
WO2020184101A1 true WO2020184101A1 (ja) 2020-09-17

Family

ID=72427311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006430 WO2020184101A1 (ja) 2019-03-13 2020-02-19 情報処理装置、駆動制御方法およびプログラム記憶媒体

Country Status (3)

Country Link
US (1) US12030175B2 (ja)
JP (1) JP7384898B2 (ja)
WO (1) WO2020184101A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05318345A (ja) * 1992-05-18 1993-12-03 Hitachi Ltd ワーク搬送用のロボット
JP2013191163A (ja) * 2012-03-15 2013-09-26 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP2016107349A (ja) * 2014-12-02 2016-06-20 ファナック株式会社 ロボットを用いて物品を移送する物品移送装置及び物品移送方法
WO2017183414A1 (ja) * 2016-04-22 2017-10-26 三菱電機株式会社 物体操作装置及び物体操作方法
JP2018161692A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2019029021A (ja) * 2017-07-30 2019-02-21 国立大学法人 奈良先端科学技術大学院大学 学習データセット作製方法、並びに、物体認識及び位置姿勢推定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208833A (ja) 2004-01-21 2005-08-04 Hitachi Ltd 侵入者の活動妨害システム
US8021795B2 (en) 2005-04-07 2011-09-20 General Electric Company Method for manufacturing solid oxide electrochemical devices
JP2007085745A (ja) 2005-09-20 2007-04-05 Fuji Heavy Ind Ltd 物体監視装置
JP4594209B2 (ja) 2005-10-28 2010-12-08 株式会社日立情報制御ソリューションズ 侵入者監視方法および装置
WO2018020954A1 (ja) * 2016-07-29 2018-02-01 株式会社日立製作所 機械学習用データベース作成システム
JP7013732B2 (ja) 2017-08-31 2022-02-01 富士通株式会社 情報処理装置、情報処理方法及びプログラム
JP7247572B2 (ja) * 2018-12-17 2023-03-29 京セラドキュメントソリューションズ株式会社 制御装置
DE112021000595T5 (de) * 2020-01-17 2022-12-01 Fanuc Corporation Bildverarbeitungssystem
DE112021001419T5 (de) * 2020-03-05 2022-12-22 Fanuc Corporation Aufnahmesystem und Verfahren

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05318345A (ja) * 1992-05-18 1993-12-03 Hitachi Ltd ワーク搬送用のロボット
JP2013191163A (ja) * 2012-03-15 2013-09-26 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP2016107349A (ja) * 2014-12-02 2016-06-20 ファナック株式会社 ロボットを用いて物品を移送する物品移送装置及び物品移送方法
WO2017183414A1 (ja) * 2016-04-22 2017-10-26 三菱電機株式会社 物体操作装置及び物体操作方法
JP2018161692A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2019029021A (ja) * 2017-07-30 2019-02-21 国立大学法人 奈良先端科学技術大学院大学 学習データセット作製方法、並びに、物体認識及び位置姿勢推定方法

Also Published As

Publication number Publication date
US12030175B2 (en) 2024-07-09
US20220055226A1 (en) 2022-02-24
JP7384898B2 (ja) 2023-11-21
JPWO2020184101A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
US10671865B2 (en) Autonomous vehicle control method and apparatus
US10166676B1 (en) Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot
US11707848B2 (en) Robotic vision
US9495602B2 (en) Image and map-based detection of vehicles at intersections
US20180173232A1 (en) System and method for sensing the driving environment of a motor vehicle
JP7147420B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US11192242B2 (en) Holding apparatus, container provided with tag, object holding program and object holding method
JP2023515494A (ja) 組み合わされたトラック信頼度及び分類モデル
CN106814753B (zh) 一种目标位置矫正方法、装置及***
CN110914024A (zh) 路径输出方法、路径输出***和路径输出程序
US20200386782A1 (en) Apparatus and method for calibrating inertial measuring unit
JP2008055584A (ja) 物体把持を行うロボット及びロボットによる物体の把持方法
US10105847B1 (en) Detecting and responding to geometric changes to robots
Mseddi et al. YOLOv5 based visual localization for autonomous vehicles
US9844872B1 (en) Determining sensor parameters and model parameters of a robot
Zwiener et al. Contact point localization for articulated manipulators with proprioceptive sensors and machine learning
US20220388535A1 (en) Image annotation for deep neural networks
Karthikeyan et al. Lane keep assist system for an autonomous vehicle using support vector machine learning algorithm
JP5679121B2 (ja) ロボットの運動予測制御方法と装置
WO2020184101A1 (ja) 情報処理装置、駆動制御方法およびプログラム記憶媒体
US11794723B2 (en) Apparatus and method for controlling driving of vehicle
CN113165178A (zh) 使用高级策略模型和经训练的低级策略模型进行机器人导航
WO2020100902A1 (ja) 白線位置推定装置及び白線位置推定方法
US11610330B2 (en) Method and apparatus with pose tracking
Kunjumon et al. Sensor fusion of camera and LiDAR using Kalman filter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20770063

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021504864

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20770063

Country of ref document: EP

Kind code of ref document: A1