WO2024070751A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2024070751A1
WO2024070751A1 PCT/JP2023/033646 JP2023033646W WO2024070751A1 WO 2024070751 A1 WO2024070751 A1 WO 2024070751A1 JP 2023033646 W JP2023033646 W JP 2023033646W WO 2024070751 A1 WO2024070751 A1 WO 2024070751A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
processing device
detection
specific information
image
Prior art date
Application number
PCT/JP2023/033646
Other languages
English (en)
French (fr)
Inventor
尚 米山
識史 田中
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社, ソニーグループ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024070751A1 publication Critical patent/WO2024070751A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to an image processing device, an image processing method, and a program.
  • this disclosure proposes an image processing device, an image processing method, and a program that improve the convenience of an image processing device that detects the entry of an object into a detection target area.
  • the image processing device has an entry detection unit.
  • the entry detection unit detects the entry of an object into a detection target area based on specific information that is information about a portion of the object in the detection target area, which is a target area for object detection.
  • FIG. 1 is a diagram illustrating a configuration example of a robot arm according to an embodiment of the present disclosure.
  • 1 is a diagram illustrating an example of the configuration of an image processing device according to a first embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a configuration example of a post-processing unit according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of detection of an object intrusion according to the first embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of generation of a distance image according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of position and orientation estimation according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a processing procedure of a process of a control system according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a processing procedure of an intrusion detection process according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of the configuration of an image processing device according to a second embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of the configuration of an image processing device according to a third embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of a motion vector according to a third embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of the configuration of an image processing device according to a fourth embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of a specific region according to a fourth embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a configuration example of a robot arm according to an embodiment of the present disclosure.
  • the same figure is a diagram illustrating a robot arm 1 according to an embodiment of the present disclosure.
  • the robot arm 1 is a device that performs tasks such as grasping and carrying an object in place of a human arm.
  • the robot arm 1 in the figure includes a plurality of links that are each rotatably attached.
  • the links are parts that correspond to the arm bones of the robot arm 1.
  • a gripping unit 2 that grips an object to be transported is disposed at the tip of the robot arm 1.
  • the robot arm 1 extends, contracts, and rotates based on the control of a control device (not shown), and can transport the grasped object to any position within a movable range.
  • the figure shows an example in which a robot arm 1 grasps an object 3 being transported by a belt conveyor 4 and transports it to a predetermined position, such as a workpiece.
  • the tip of the robot arm 1 waits at a predetermined position near the belt conveyor 4, and when the object 3 moves within its movable range, the tip is moved and the gripper 2 grasps the object 3.
  • a camera 30 and an image processing device 10 are further arranged at the tip of the robot arm 1.
  • the camera 30 captures video images of the area near the conveyor belt 4 within the movable range of the robot arm 1.
  • the image processing device 10 recognizes the moving object 3 from the video images captured by the camera 30, detects whether the object 3 has entered an area that can be grasped by the gripping unit 2 of the robot arm 1, and transmits this to the control unit of the robot arm 1 (the post-processing unit 20 described later). As a result, the control unit moves the robot arm 1 and drives the gripping unit 2 to grasp the object 3.
  • the detection target area is the area in which a moving object 3 is to be detected.
  • the image processing device 10 detects the entry of the object 3 into the detection target area, and transmits the detection result to a subsequent processing unit 20 that includes a control unit for the robot arm 1.
  • the subsequent processing unit 20 detects the distance to the object 3 and its orientation, and drives the robot arm 1 and the gripper 2.
  • the image processing device 10 detects the entry of the object 3 into the detection target area based on specific information, which is information about a part of the object 3 in the detection target area.
  • This specific information corresponds to, for example, information about the three-dimensional shape of a part of the object 3.
  • This three-dimensional shape corresponds to, for example, a three-dimensional point cloud of the object 3.
  • the image processing device 10 generates three-dimensional point cloud data as specific information from an image generated by the camera 30.
  • a three-dimensional point cloud is a representation of the three-dimensional shape of an object using a set of points.
  • the image processing device 10 detects whether the three-dimensional point cloud corresponding to the object 3 has entered the detection target area.
  • FIG. 2 is a diagram showing a configuration example of the image processing device 10 according to the first embodiment of the present disclosure.
  • the figure is a block diagram showing a configuration example of the image processing device 10.
  • a post-processing unit 20 is further illustrated. Note that the image processing device 10 and the post-processing unit 20 configure a control system 9.
  • the image processing device 10 includes an image sensor 110, a three-dimensional point cloud generation unit 120, an intrusion detection unit 100, an object detection region generation unit 130, an interface (IF) unit 160, a holding unit 140, and a control unit 150.
  • IF interface
  • the imaging element 110 generates an image.
  • This imaging element 110 is disposed in the camera 30 of FIG. 1 and generates an image of the detection target area.
  • a CMOS (Complementary Metal Oxide Semiconductor) type imaging element can be used for the imaging element 110.
  • the imaging element 110 sequentially generates images (frames) at a predetermined frame frequency and outputs them to the three-dimensional point cloud generating unit 120.
  • the image generated by the imaging element 110 corresponds to the image of the detection target area described above.
  • the image of the detection target area is referred to as the detection target area image.
  • the imaging element 110 is an example of a "sensor" in this disclosure.
  • the three-dimensional point cloud generating unit 120 generates a three-dimensional point cloud, which is the specific information mentioned above.
  • This three-dimensional point cloud generating unit 120 generates a three-dimensional point cloud from the detection target area image generated by the imaging element 110, and outputs it to the intrusion detection unit 100.
  • the three-dimensional point cloud generating unit 120 can generate a distance image from the image generated by the imaging element 110, and generate a three-dimensional point cloud based on this distance image.
  • a distance image is an image in which distance information is reflected for each pixel. Details of the generation of the distance image will be described later. Note that a publicly known method can be used to generate a three-dimensional point cloud from a distance image.
  • the three-dimensional point cloud generating unit 120 is an example of a "specific information generating unit" in this disclosure.
  • the entry detection unit 100 detects the entry of the object 3 into the detection target area based on the above-mentioned specific information. This entry detection unit 100 detects the entry of the object 3 into the detection target area based on the three-dimensional point cloud generated by the three-dimensional point cloud generation unit 120. The entry detection unit 100 also outputs the detection result to the IF unit 160.
  • the entry detection unit 100 includes a point cloud counting unit 101 and a judgment unit 102.
  • the point cloud counting unit 101 counts the number of points in the three-dimensional point cloud generated by the three-dimensional point cloud generating unit 120.
  • the point cloud counting unit 101 outputs the number of counted points to the determining unit 102.
  • the point cloud counting unit 101 can count the number of points in the three-dimensional point cloud that are included in a predetermined distance range.
  • This predetermined distance range is a range that is close to the distance to the measurement target.
  • the predetermined distance range can be a range that is close to the distance to the object 3 placed on the belt conveyor 4.
  • the determination unit 102 determines whether the object 3 has entered the detection target area based on the number of point clouds from the point cloud counting unit 101. When the determination unit 102 determines that the object 3 has entered the detection target area, it outputs the detection of the object 3's entry into the detection target area to the IF unit 160 as the detection result of the entry detection unit 100.
  • the determination unit 102 can determine the entry of the object 3 by, for example, comparing the number of point clouds with a predetermined threshold. Specifically, the determination unit 102 can determine that the object 3 has entered when the number of point clouds is equal to or greater than a predetermined threshold. This predetermined threshold is supplied by the holding unit 140.
  • the object detection area generating unit 130 generates an object detection area, which is information about the area of the object 3 whose entry has been detected.
  • the object detection area generating unit 130 in the figure generates an image of the area that includes the object 3 within the image of the detection target area as the object detection area.
  • the object detection area generating unit 130 also outputs the generated object detection area to the IF unit 160.
  • the IF section 160 communicates with the subsequent processing unit 20. This IF section 160 outputs the detection results from the intrusion detection section 100 and the object detection area from the object detection area generation section 130 to the subsequent processing unit 20.
  • the storage unit 140 stores the above-mentioned predetermined distance range and predetermined threshold value, and outputs them to the intrusion detection unit 100.
  • This storage unit 140 stores the predetermined distance range and predetermined threshold value that are output as setting values from the subsequent processing unit 20.
  • the control unit 150 controls the entire image processing device 10.
  • [Configuration of post-processing unit] 3 is a diagram illustrating an example of the configuration of the post-processing unit 20 according to an embodiment of the present disclosure.
  • the figure is a block diagram illustrating an example of the configuration of the post-processing unit 20.
  • the post-processing unit 20 includes an image processing unit 200 and a mechanism control unit 210.
  • the image processing unit 200 performs processing based on the object detection area output from the image processing device 10.
  • the image processing unit 200 includes a distance calculation unit 201, a position and orientation estimation unit 202, and a control unit 203.
  • the distance calculation unit 201 calculates the distance to the object 3 whose intrusion has been detected.
  • the position and orientation estimation unit 202 estimates the position and orientation of the object 3 whose intrusion has been detected.
  • the distance calculation unit 201 and the position and orientation estimation unit 202 each start their own processing when the detection result of the object 3 is input from the image processing device 10.
  • the control unit 203 controls the entire image processing unit 200.
  • the control unit 203 also generates setting values and outputs them to the storage unit 140 of the image processing device 10.
  • the mechanism control unit 210 controls the robot arm 1.
  • This mechanism control unit 210 includes a mechanism control unit 211.
  • the mechanism control unit 211 controls the robot arm 1 and the gripping unit 2 based on the distance to the object 3 and the position of the object 3 output from the image processing unit 200.
  • [Detection of object intrusion] 4 is a diagram illustrating an example of detection of the intrusion of an object according to the first embodiment of the present disclosure.
  • the figure is a diagram illustrating detection of the intrusion of an object 3 by the image processing device 10.
  • a rectangular area represents a detection target area 330.
  • a dot-hatched area represents a three-dimensional point cloud 310 of the object 3.
  • a hollow arrow represents the moving direction of the object 3.
  • (A) in the figure shows a case where the tip of the three-dimensional point cloud 310 of the object 3 has entered the detection target area 330.
  • (B) in the figure shows a case where more than half of the three-dimensional point cloud 310 of the object 3 has entered the detection target area 330.
  • (C) in the figure shows a case where the entire three-dimensional point cloud 310 of the object 3 has entered the detection target area 330.
  • the point cloud counting unit 101 of the entry detection unit 100 counts the number of three-dimensional point clouds of the object 3. If the number of three-dimensional point clouds of the object 3 is equal to or greater than a predetermined threshold, the judgment unit 102 judges that the object 3 has entered the detection target area 330.
  • (B) in the figure shows a case where the number of three-dimensional point clouds is equal to or greater than the threshold. In this case, the judgment unit 102 judges that the object 3 has entered the detection target area 330.
  • the object detection area generating unit 130 generates an object detection area.
  • the dashed-dotted rectangle in (B) of the same figure represents the object detection area 320.
  • the object detection area generating unit 130 is an area that includes the detected object 3. Note that the object detection area generating unit 130 of the first embodiment of the present disclosure generates the object detection area (image) by cutting out an image of the area corresponding to the object detection area 320 from the detection target area 330.
  • [Distance image generation] 5 is a diagram showing an example of distance image generation according to an embodiment of the present disclosure. The same figure shows an example of distance image generation in the three-dimensional point cloud generation unit 120.
  • the three-dimensional point cloud generation unit 120 calculates the distance to the measurement object.
  • the distance to the measurement object can be calculated based on the principle of triangulation by detecting feature points from a pattern projected onto the measurement object, associating the feature points with feature points on the captured image based on the feature amounts of the detected feature points.
  • (A) in the figure shows an example in which pattern light 369 is projected from projector 361 onto measurement object 350, and an image is generated by image sensor 110.
  • the pattern light 369 in the figure shows an example in which it is composed of multiple vertical lines.
  • (B) of the figure shows an example of a captured image 370.
  • an image 372 that changes according to the shape of the measurement object 350 is formed, and in the other region, an image based on the pattern light 369 (projected image 371) is formed.
  • the three-dimensional point cloud generating unit 120 sets a feature point in the image 372. This feature point can be set to an edge of the projection pattern, etc.
  • the black dots in (B) of the figure show examples of feature points.
  • the three-dimensional point cloud generating unit 120 calculates a feature amount from pixel values around the set feature point.
  • the three-dimensional point cloud generating unit 120 associates a pixel of the projection image 371 that has the same feature amount with the set feature point.
  • (C) of the figure shows an example of a case where a feature point (x, y) of the image 372 is associated with a point (xp, yp) of the projection image 371.
  • the three-dimensional point cloud generating unit 120 calculates the distance on the image between the feature point (x, y) and the point (xp, yp).
  • the three-dimensional point cloud generating unit 120 applies the principle of triangulation to calculate the distance (three-dimensional shape) to the measurement object 350 from the distance on the image between the feature point (x, y) and the point (xp, yp). By repeating such processing, a distance image can be generated.
  • FIG. 6 is a diagram showing an example of position and orientation estimation according to an embodiment of the present disclosure.
  • This figure shows an example of position and orientation estimation in the position and orientation estimation unit 202.
  • This figure also shows an example of estimating the position and orientation based on the ICP (Iterative Closest Point) algorithm.
  • the position and orientation can be estimated by calculating a rotation matrix and a translation matrix that minimize the square sum from the positional relationship of the three-dimensional point cloud between frames. This calculation of the square sum and the movement of the point cloud are repeated until the convergence condition is satisfied.
  • matrices R and T are obtained that minimize the difference value between P sn and P tn (the square sum of the distance between corresponding points) when the rotation matrix (R) and the translation matrix (T) are applied in the correspondence relationship between certain P sn and P tn .
  • the formula in the figure shows a calculation formula for the square sum of the distance between corresponding points.
  • the variation of corresponding points is defined within a prescribed range.
  • the figure shows the variation of corresponding points in a frame 401 having a point group Ps1 - Ps3 and corresponding to frame N, and a frame 411 having a point group Pt1 - Pt3 and corresponding to frame N+1.
  • the calculation of the sum of squares of the distances between these corresponding points and the movement of the point group are repeated until the sum of squares satisfies a convergence condition. This makes it possible to calculate the rotation matrix (R) and the translation matrix (T), and to estimate the position and orientation of the object 3 represented by the three-dimensional point group.
  • FIG. 7 is a diagram showing an example of a processing procedure of the control system according to the embodiment of the present disclosure.
  • the figure is a flow chart showing an example of a processing procedure of the control system 9 of FIG. 1.
  • the image processing device 10 performs an intrusion detection process (step S110).
  • the object detection area generating unit 130 of the image processing device 10 generates an object detection area (step S102).
  • the distance calculation unit 201 of the mechanism control unit 210 performs distance measurement of the object 3 based on the object detection area (step S103).
  • the position and orientation estimation unit 202 of the mechanism control unit 210 estimates the position and orientation of the object 3 (step S104).
  • the mechanism control unit 211 of the mechanism control unit 210 controls the robot arm 1 and the gripping unit 2 based on the distance to the object and the position and orientation.
  • FIG. 8 is a diagram showing an example of a processing procedure of the intrusion detection processing according to the embodiment of the present disclosure.
  • the figure is a flow chart showing an example of a processing procedure of the intrusion detection processing.
  • the processing in the figure corresponds to the processing of step S110 in FIG. 7.
  • the image sensor 110 generates an image of the detection target area (step S111).
  • the three-dimensional point cloud generating unit 120 generates a three-dimensional point cloud from the image of the detection target area (step S112).
  • the point cloud counting unit 101 of the intrusion detection unit 100 counts the number of points of the three-dimensional point cloud (step S113).
  • step S114 the determination unit 102 of the intrusion detection unit 100 determines whether the object 3 has entered the detection target area based on the number of points (step S114), and detects the intrusion of the object 3. Thereafter, the intrusion detection unit 100 outputs the detection result and returns to the original processing.
  • step S110 is an example of the "intrusion detection procedure" of the present disclosure.
  • the image processing device 10 of the first embodiment of the present disclosure generates specific information of the object 3 based on an image of the detection target area, and detects the entry of the object 3 into the detection target area based on the specific information.
  • the entry of the object 3 can be detected without using a marker or the like for recognizing the shape of the object 3, thereby improving convenience.
  • the position and orientation estimation process by the position and orientation estimation unit 202 can be stopped during periods when the image processing device 10 does not detect the entry of the object 3, thereby enabling the control system 9 to save power.
  • the threshold value used in the judgment by the judgment unit 102 can be adjusted to detect intrusion when the entire object 3 enters the detection target area.
  • the accuracy of estimating the position and orientation of the object 3 can be improved. This is because if the position and orientation is estimated when only a part of the measurement target is reflected in the detection target area, an error in estimating the position and orientation occurs due to a lack of three-dimensional point cloud.
  • a configuration can be adopted in which intrusion is detected when a part of the object 3 enters the detection target area. In this case, the detection of the intrusion of the object 3 can be accelerated.
  • the object detection region generating unit 130 generates an image as the object detection region.
  • the image processing device 10 of the second embodiment of the present disclosure differs from the first embodiment described above in that the object detection region generating unit 130 generates a three-dimensional point cloud as the object detection region.
  • FIG. 9 is a diagram showing a configuration example of an image processing device 10 according to a second embodiment of the present disclosure. Similar to Fig. 2, the figure is a block diagram showing a configuration example of the image processing device 10.
  • the image processing device 10 in the figure differs from the image processing device 10 in Fig. 2 in that the object detection region generating unit 130 generates a three-dimensional point cloud as the object detection region.
  • the object detection region generating unit 130 in the figure generates, as an object detection region, a 3D point cloud of a region including the object 3 from the 3D point cloud generated by the 3D point cloud generating unit 120.
  • the object detection region generating unit 130 in the figure also outputs the object detection region consisting of the generated 3D point cloud to the IF unit 160.
  • the rest of the configuration of the image processing device 10 is the same as the configuration of the image processing device 10 in the first embodiment of the present disclosure, so a description thereof will be omitted.
  • the image processing device 10 of the second embodiment of the present disclosure generates a three-dimensional point cloud as an object detection region and outputs it to the post-processing unit 20. This makes it possible to omit the distance calculation process in the post-processing unit 20.
  • the image processing device 10 of the first embodiment described above detects the entry of the object 3 based on the number of three-dimensional points corresponding to the object 3.
  • the image processing device 10 of the third embodiment of the present disclosure differs from the first embodiment described above in that it detects the entry of the object 3 based on the number of motion vectors of the object 3.
  • FIG. 10 is a diagram showing a configuration example of an image processing device 10 according to a third embodiment of the present disclosure.
  • the figure is a block diagram showing a configuration example of the image processing device 10, similar to Fig. 2.
  • the image processing device 10 in Fig. 10 differs from the image processing device 10 in Fig. 2 in that it includes a motion vector generation unit 170 instead of the three-dimensional point cloud generation unit 120.
  • the intrusion detection unit 100 of the image processing device 10 in Fig. 10 includes a motion vector counting unit 103 instead of the point cloud counting unit 101.
  • the motion vector generation unit 170 generates a motion vector as specific information. This motion vector generation unit 170 divides the detection target area image into macroblocks and generates a motion vector for each divided macroblock. The motion vector generation unit 170 can generate a motion vector by performing block matching for each frame in a time series. The generated motion vector is output to the motion vector counting unit 103 of the intrusion detection unit 100.
  • the motion vector generation unit 170 is an example of the "specific information generation unit" of this disclosure.
  • the motion vector counting unit 103 counts the number of motion vectors generated by the motion vector generating unit 170. This motion vector counting unit 103 outputs the number of counted motion vectors to the determining unit 102.
  • the motion vector counting unit 103 can count the number of motion vectors that are similar to a predetermined magnitude and direction among the motion vectors generated by the motion vector generating unit 170.
  • the predetermined magnitude and direction of the motion vector can be set to values according to the conveying speed and conveying direction of the belt conveyor 4, for example. By limiting the motion vectors that are the subject of counting by the motion vector counting unit 103 to a predetermined magnitude and direction, the accuracy of detection of the object 3 can be improved.
  • the holding unit 140 in the same figure supplies the predetermined magnitude and direction of the motion vector to the motion vector counting unit 103.
  • the determination unit 102 in the figure determines whether the object 3 has entered the detection target area based on the number of motion vectors from the motion vector counting unit 103.
  • the determination unit 102 in the figure can also determine the entry of the object 3 by comparing the number of motion vectors with a predetermined threshold.
  • the object detection area generating unit 130 in the figure generates an object detection area based on the motion vector that is the subject of judgment in the judgment unit 102.
  • FIG. 11 is a diagram showing an example of a motion vector according to the third embodiment of the present disclosure.
  • the motion vector generation unit 170 divides an image 312 of an object 3 included in a detection target area 330 into a plurality of macroblocks to generate a motion vector.
  • the figure shows a macroblock 313 and a motion vector 314.
  • the motion vector generation unit 170 can generate a motion vector by block matching.
  • This block matching is a method of detecting the position of a corresponding macroblock (macroblock 313) between adjacent frames and generating the displacement of the position of the detected macroblock as a motion vector.
  • the rest of the configuration of the image processing device 10 is the same as the configuration of the image processing device 10 in the first embodiment of the present disclosure, so a description thereof will be omitted.
  • the image processing device 10 of the third embodiment of the present disclosure generates a motion vector as specific information, and detects the entry of an object 3 into the detection target area based on the motion vector.
  • the image processing device 10 of the first embodiment described above detects the intrusion of the object 3 based on the number of three-dimensional points corresponding to the object 3.
  • the image processing device 10 of the fourth embodiment of the present disclosure differs from the first embodiment described above in that it detects the intrusion of the object 3 based on the size of a specific region of the image of the object 3.
  • Fig. 12 is a diagram showing a configuration example of an image processing device 10 according to a fourth embodiment of the present disclosure. Similar to Fig. 2, Fig. 12 is a block diagram showing a configuration example of the image processing device 10.
  • the image processing device 10 in Fig. 12 differs from the image processing device 10 in Fig. 2 in that it includes a specific area generation unit 180 instead of the three-dimensional point cloud generation unit 120.
  • the entry detection unit 100 of the image processing device 10 in Fig. 12 includes an area size detection unit 104 instead of the point cloud counting unit 101.
  • the specific area generating unit 180 generates a specific area from the detection target area image as specific information. This specific area corresponds to an area of a specific color or an area of a specific brightness. The specific area generating unit 180 outputs the generated specific area to the area size detection unit 104 of the intrusion detection unit 100.
  • the specific area generating unit 180 is an example of the "specific information generating unit" of the present disclosure.
  • the area size detection unit 104 detects the size of the specific area generated by the specific area generation unit 180. This area size detection unit 104 outputs the detected size of the specific area to the judgment unit 102.
  • the area size detection unit 104 can detect the size of an area of a specific color and a color and brightness that are similar to a specific color and a specific brightness among the specific areas generated by the specific area generation unit 180.
  • the specific color and brightness in the specific area can be adjusted according to the object 3. By limiting the area whose size is detected by the area size detection unit 104 to a specific color and brightness, the accuracy of detection of the object 3 can be improved.
  • the holding unit 140 in the same figure supplies the specific color and brightness to the area size detection unit 104.
  • the determination unit 102 in the figure determines whether the object 3 has entered the detection target area based on the size of the specific area from the area size detection unit 104.
  • the determination unit 102 in the figure can also determine the entry of the object 3 by comparing the size of the specific area with a predetermined threshold.
  • the object detection area generation unit 130 in the figure generates an object detection area based on the specific area that is the subject of judgment in the judgment unit 102.
  • FIG. 13 is a diagram showing an example of a specific region according to the fourth embodiment of the present disclosure.
  • This figure is a diagram explaining a specific region generated by the specific region generation unit 180.
  • the specific region generation unit 180 generates regions of the same color or brightness from the image 312 of the object 3 included in the detection target region 330. Regions 315 and 316 are shown in the figure. Regions 315 and 316 are regions on the top and side surfaces of the object 3 in the figure, respectively, and are regions of different colors.
  • the specific region generation unit 180 detects such regions of the same color or brightness, and outputs them as specific regions.
  • the rest of the configuration of the image processing device 10 is the same as the configuration of the image processing device 10 in the first embodiment of the present disclosure, so a description thereof will be omitted.
  • the image processing device 10 of the third embodiment of the present disclosure generates a specific area as specific information, and detects the entry of an object 3 into the detection target area based on the size of the specific area.
  • each device described in this specification may be realized using software, hardware, or a combination of software and hardware.
  • the programs constituting the software are stored in advance, for example, in a storage medium (non-transitory media) provided inside or outside each device. Then, each program is loaded into RAM, for example, when executed by a computer, and executed by a processor such as a CPU.
  • processing steps described in the above embodiments may be considered as a method having a series of steps, or as a program for causing the computer to execute the series of steps, or as a recording medium for storing the program.
  • CDs Compact Discs
  • MDs MiniDiscs
  • DVDs Digital Versatile Discs
  • memory cards Blu-ray (registered trademark) Discs, etc.
  • Blu-ray (registered trademark) Discs, etc. can be used as this recording medium.
  • the present technology can also be configured as follows. (1) An image processing device having an entry detection unit that detects entry of an object into a detection target area based on specific information that is information about a part of the object in the detection target area. (2) a specific information generating unit that generates the specific information from a detection target area image that is an image of the object in the detection target area, The image processing device according to (1), wherein the intrusion detection unit detects the intrusion based on the generated specific information. (3) The image processing device according to (2), wherein the specific information generating unit generates information on a three-dimensional shape of a part of the object as the specific information.
  • the specific information generation unit generates a three-dimensional point cloud of the detection target area image as the specific information;
  • the specific information generation unit divides the detection target area image into macroblocks and generates a motion vector for each of the divided macroblocks as the specific information;
  • the image processing device according to (2) wherein the intrusion detection unit detects the intrusion based on the number of the generated motion vectors.
  • the specific information generating unit generates a specific area in the detection target area image as the specific information;
  • the image processing device according to (2) wherein the intrusion detection unit detects the intrusion based on a size of the generated specific area.
  • the image processing device according to (9), wherein the specific information generating unit generates an area of a specific color as the specific area.
  • (11) The image processing device according to (9), wherein the specific information generating unit generates an area of a specific luminance as the specific information.
  • a sensor for generating the detection target area image The image processing device according to any one of (2) to (11), wherein the specific information generating unit generates the specific information from the detection target area image generated by the sensor.
  • the object detection region generating unit generates a three-dimensional point cloud including the object as the object detection region.
  • An image processing method including detecting entry of an object into a detection target area based on specific information that is information about a part of the object in the detection target area.
  • a program that causes a computer to execute an intrusion detection procedure for detecting an intrusion of an object into a detection target area based on specific information that is information about a part of the object in the detection target area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

移動する物体の対象領域への進入を検出する画像処理装置における利便性を向上させる。画像処理装置は、進入検出部を有する。この画像処理装置が有する進入検出部は、検出対象領域における特定情報に基づいてその物体のその検出対象領域への進入を検出する。その進入検出部におけるその検出対象領域は、その物体を検出する対象となる領域である。その進入検出部における特定領域は、その検出対象領域におけるその物体の一部の情報である。

Description

画像処理装置、画像処理方法及びプログラム
　本開示は、画像処理装置、画像処理方法及びプログラムに関する。
　工場等において、産業用ロボットが組み立てを行う製造ラインが採用されている。この産業用ロボットは、ベルトコンベア等により搬送される部品を認識して把持し、ワーク位置に搬送する操作等に適用される。このような操作を産業用ロボットに行わせるためには、部品等の物体を認識するとともに、移動する物体の位置や姿勢を把握する必要がある。この産業用ロボットを制御するため、ベルトコンベア等により物体が搬送される領域をカメラ等により撮像して動画像を生成し、生成した動画像から物体を認識するシステムが提案されている。例えば、移動体に複数の反射材（マーカ）を貼付し、当該反射材の画像を検出することにより、移動体が所定の位置に進入したことを検出するシステムが提案されている（例えば、特許文献１参照）。
特開２０２０－０３５０５２号公報
　しかしながら、上記の従来技術では、移動体に反射材を貼付する必要があり、利便性が低下するという問題がある。
　そこで、本開示では、物体の検出対象領域への進入を検出する画像処理装置における利便性を向上させる画像処理装置、画像処理方法及びプログラムを提案する。
　本開示に係る画像処理装置は、進入検出部を有する。上記進入検出部は、物体の検出の対象領域である検出対象領域における上記物体の一部の情報である特定情報に基づいて上記物体の前記検出対象領域への進入を検出する。
本開示の実施形態に係るロボットアームの構成例を示す図である。 本開示の第１の実施形態に係る画像処理装置の構成例を示す図である。 本開示の実施形態に係る後段処理ユニットの構成例を示す図である。 本開示の第１の実施形態に係る物体の進入の検出の一例を示す図である。 本開示の実施形態に係る距離画像の生成の一例を示す図である。 本開示の実施形態に係る位置姿勢の推定の一例を示す図である。 本開示の実施形態に係る制御システムの処理の処理手順の一例を示す図である。 本開示の実施形態に係る進入検出処理の処理手順の一例を示す図である。 本開示の第２の実施形態に係る画像処理装置の構成例を示す図である。 本開示の第３の実施形態に係る画像処理装置の構成例を示す図である。 本開示の第３の実施形態に係る動きベクトルの一例を示す図である。 本開示の第４の実施形態に係る画像処理装置の構成例を示す図である。 本開示の第４の実施形態に係る特定領域の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
　（１．第１の実施形態）
　［ロボットアームの構成］
　図１は、本開示の実施形態に係るロボットアームの構成例を示す図である。同図は、本開示の実施形態に係るロボットアーム１を説明する図である。ロボットアーム１は、人間の腕の代わりに対象物をつかむ及び運ぶ等の作業を行う装置である。同図のロボットアーム１は、それぞれ回動可能に取り付けられた複数のリンクを備える。リンクは、ロボットアーム１の腕の骨に相当する部分である。ロボットアーム１の先端には運搬対象の物体を把持する把持部２が配置される。ロボットアーム１は、不図示の制御装置の制御に基づいて伸縮及び旋回し、把持した物体を可動範囲内の任意の位置に運ぶことができる。
　同図は、ベルトコンベア４により搬送される物体３をロボットアーム１が把持し、ワーク等の所定の位置に搬送する例を表したものである。ロボットアーム１は、先端部をベルトコンベア４の近傍の所定の位置に待機させておき、物体３が可動範囲内に移動した際に先端部を移動させ、把持部２により物体３を把持する。
　ロボットアーム１の先端にはカメラ３０及び画像処理装置１０が更に配置される。カメラ３０は、ロボットアーム１の可動範囲内のベルトコンベア４の近傍領域の動画像を撮像する。画像処理装置１０は、カメラ３０により撮像された動画像から移動する物体３を認識するとともに、物体３がロボットアーム１の把持部２により把持可能な領域に進入したかを検出し、ロボットアーム１の制御部（後述する後段処理ユニット２０）に伝達する。これにより、制御部がロボットアーム１を移動させるとともに把持部２を駆動して物体３を把持させる。
　ここで、カメラ３０による動画像を撮像する範囲（領域）を検出対象領域と称する。この検出対象領域は、移動する物体３を検出する対象の領域である。画像処理装置１０は、物体３の検出対象領域への進入を検出し、検出結果をロボットアーム１の制御部を含む後段処理ユニット２０に伝達する。後段処理ユニット２０は、物体３までの距離や姿勢を検出し、ロボットアーム１及び把持部２を駆動する。
　画像処理装置１０は、検出対象領域における物体３の一部の情報である特定情報に基づいて物体３の検出対象領域への進入を検出する。この特定情報には、例えば、物体３の一部の３次元形状の情報が該当する。この３次元形状には、例えば、物体３の３次元点群が該当する。後述するように、画像処理装置１０は、カメラ３０により生成された画像から３次元点群のデータを特定情報として生成する。ここで、３次元点群とは、物体の３次元の形状を点の集合により表したものである。画像処理装置１０は、物体３に該当する３次元点群が検出対象領域に進入したかを検出する。
　［画像処理装置の構成］
　図２は、本開示の第１の実施形態に係る画像処理装置１０の構成例を示す図である。同図は、画像処理装置１０の構成例を表すブロック図である。同図には、後段処理ユニット２０を更に記載した。なお、画像処理装置１０及び後段処理ユニット２０は、制御システム９を構成する。画像処理装置１０は、撮像素子１１０と、３次元点群生成部１２０と、進入検出部１００と、対象物検出領域生成部１３０と、インターフェイス（ＩＦ）部１６０と、保持部１４０と、制御部１５０とを備える。
　撮像素子１１０は、画像を生成するものである。この撮像素子１１０は、図１のカメラ３０に配置され、検出対象領域の画像を生成する。撮像素子１１０には、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）型の撮像素子を適用することができる。撮像素子１１０は、所定のフレーム周波数において画像（フレーム）を逐次生成し、３次元点群生成部１２０に対して出力する。なお、撮像素子１１０が生成する画像は、前述の検出対象領域の画像に該当する。検出対象領域の画像を検出対象領域画像と称する。なお、撮像素子１１０は本開示の「センサ」の一例である。
　３次元点群生成部１２０は、前述の特定情報である３次元点群を生成するものである。この３次元点群生成部１２０は、撮像素子１１０により生成される検出対象領域画像から３次元点群を生成し、進入検出部１００に対して出力する。３次元点群生成部１２０は、撮像素子１１０により生成される画像から距離画像を生成し、この距離画像に基づいて３次元点群を生成することができる。ここで距離画像とは、距離の情報が画素毎に反映された画像である。距離画像の生成の詳細については後述する。なお、距離画像から３次元点群を生成する方法には公知の方法を適用することができる。なお、３次元点群生成部１２０は本開示の「特定情報生成部」の一例である。
　進入検出部１００は、前述の特定情報に基づいて物体３の検出対象領域への進入を検出するものである。この進入検出部１００は、３次元点群生成部１２０により生成される３次元点群に基づいて物体３の検出対象領域への進入を検出する。また、進入検出部１００は、検出結果をＩＦ部１６０に対して出力する。進入検出部１００は、点群計数部１０１と、判断部１０２とを備える。
　点群計数部１０１は、３次元点群生成部１２０により生成される３次元点群における点群の個数を計数（カウント）するものである。この点群計数部１０１は、カウントした点群の個数を判断部１０２に対して出力する。なお、点群計数部１０１は、３次元点群のうちの所定の距離範囲に含まれる点群の個数をカウントすることができる。この所定の距離範囲は、計測対象の距離に近接する範囲である。所定の距離範囲には、例えば、ベルトコンベア４上に載置された物体３までの距離に近接する範囲を適用することができる。点群計数部１０１によるカウントの対象となる点群の領域を所定の距離範囲に限定することにより、物体３の検出の精度を向上させることができる。この所定の距離範囲は、保持部１４０により供給される。
　判断部１０２は、点群計数部１０１からの点群の個数に基づいて物体３が検出対象領域に進入したかを判断するものである。この判断部１０２は、物体３が検出対象領域に進入したと判断する際には、物体３の検出対象領域への進入の検出を進入検出部１００の検出結果としてＩＦ部１６０に出力する。判断部１０２は、例えば、点群の個数を所定の閾値と比較することにより、物体３の進入を判断することができる。具体的には、判断部１０２は、点群の個数が所定の閾値以上の場合に物体３が進入したと判断することができる。この所定の閾値は、保持部１４０により供給される。
　対象物検出領域生成部１３０は、進入が検出された物体３の領域の情報である対象物検出領域を生成するものである。同図の対象物検出領域生成部１３０は、検出対象領域の画像のうちの物体３が含まれる領域の画像を対象物検出領域として生成する。また、対象物検出領域生成部１３０は、生成した対象物検出領域をＩＦ部１６０に対して出力する。
　ＩＦ部１６０は、後段処理ユニット２０との間のやり取りを行うものである。このＩＦ部１６０は、進入検出部１００からの検出結果及び対象物検出領域生成部１３０からの対象物検出領域を後段処理ユニット２０に対して出力する。
　保持部１４０は、前述の所定の距離範囲及び所定の閾値を保持し、進入検出部１００に対して出力するものである。この保持部１４０は、後段処理ユニット２０から設定値として出力される所定の距離範囲及び所定の閾値を保持する。
　制御部１５０は、画像処理装置１０の全体を制御するものである。
　［後段処理ユニットの構成］
　図３は、本開示の実施形態に係る後段処理ユニット２０の構成例を示す図である。同図は、後段処理ユニット２０の構成例を表すブロック図である。後段処理ユニット２０は、画像処理ユニット２００と、機構制御ユニット２１０とを備える。
　画像処理ユニット２００は、画像処理装置１０から出力される対象物検出領域に基づいて処理を行うものである。画像処理ユニット２００は、距離算出部２０１と、位置姿勢推定部２０２と、制御部２０３とを備える。
　距離算出部２０１は、進入が検出された物体３までの距離を算出するものである。位置姿勢推定部２０２は、進入が検出された物体３の位置姿勢を推定するものである。これら距離算出部２０１及び位置姿勢推定部２０２は、画像処理装置１０から物体３の検出結果が入力されるとそれぞれの処理を開始する。
　制御部２０３は、画像処理ユニット２００の全体を制御するものである。また、制御部２０３は、設定値を生成し、画像処理装置１０の保持部１４０に対して出力する。
　機構制御ユニット２１０は、ロボットアーム１を制御するものである。この機構制御ユニット２１０は、機構制御部２１１を備える。
　機構制御部２１１は、画像処理ユニット２００から出力される物体３までの距離及び物体３の位置に基づいてロボットアーム１及び把持部２を制御するものである。
　［物体の進入の検出］
　図４は、本開示の第１の実施形態に係る物体の進入の検出の一例を示す図である。同図は、画像処理装置１０による物体３の進入の検出を説明する図である。同図において矩形の領域は、検出対象領域３３０を表す。また、点ハッチングの領域は、物体３の３次元点群３１０を表す。また、白抜きの矢印は、物体３の移動方向を表す。
　同図の（Ａ）は、物体３の３次元点群３１０の先端部分が検出対象領域３３０に進入した場合を表す。同図の（Ｂ）は、物体３の３次元点群３１０の半分以上が検出対象領域３３０に進入した場合を表す。同図の（Ｃ）は、物体３の３次元点群３１０の全体が検出対象領域３３０に進入した場合を表す。前述のように、進入検出部１００の点群計数部１０１は、物体３の３次元点群の個数をカウントする。そして物体３の３次元点群の個数が所定の閾値以上の場合に、判断部１０２は、物体３が検出対象領域３３０に進入したと判断する。同図の（Ｂ）は、３次元点群の個数が閾値以上となった場合を表したものである。この場合、判断部１０２は、物体３が検出対象領域３３０に進入したと判断する。
　また、同図の（Ｂ）において対象物検出領域生成部１３０が対象物検出領域を生成する。同図の（Ｂ）の一点鎖線の矩形は、対象物検出領域３２０を表す。同図に表したように、対象物検出領域生成部１３０は、検出された物体３を含む領域である。なお、本開示の第１の実施形態の対象物検出領域生成部１３０は、対象物検出領域３２０に該当する領域の画像を検出対象領域３３０から切り出すことにより対象物検出領域（画像）を生成する。
　［距離画像の生成］
　図５は、本開示の実施形態に係る距離画像の生成の一例を示す図である。同図は、３次元点群生成部１２０における距離画像の生成の一例を表す図である。まず、３次元点群生成部１２０は、計測対象物の距離を算出する。計測対象物までの距離は、計測対象に投影されたパターンから特徴点を検出し、検出した特徴点の特徴量に基づいて当該特徴点と撮像画像上の特徴点との対応付けを行い、三角測量の原理に基づいて算出することができる。
　同図の（Ａ）は、計測対象物３５０にプロジェクタ３６１からのパターン光３６９を投影し、撮像素子１１０により撮像画像を生成する例を表したものである。また、同図のパターン光３６９は、複数の縦線により構成される例を表したものである。このようなパターン光３６９をプロジェクタ３６１から投影し、プロジェクタ３６１から所定の距離にある撮像素子１１０により撮像すると、計測対象物３５０までの距離（３次元形状）に応じた撮像画像が得られる。なお、計測対象物３５０がない場合の撮像画像を投影画像と称する。この投影画像は、パターン光３６９に基づく画像となる。
　同図の（Ｂ）は、撮像画像３７０の例を表したものである。撮像画像３７０のうち計測対象物３５０の領域には計測対象物３５０の形状に応じて変化した画像３７２が形成され、これ以外の領域にはパターン光３６９に基づく画像（投影画像３７１）が形成される。３次元点群生成部１２０は、画像３７２において特徴点を設定する。この特徴点は、投影パターンのエッジ等に設定することができる。同図の（Ｂ）の黒点は、特徴点の例を表す。次に、３次元点群生成部１２０は、設定した特徴点の周囲の画素値から特徴量を算出する。次に、３次元点群生成部１２０は、同じ特徴量の投影画像３７１の画素と設定した特徴点とを対応付ける。同図の（Ｃ）は、画像３７２の特徴点（ｘ、ｙ）と投影画像３７１の点（ｘｐ、ｙｐ）とが対応付けられる場合の例を表したものである。
　次に、３次元点群生成部１２０は、特徴点（ｘ、ｙ）及び点（ｘｐ、ｙｐ）の画像上の距離を算出する。次に、３次元点群生成部１２０は、三角測量の原理を適用して特徴点（ｘ、ｙ）及び点（ｘｐ、ｙｐ）の画像上の距離から計測対象物３５０までの距離（３次元形状）を算出する。このような処理を繰り返すことにより、距離画像を生成することができる。
　［位置姿勢の推定］
　図６は、本開示の実施形態に係る位置姿勢の推定の一例を示す図である。同図は、位置姿勢推定部２０２における位置姿勢の推定の一例を表す図である。また、同図は、ＩＣＰ（Iterative　Closest　Point）のアルゴリズムに基づいて位置姿勢を推定する例を表したものである。位置姿勢の推定は、フレーム間の３次元点群の位置関係から２乗和が最小となる回転行列及び並進行列を算出することにより行うことができる。収束条件を満たすまで、この２乗和算出及び点群の移動が反復される。具体例には、フレームＮの３次元点群をＰｓｎ、フレームＮ＋１の３次元点群をＰｔｎと定義するとき、あるＰｓｎとＰｔｎとの対応関係において回転行列（Ｒ）及び並進行列（Ｔ）を適用したＰｓｎとＰｔｎとの差分値が最小（対応点同士の距離の２乗和）になる行列Ｒ及びＴを求める。同図の式は、対応点同士の距離の２乗和の算出式を表す。
　一般的には、対応点のバリエーションは規定範囲内で定義する。同図は、点群Ｐｓ１－Ｐｓ３を有してフレームＮに相当するフレーム４０１及び点群Ｐｔ１－Ｐｔ３を有してフレームＮ＋１に相当するフレーム４１１の対応点のバリエーションを表したものである。これら対応点同士の距離の２乗和の算出及び点群移動を２乗和が収束条件を満たすまで繰り返し実行する。これにより、回転行列（Ｒ）及び並進行列（Ｔ）を算出することができ、３次元点群により表された物体３の位置姿勢を推定することができる。
　［制御システムの処理］
　図７は、本開示の実施形態に係る制御システムの処理の処理手順の一例を示す図である。同図は、図１の制御システム９の処理の処理手順の一例を表す流れ図である。まず、画像処理装置１０が進入検出処理（ステップＳ１１０）を行う。その結果、物体の進入が検出された場合には（ステップＳ１０１，Ｙｅｓ）、画像処理装置１０の対象物検出領域生成部１３０が対象物検出領域を生成する（ステップＳ１０２）。次に、機構制御ユニット２１０の距離算出部２０１が対象物検出領域に基づいて物体３の距離計測を行う（ステップＳ１０３）。次に、機構制御ユニット２１０の位置姿勢推定部２０２が物体３の位置姿勢の推定を行う（ステップＳ１０４）。その後、機構制御ユニット２１０の機構制御部２１１が物体までの距離並びに位置及び姿勢に基づいてロボットアーム１及び把持部２を制御する。
　［進入検出処理］
　図８は、本開示の実施形態に係る進入検出処理の処理手順の一例を示す図である。同図は、進入検出処理の処理手順の一例を表す流れ図である。なお、同図の処理は、図７のステップＳ１１０の処理に該当する。まず、撮像素子１１０が検出対象領域の画像を生成する（ステップＳ１１１）。次に、３次元点群生成部１２０が検出対象領域の画像から３次元点群を生成する（ステップＳ１１２）。次に、進入検出部１００の点群計数部１０１が３次元点群の点群数をカウントする（ステップＳ１１３）。次に、進入検出部１００の判断部１０２が点群数に基づいて物体３が検出対象領域に進入したかを判断し（ステップＳ１１４）、物体３の進入を検出する。その後、進入検出部１００は、検出結果を出力して元の処理に戻る。なお、ステップＳ１１０は、本開示の「進入検出手順」の一例である。
　このように、本開示の第１の実施形態の画像処理装置１０は、検出対象領域の画像に基づいて物体３の特定情報を生成し、当該特定情報に基づいて検出対象領域への物体３の進入を検出する。物体３の形状を認識するためのマーカ等を使用することなく物体３の進入を検出することができ、利便性を向上させることができる。また、画像処理装置１０が物体３の進入を検出しない期間において位置姿勢推定部２０２による位置姿勢の推定の処理を停止することができ、制御システム９を省電力化することができる。
　また、判断部１０２における判断の際の閾値を調整することにより、進入を判断する際の物体３の画像領域の形状を容易に調整することができる。例えば、閾値を調整して物体３の全体が検出対象領域に進入した場合に進入を検出する構成にすることができる。この場合には、物体３の位置姿勢の推定の精度を向上させることができる。計測対象の一部のみが検出対象領域内に映り込んでいる状態にて位置姿勢の推定を行うと、３次元点群の不足により位置姿勢の推定の誤差が発生するためである。また、例えば、物体３の一部が検出対象領域に進入した場合に進入を検出する構成を採ることもできる。この場合には、物体３の進入の検出を高速化することができる。
　（２．第２の実施形態）
　上述の第１の実施形態の画像処理装置１０は、対象物検出領域生成部１３０が画像を対象物検出領域として生成していた。これに対し、本開示の第２の実施形態の画像処理装置１０は、対象物検出領域生成部１３０が３次元点群を対象物検出領域として生成する点で、上述の第１の実施形態と異なる。
　［画像処理装置の構成］
　図９は、本開示の第２の実施形態に係る画像処理装置１０の構成例を示す図である。同図は、図２と同様に、画像処理装置１０の構成例を表すブロック図である。同図の画像処理装置１０は、対象物検出領域生成部１３０が３次元点群を対象物検出領域として生成する点で、図２の画像処理装置１０と異なる。
　上述のように、同図の対象物検出領域生成部１３０は、３次元点群生成部１２０により生成された３次元点群のうちの物体３が含まれる領域の３次元点群を対象物検出領域として生成する。また、同図の対象物検出領域生成部１３０は、生成した３次元点群からなる対象物検出領域をＩＦ部１６０に出力する。
　なお、画像処理装置１０から３次元点群が出力されるため、後段処理ユニット２０における距離の算出を省略することができる。これにより、後段処理ユニット２０の距離算出部２０１を省略することができる。
　これ以外の画像処理装置１０の構成は本開示の第１の実施形態における画像処理装置１０の構成と同様であるため、説明を省略する。
　このように、本開示の第２の実施形態の画像処理装置１０は、３次元点群を対象物検出領域として生成し、後段処理ユニット２０に出力する。これにより、後段処理ユニット２０における距離の算出処理を省略することができる。
　（３．第３の実施形態）
　上述の第１の実施形態の画像処理装置１０は、物体３に対応する３次元点群の個数に基づいて物体３の進入を検出していた。これに対し、本開示の第３の実施形態の画像処理装置１０は、物体３の動きベクトルの個数に基づいて物体３の進入を検出する点で、上述の第１の実施形態と異なる。
　［画像処理装置の構成］
　図１０は、本開示の第３の実施形態に係る画像処理装置１０の構成例を示す図である。同図は、図２と同様に、画像処理装置１０の構成例を表すブロック図である。同図の画像処理装置１０は、３次元点群生成部１２０の代わりに動きベクトル生成部１７０を備える点で、図２の画像処理装置１０と異なる。また、同図の画像処理装置１０の進入検出部１００は、点群計数部１０１の代わりに動きベクトル計数部１０３を備える。
　動きベクトル生成部１７０は、動きベクトルを特定情報として生成するものである。この動きベクトル生成部１７０は、検出対象領域画像をマクロブロックに分割し、当該分割したマクロブロック毎の動きベクトルを生成する。動きベクトル生成部１７０は、時系列のフレーム毎にブロックマッチングを行うことにより、動きベクトルを生成することができる。生成された動きベクトルは、進入検出部１００の動きベクトル計数部１０３に対して出力される。なお、動きベクトル生成部１７０は、本開示の「特定情報生成部」の一例である。
　動きベクトル計数部１０３は、動きベクトル生成部１７０により生成される動きベクトルの個数をカウントするものである。この動きベクトル計数部１０３は、カウントした動きベクトルの個数を判断部１０２に対して出力する。なお、動きベクトル計数部１０３は、動きベクトル生成部１７０により生成される動きベクトルのうち所定の大きさ及び方向と類似する動きベクトルの個数をカウントすることができる。動きベクトルにおける所定の大きさ及び方向は、例えば、ベルトコンベア４の搬送速度及び搬送方向に応じた値にすることができる。動きベクトル計数部１０３によるカウントの対象となる動きベクトルを所定の大きさ及び方向に限定することにより、物体３の検出の精度を向上させることができる。同図の保持部１４０は、動きベクトルにおける所定の大きさ及び方向を動きベクトル計数部１０３に供給する。
　同図の判断部１０２は、動きベクトル計数部１０３からの動きベクトルの個数に基づいて物体３が検出対象領域に進入したかを判断する。また、同図の判断部１０２は、動きベクトルの個数を所定の閾値と比較することにより、物体３の進入を判断することができる。
　同図の対象物検出領域生成部１３０は、判断部１０２における判断の対象となる動きベクトルに基づいて対象物検出領域を生成する。
　図１１は、本開示の第３の実施形態に係る動きベクトルの一例を示す図である。同図は、動きベクトル生成部１７０が生成する動きベクトルを説明する図である。動きベクトル生成部１７０は、検出対象領域３３０に含まれる物体３の画像３１２を複数のマクロブロックに分割し動きベクトルを生成する。同図には、マクロブロック３１３及び動きベクトル３１４を記載した。前述のように動きベクトル生成部１７０は、ブロックマッチングにより動きベクトルを生成することができる。このブロックマッチングは、隣接するフレーム間において対応するマクロブロック（マクロブロック３１３）の位置を検出し、当該検出したマクロブロックの位置の変位を動きベクトルとして生成する方式である。
　これ以外の画像処理装置１０の構成は本開示の第１の実施形態における画像処理装置１０の構成と同様であるため、説明を省略する。
　このように、本開示の第３の実施形態の画像処理装置１０は、動きベクトルを特定情報として生成し、当該動きベクトルに基づいて検出対象領域への物体３の進入を検出する。
　（４．第４の実施形態）
　上述の第１の実施形態の画像処理装置１０は、物体３に対応する３次元点群の個数に基づいて物体３の進入を検出していた。これに対し、本開示の第４の実施形態の画像処理装置１０は、物体３の画像の特定領域のサイズに基づいて物体３の進入を検出する点で、上述の第１の実施形態と異なる。
　［画像処理装置の構成］
　図１２は、本開示の第４の実施形態に係る画像処理装置１０の構成例を示す図である。同図は、図２と同様に、画像処理装置１０の構成例を表すブロック図である。同図の画像処理装置１０は、３次元点群生成部１２０の代わりに特定領域生成部１８０を備える点で、図２の画像処理装置１０と異なる。また、同図の画像処理装置１０の進入検出部１００は、点群計数部１０１の代わりに領域サイズ検出部１０４を備える。
　特定領域生成部１８０は、検出対象領域画像のうちの特定領域を特定情報として生成するものである。この特定領域には、特定の色の領域や特定の輝度の領域が該当する。特定領域生成部１８０は、生成した特定領域を進入検出部１００の領域サイズ検出部１０４に対して出力する。なお、特定領域生成部１８０は、本開示の「特定情報生成部」の一例である。
　領域サイズ検出部１０４は、特定領域生成部１８０により生成される特定領域のサイズを検出するものである。この領域サイズ検出部１０４は、検出した特定領域のサイズを判断部１０２に対して出力する。なお、領域サイズ検出部１０４は、特定領域生成部１８０により生成される特定領域のうち所定の色や所定の輝度と近似する色及び輝度の領域のサイズを検出することができる。特定領域における所定の色及び輝度は、物体３に応じて調整することができる。領域サイズ検出部１０４によるサイズの検出の対象となる領域を所定の色や輝度に限定することにより、物体３の検出の精度を向上させることができる。同図の保持部１４０は、所定の色及び輝度を領域サイズ検出部１０４に供給する。
　同図の判断部１０２は、領域サイズ検出部１０４からの特定領域のサイズに基づいて物体３が検出対象領域に進入したかを判断する。また、同図の判断部１０２は、特定領域のサイズを所定の閾値と比較することにより、物体３の進入を判断することができる。
　同図の対象物検出領域生成部１３０は、判断部１０２における判断の対象となる特定領域に基づいて対象物検出領域を生成する。
　図１３は、本開示の第４の実施形態に係る特定領域の一例を示す図である。同図は、特定領域生成部１８０が生成する特定領域を説明する図である。特定領域生成部１８０は、検出対象領域３３０に含まれる物体３の画像３１２から同じ色又は同じ輝度の領域を生成する。同図には、領域３１５及び３１６を記載した。領域３１５及び領域３１６は、それぞれ同図の物体３の上面及び側面の領域であり、異なる色の領域である。特定領域生成部１８０は、このような同一の色や輝度の領域を検出し、特定領域として出力する。
　これ以外の画像処理装置１０の構成は本開示の第１の実施形態における画像処理装置１０の構成と同様であるため、説明を省略する。
　このように、本開示の第３の実施形態の画像処理装置１０は、特定領域を特定情報として生成し、当該特定領域のサイズに基づいて検出対象領域への物体３の進入を検出する。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory　media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
　また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法としてとらえてもよく、また、これら一連の手順をこのコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体としてとらえてもよい。
　この記録媒体として、例えば、ＣＤ（Compact　Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital　Versatile　Disc）、メモリーカード、ブルーレイディスク（Blu-ray（登録商標）Disc）などを用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出部を有する画像処理装置。
（２）
　前記検出対象領域における前記物体の画像である検出対象領域画像から前記特定情報を生成する特定情報生成部を更に有し、
　前記進入検出部は、前記生成された特定情報に基づいて前記進入を検出する
　前記（１）に記載の画像処理装置。
（３）
　前記特定情報生成部は、前記物体の一部の３次元形状の情報を前記特定情報として生成する前記（２）に記載の画像処理装置。
（４）
　前記特定情報生成部は、前記検出対象領域画像の３次元点群を前記特定情報として生成し、
　前記進入検出部は、前記生成された３次元点群の個数に基づいて前記進入を検出する
　前記（３）に記載の画像処理装置。
（５）
　前記進入検出部は、前記生成された３次元点群のうちの所定の距離範囲に含まれる個数に基づいて前記進入を検出する前記（４）に記載の画像処理装置。
（６）
　前記進入検出部は、前記生成された３次元点群の個数を所定の閾値と比較することにより前記進入を検出する前記（５）に記載の画像処理装置。
（７）
　前記所定の閾値を保持する保持部を更に有する前記（６）に記載の画像処理装置。
（８）
　前記特定情報生成部は、前記検出対象領域画像をマクロブロックに分割して当該分割したマクロブロック毎の動きベクトルを前記特定情報として生成し、
　前記進入検出部は、前記生成された動きベクトルの個数に基づいて前記進入を検出する
　前記（２）に記載の画像処理装置。
（９）
　前記特定情報生成部は、前記検出対象領域画像のうちの特定領域を前記特定情報として生成し、
　前記進入検出部は、前記生成された特定領域のサイズに基づいて前記進入を検出する
　前記（２）に記載の画像処理装置。
（１０）
　前記特定情報生成部は、特定の色の領域を前記特定領域として生成する前記（９）に記載の画像処理装置。
（１１）
　前記特定情報生成部は、特定の輝度の領域を前記特定情報として生成する前記（９）に記載の画像処理装置。
（１２）
　前記検出対象領域画像を生成するセンサを更に有し、
　特定情報生成部は、前記センサにより生成された前記検出対象領域画像から前記特定情報を生成する
　前記（２）から（１１）の何れかに記載の画像処理装置。
（１３）
　前記進入が検出された前記物体の領域の情報である対象物検出領域を生成する対象物検出領域生成部を更に有する前記（１）から（１２）の何れかに記載の画像処理装置。
（１４）
　前記対象物検出領域生成部は、前記物体が含まれる画像を前記対象物検出領域として生成する前記（１３）に記載の画像処理装置。
（１５）
　前記対象物検出領域生成部は、前記物体が含まれる３次元点群を前記対象物検出領域として生成する前記（１３）に記載の画像処理装置。
（１６）
　物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出することを含む画像処理方法。
（１７）
　物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出手順をコンピュータに実行させるプログラム。
　１０　画像処理装置
　２０　後段処理ユニット
　１００　進入検出部
　１１０　撮像素子
　１２０　３次元点群生成部
　１３０　対象物検出領域生成部
　１４０　保持部
　１７０　動きベクトル生成部
　１８０　特定領域生成部

Claims (17)

  1. 　物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出部を有する画像処理装置。
  2. 　前記検出対象領域における前記物体の画像である検出対象領域画像から前記特定情報を生成する特定情報生成部を更に有し、
    　前記進入検出部は、前記生成された特定情報に基づいて前記進入を検出する
    　請求項１に記載の画像処理装置。
  3. 　前記特定情報生成部は、前記物体の一部の３次元形状の情報を前記特定情報として生成する請求項２に記載の画像処理装置。
  4. 　前記特定情報生成部は、前記検出対象領域画像の３次元点群を前記特定情報として生成し、
    　前記進入検出部は、前記生成された３次元点群の個数に基づいて前記進入を検出する
    　請求項３に記載の画像処理装置。
  5. 　前記進入検出部は、前記生成された３次元点群のうちの所定の距離範囲に含まれる個数に基づいて前記進入を検出する請求項４に記載の画像処理装置。
  6. 　前記進入検出部は、前記生成された３次元点群の個数を所定の閾値と比較することにより前記進入を検出する請求項５に記載の画像処理装置。
  7. 　前記所定の閾値を保持する保持部を更に有する請求項６に記載の画像処理装置。
  8. 　前記特定情報生成部は、前記検出対象領域画像をマクロブロックに分割して当該分割したマクロブロック毎の動きベクトルを前記特定情報として生成し、
    　前記進入検出部は、前記生成された動きベクトルの個数に基づいて前記進入を検出する
    　請求項２に記載の画像処理装置。
  9. 　前記特定情報生成部は、前記検出対象領域画像のうちの特定領域を前記特定情報として生成し、
    　前記進入検出部は、前記生成された特定領域のサイズに基づいて前記進入を検出する
    　請求項２に記載の画像処理装置。
  10. 　前記特定情報生成部は、特定の色の領域を前記特定領域として生成する請求項９に記載の画像処理装置。
  11. 　前記特定情報生成部は、特定の輝度の領域を前記特定情報として生成する請求項９に記載の画像処理装置。
  12. 　前記検出対象領域画像を生成するセンサを更に有し、
    　特定情報生成部は、前記センサにより生成された前記検出対象領域画像から前記特定情報を生成する
    　請求項２に記載の画像処理装置。
  13. 　前記進入が検出された前記物体の領域の情報である対象物検出領域を生成する対象物検出領域生成部を更に有する請求項１に記載の画像処理装置。
  14. 　前記対象物検出領域生成部は、前記物体が含まれる画像を前記対象物検出領域として生成する請求項１３に記載の画像処理装置。
  15. 　前記対象物検出領域生成部は、前記物体が含まれる３次元点群を前記対象物検出領域として生成する請求項１３に記載の画像処理装置。
  16. 　物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出することを含む画像処理方法。
  17. 　物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出手順をコンピュータに実行させるプログラム。
PCT/JP2023/033646 2022-09-30 2023-09-15 画像処理装置、画像処理方法及びプログラム WO2024070751A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-158428 2022-09-30
JP2022158428A JP2024052001A (ja) 2022-09-30 2022-09-30 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024070751A1 true WO2024070751A1 (ja) 2024-04-04

Family

ID=90477463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/033646 WO2024070751A1 (ja) 2022-09-30 2023-09-15 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2024052001A (ja)
WO (1) WO2024070751A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288802A (ja) * 1994-04-18 1995-10-31 Nippon Telegr & Teleph Corp <Ntt> 侵入物体監視装置
JPH10222678A (ja) * 1997-02-05 1998-08-21 Toshiba Corp 物体検出装置および物体検出方法
JP2001309354A (ja) * 2000-04-19 2001-11-02 Sharp Corp 画像処理装置
JP2002140711A (ja) * 2000-10-31 2002-05-17 Hitachi Kokusai Electric Inc 侵入物体検出装置の大きさ設定方法及び侵入物体検出方法及び侵入物体検出装置。
JP2013115566A (ja) * 2011-11-28 2013-06-10 Canon Inc 撮像装置、撮像装置の制御方法及びプログラム
JP2017091063A (ja) * 2015-11-05 2017-05-25 キヤノン株式会社 物体検知装置、情報処理装置およびその方法
JP2021146404A (ja) * 2020-03-16 2021-09-27 株式会社東芝 制御装置及びプログラム
WO2021241189A1 (ja) * 2020-05-25 2021-12-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021241360A1 (ja) * 2020-05-29 2021-12-02 ソニーセミコンダクタソリューションズ株式会社 検出装置、検出システム及び検出方法
WO2022123929A1 (ja) * 2020-12-10 2022-06-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288802A (ja) * 1994-04-18 1995-10-31 Nippon Telegr & Teleph Corp <Ntt> 侵入物体監視装置
JPH10222678A (ja) * 1997-02-05 1998-08-21 Toshiba Corp 物体検出装置および物体検出方法
JP2001309354A (ja) * 2000-04-19 2001-11-02 Sharp Corp 画像処理装置
JP2002140711A (ja) * 2000-10-31 2002-05-17 Hitachi Kokusai Electric Inc 侵入物体検出装置の大きさ設定方法及び侵入物体検出方法及び侵入物体検出装置。
JP2013115566A (ja) * 2011-11-28 2013-06-10 Canon Inc 撮像装置、撮像装置の制御方法及びプログラム
JP2017091063A (ja) * 2015-11-05 2017-05-25 キヤノン株式会社 物体検知装置、情報処理装置およびその方法
JP2021146404A (ja) * 2020-03-16 2021-09-27 株式会社東芝 制御装置及びプログラム
WO2021241189A1 (ja) * 2020-05-25 2021-12-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021241360A1 (ja) * 2020-05-29 2021-12-02 ソニーセミコンダクタソリューションズ株式会社 検出装置、検出システム及び検出方法
WO2022123929A1 (ja) * 2020-12-10 2022-06-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JP2024052001A (ja) 2024-04-11

Similar Documents

Publication Publication Date Title
JP7352260B2 (ja) 自動物体検出機構を備えたロボットシステム、および、その動作方法
US20180066934A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
JP5567908B2 (ja) ３次元計測装置、その計測方法及びプログラム
US7507948B2 (en) Method of detecting object using structured light and robot using the same
JP2020121405A (ja) 高度化したスキャンメカニズムを有するロボットシステム
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
US20130230235A1 (en) Information processing apparatus and information processing method
US11667036B2 (en) Workpiece picking device and workpiece picking method
JP7377627B2 (ja) 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム
US20120263347A1 (en) Three-dimensional scanner and robot system
JP6317618B2 (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
CN113284179A (zh) 一种基于深度学习的机器人多物体分拣方法
WO2024070751A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6040264B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2006021300A (ja) 推定装置および把持装置
JP2014053018A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2015132523A (ja) 位置姿勢計測装置、位置姿勢計測方法及びプログラム
JP7034971B2 (ja) 作動システム、制御装置、およびプログラム
WO2024070925A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20240003675A1 (en) Measurement system, measurement device, measurement method, and measurement program
US11193755B2 (en) Measurement system, measurement device, measurement method, and measurement program
KR101820241B1 (ko) 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법
WO2024070979A1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
JP2024001876A (ja) 物体を操作するロボット、特に物体を受容するロボットを制御するための方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871983

Country of ref document: EP

Kind code of ref document: A1