WO2024070751A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- WO2024070751A1 WO2024070751A1 PCT/JP2023/033646 JP2023033646W WO2024070751A1 WO 2024070751 A1 WO2024070751 A1 WO 2024070751A1 JP 2023033646 W JP2023033646 W JP 2023033646W WO 2024070751 A1 WO2024070751 A1 WO 2024070751A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image processing
- processing device
- detection
- specific information
- image
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 125
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000001514 detection method Methods 0.000 claims abstract description 188
- 239000013598 vector Substances 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 35
- 238000012805 post-processing Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 210000000784 arm bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- This disclosure relates to an image processing device, an image processing method, and a program.
- this disclosure proposes an image processing device, an image processing method, and a program that improve the convenience of an image processing device that detects the entry of an object into a detection target area.
- the image processing device has an entry detection unit.
- the entry detection unit detects the entry of an object into a detection target area based on specific information that is information about a portion of the object in the detection target area, which is a target area for object detection.
- FIG. 1 is a diagram illustrating a configuration example of a robot arm according to an embodiment of the present disclosure.
- 1 is a diagram illustrating an example of the configuration of an image processing device according to a first embodiment of the present disclosure.
- FIG. 2 is a diagram illustrating a configuration example of a post-processing unit according to an embodiment of the present disclosure.
- FIG. 2 is a diagram illustrating an example of detection of an object intrusion according to the first embodiment of the present disclosure.
- FIG. 13 is a diagram illustrating an example of generation of a distance image according to an embodiment of the present disclosure.
- FIG. 1 is a diagram illustrating an example of position and orientation estimation according to an embodiment of the present disclosure.
- FIG. 11 is a diagram illustrating an example of a processing procedure of a process of a control system according to an embodiment of the present disclosure.
- FIG. 11 is a diagram illustrating an example of a processing procedure of an intrusion detection process according to an embodiment of the present disclosure.
- FIG. 11 is a diagram illustrating an example of the configuration of an image processing device according to a second embodiment of the present disclosure.
- FIG. 13 is a diagram illustrating an example of the configuration of an image processing device according to a third embodiment of the present disclosure.
- FIG. 13 is a diagram illustrating an example of a motion vector according to a third embodiment of the present disclosure.
- FIG. 13 is a diagram illustrating an example of the configuration of an image processing device according to a fourth embodiment of the present disclosure.
- FIG. 13 is a diagram illustrating an example of a specific region according to a fourth embodiment of the present disclosure.
- FIG. 1 is a diagram illustrating a configuration example of a robot arm according to an embodiment of the present disclosure.
- the same figure is a diagram illustrating a robot arm 1 according to an embodiment of the present disclosure.
- the robot arm 1 is a device that performs tasks such as grasping and carrying an object in place of a human arm.
- the robot arm 1 in the figure includes a plurality of links that are each rotatably attached.
- the links are parts that correspond to the arm bones of the robot arm 1.
- a gripping unit 2 that grips an object to be transported is disposed at the tip of the robot arm 1.
- the robot arm 1 extends, contracts, and rotates based on the control of a control device (not shown), and can transport the grasped object to any position within a movable range.
- the figure shows an example in which a robot arm 1 grasps an object 3 being transported by a belt conveyor 4 and transports it to a predetermined position, such as a workpiece.
- the tip of the robot arm 1 waits at a predetermined position near the belt conveyor 4, and when the object 3 moves within its movable range, the tip is moved and the gripper 2 grasps the object 3.
- a camera 30 and an image processing device 10 are further arranged at the tip of the robot arm 1.
- the camera 30 captures video images of the area near the conveyor belt 4 within the movable range of the robot arm 1.
- the image processing device 10 recognizes the moving object 3 from the video images captured by the camera 30, detects whether the object 3 has entered an area that can be grasped by the gripping unit 2 of the robot arm 1, and transmits this to the control unit of the robot arm 1 (the post-processing unit 20 described later). As a result, the control unit moves the robot arm 1 and drives the gripping unit 2 to grasp the object 3.
- the detection target area is the area in which a moving object 3 is to be detected.
- the image processing device 10 detects the entry of the object 3 into the detection target area, and transmits the detection result to a subsequent processing unit 20 that includes a control unit for the robot arm 1.
- the subsequent processing unit 20 detects the distance to the object 3 and its orientation, and drives the robot arm 1 and the gripper 2.
- the image processing device 10 detects the entry of the object 3 into the detection target area based on specific information, which is information about a part of the object 3 in the detection target area.
- This specific information corresponds to, for example, information about the three-dimensional shape of a part of the object 3.
- This three-dimensional shape corresponds to, for example, a three-dimensional point cloud of the object 3.
- the image processing device 10 generates three-dimensional point cloud data as specific information from an image generated by the camera 30.
- a three-dimensional point cloud is a representation of the three-dimensional shape of an object using a set of points.
- the image processing device 10 detects whether the three-dimensional point cloud corresponding to the object 3 has entered the detection target area.
- FIG. 2 is a diagram showing a configuration example of the image processing device 10 according to the first embodiment of the present disclosure.
- the figure is a block diagram showing a configuration example of the image processing device 10.
- a post-processing unit 20 is further illustrated. Note that the image processing device 10 and the post-processing unit 20 configure a control system 9.
- the image processing device 10 includes an image sensor 110, a three-dimensional point cloud generation unit 120, an intrusion detection unit 100, an object detection region generation unit 130, an interface (IF) unit 160, a holding unit 140, and a control unit 150.
- IF interface
- the imaging element 110 generates an image.
- This imaging element 110 is disposed in the camera 30 of FIG. 1 and generates an image of the detection target area.
- a CMOS (Complementary Metal Oxide Semiconductor) type imaging element can be used for the imaging element 110.
- the imaging element 110 sequentially generates images (frames) at a predetermined frame frequency and outputs them to the three-dimensional point cloud generating unit 120.
- the image generated by the imaging element 110 corresponds to the image of the detection target area described above.
- the image of the detection target area is referred to as the detection target area image.
- the imaging element 110 is an example of a "sensor" in this disclosure.
- the three-dimensional point cloud generating unit 120 generates a three-dimensional point cloud, which is the specific information mentioned above.
- This three-dimensional point cloud generating unit 120 generates a three-dimensional point cloud from the detection target area image generated by the imaging element 110, and outputs it to the intrusion detection unit 100.
- the three-dimensional point cloud generating unit 120 can generate a distance image from the image generated by the imaging element 110, and generate a three-dimensional point cloud based on this distance image.
- a distance image is an image in which distance information is reflected for each pixel. Details of the generation of the distance image will be described later. Note that a publicly known method can be used to generate a three-dimensional point cloud from a distance image.
- the three-dimensional point cloud generating unit 120 is an example of a "specific information generating unit" in this disclosure.
- the entry detection unit 100 detects the entry of the object 3 into the detection target area based on the above-mentioned specific information. This entry detection unit 100 detects the entry of the object 3 into the detection target area based on the three-dimensional point cloud generated by the three-dimensional point cloud generation unit 120. The entry detection unit 100 also outputs the detection result to the IF unit 160.
- the entry detection unit 100 includes a point cloud counting unit 101 and a judgment unit 102.
- the point cloud counting unit 101 counts the number of points in the three-dimensional point cloud generated by the three-dimensional point cloud generating unit 120.
- the point cloud counting unit 101 outputs the number of counted points to the determining unit 102.
- the point cloud counting unit 101 can count the number of points in the three-dimensional point cloud that are included in a predetermined distance range.
- This predetermined distance range is a range that is close to the distance to the measurement target.
- the predetermined distance range can be a range that is close to the distance to the object 3 placed on the belt conveyor 4.
- the determination unit 102 determines whether the object 3 has entered the detection target area based on the number of point clouds from the point cloud counting unit 101. When the determination unit 102 determines that the object 3 has entered the detection target area, it outputs the detection of the object 3's entry into the detection target area to the IF unit 160 as the detection result of the entry detection unit 100.
- the determination unit 102 can determine the entry of the object 3 by, for example, comparing the number of point clouds with a predetermined threshold. Specifically, the determination unit 102 can determine that the object 3 has entered when the number of point clouds is equal to or greater than a predetermined threshold. This predetermined threshold is supplied by the holding unit 140.
- the object detection area generating unit 130 generates an object detection area, which is information about the area of the object 3 whose entry has been detected.
- the object detection area generating unit 130 in the figure generates an image of the area that includes the object 3 within the image of the detection target area as the object detection area.
- the object detection area generating unit 130 also outputs the generated object detection area to the IF unit 160.
- the IF section 160 communicates with the subsequent processing unit 20. This IF section 160 outputs the detection results from the intrusion detection section 100 and the object detection area from the object detection area generation section 130 to the subsequent processing unit 20.
- the storage unit 140 stores the above-mentioned predetermined distance range and predetermined threshold value, and outputs them to the intrusion detection unit 100.
- This storage unit 140 stores the predetermined distance range and predetermined threshold value that are output as setting values from the subsequent processing unit 20.
- the control unit 150 controls the entire image processing device 10.
- [Configuration of post-processing unit] 3 is a diagram illustrating an example of the configuration of the post-processing unit 20 according to an embodiment of the present disclosure.
- the figure is a block diagram illustrating an example of the configuration of the post-processing unit 20.
- the post-processing unit 20 includes an image processing unit 200 and a mechanism control unit 210.
- the image processing unit 200 performs processing based on the object detection area output from the image processing device 10.
- the image processing unit 200 includes a distance calculation unit 201, a position and orientation estimation unit 202, and a control unit 203.
- the distance calculation unit 201 calculates the distance to the object 3 whose intrusion has been detected.
- the position and orientation estimation unit 202 estimates the position and orientation of the object 3 whose intrusion has been detected.
- the distance calculation unit 201 and the position and orientation estimation unit 202 each start their own processing when the detection result of the object 3 is input from the image processing device 10.
- the control unit 203 controls the entire image processing unit 200.
- the control unit 203 also generates setting values and outputs them to the storage unit 140 of the image processing device 10.
- the mechanism control unit 210 controls the robot arm 1.
- This mechanism control unit 210 includes a mechanism control unit 211.
- the mechanism control unit 211 controls the robot arm 1 and the gripping unit 2 based on the distance to the object 3 and the position of the object 3 output from the image processing unit 200.
- [Detection of object intrusion] 4 is a diagram illustrating an example of detection of the intrusion of an object according to the first embodiment of the present disclosure.
- the figure is a diagram illustrating detection of the intrusion of an object 3 by the image processing device 10.
- a rectangular area represents a detection target area 330.
- a dot-hatched area represents a three-dimensional point cloud 310 of the object 3.
- a hollow arrow represents the moving direction of the object 3.
- (A) in the figure shows a case where the tip of the three-dimensional point cloud 310 of the object 3 has entered the detection target area 330.
- (B) in the figure shows a case where more than half of the three-dimensional point cloud 310 of the object 3 has entered the detection target area 330.
- (C) in the figure shows a case where the entire three-dimensional point cloud 310 of the object 3 has entered the detection target area 330.
- the point cloud counting unit 101 of the entry detection unit 100 counts the number of three-dimensional point clouds of the object 3. If the number of three-dimensional point clouds of the object 3 is equal to or greater than a predetermined threshold, the judgment unit 102 judges that the object 3 has entered the detection target area 330.
- (B) in the figure shows a case where the number of three-dimensional point clouds is equal to or greater than the threshold. In this case, the judgment unit 102 judges that the object 3 has entered the detection target area 330.
- the object detection area generating unit 130 generates an object detection area.
- the dashed-dotted rectangle in (B) of the same figure represents the object detection area 320.
- the object detection area generating unit 130 is an area that includes the detected object 3. Note that the object detection area generating unit 130 of the first embodiment of the present disclosure generates the object detection area (image) by cutting out an image of the area corresponding to the object detection area 320 from the detection target area 330.
- [Distance image generation] 5 is a diagram showing an example of distance image generation according to an embodiment of the present disclosure. The same figure shows an example of distance image generation in the three-dimensional point cloud generation unit 120.
- the three-dimensional point cloud generation unit 120 calculates the distance to the measurement object.
- the distance to the measurement object can be calculated based on the principle of triangulation by detecting feature points from a pattern projected onto the measurement object, associating the feature points with feature points on the captured image based on the feature amounts of the detected feature points.
- (A) in the figure shows an example in which pattern light 369 is projected from projector 361 onto measurement object 350, and an image is generated by image sensor 110.
- the pattern light 369 in the figure shows an example in which it is composed of multiple vertical lines.
- (B) of the figure shows an example of a captured image 370.
- an image 372 that changes according to the shape of the measurement object 350 is formed, and in the other region, an image based on the pattern light 369 (projected image 371) is formed.
- the three-dimensional point cloud generating unit 120 sets a feature point in the image 372. This feature point can be set to an edge of the projection pattern, etc.
- the black dots in (B) of the figure show examples of feature points.
- the three-dimensional point cloud generating unit 120 calculates a feature amount from pixel values around the set feature point.
- the three-dimensional point cloud generating unit 120 associates a pixel of the projection image 371 that has the same feature amount with the set feature point.
- (C) of the figure shows an example of a case where a feature point (x, y) of the image 372 is associated with a point (xp, yp) of the projection image 371.
- the three-dimensional point cloud generating unit 120 calculates the distance on the image between the feature point (x, y) and the point (xp, yp).
- the three-dimensional point cloud generating unit 120 applies the principle of triangulation to calculate the distance (three-dimensional shape) to the measurement object 350 from the distance on the image between the feature point (x, y) and the point (xp, yp). By repeating such processing, a distance image can be generated.
- FIG. 6 is a diagram showing an example of position and orientation estimation according to an embodiment of the present disclosure.
- This figure shows an example of position and orientation estimation in the position and orientation estimation unit 202.
- This figure also shows an example of estimating the position and orientation based on the ICP (Iterative Closest Point) algorithm.
- the position and orientation can be estimated by calculating a rotation matrix and a translation matrix that minimize the square sum from the positional relationship of the three-dimensional point cloud between frames. This calculation of the square sum and the movement of the point cloud are repeated until the convergence condition is satisfied.
- matrices R and T are obtained that minimize the difference value between P sn and P tn (the square sum of the distance between corresponding points) when the rotation matrix (R) and the translation matrix (T) are applied in the correspondence relationship between certain P sn and P tn .
- the formula in the figure shows a calculation formula for the square sum of the distance between corresponding points.
- the variation of corresponding points is defined within a prescribed range.
- the figure shows the variation of corresponding points in a frame 401 having a point group Ps1 - Ps3 and corresponding to frame N, and a frame 411 having a point group Pt1 - Pt3 and corresponding to frame N+1.
- the calculation of the sum of squares of the distances between these corresponding points and the movement of the point group are repeated until the sum of squares satisfies a convergence condition. This makes it possible to calculate the rotation matrix (R) and the translation matrix (T), and to estimate the position and orientation of the object 3 represented by the three-dimensional point group.
- FIG. 7 is a diagram showing an example of a processing procedure of the control system according to the embodiment of the present disclosure.
- the figure is a flow chart showing an example of a processing procedure of the control system 9 of FIG. 1.
- the image processing device 10 performs an intrusion detection process (step S110).
- the object detection area generating unit 130 of the image processing device 10 generates an object detection area (step S102).
- the distance calculation unit 201 of the mechanism control unit 210 performs distance measurement of the object 3 based on the object detection area (step S103).
- the position and orientation estimation unit 202 of the mechanism control unit 210 estimates the position and orientation of the object 3 (step S104).
- the mechanism control unit 211 of the mechanism control unit 210 controls the robot arm 1 and the gripping unit 2 based on the distance to the object and the position and orientation.
- FIG. 8 is a diagram showing an example of a processing procedure of the intrusion detection processing according to the embodiment of the present disclosure.
- the figure is a flow chart showing an example of a processing procedure of the intrusion detection processing.
- the processing in the figure corresponds to the processing of step S110 in FIG. 7.
- the image sensor 110 generates an image of the detection target area (step S111).
- the three-dimensional point cloud generating unit 120 generates a three-dimensional point cloud from the image of the detection target area (step S112).
- the point cloud counting unit 101 of the intrusion detection unit 100 counts the number of points of the three-dimensional point cloud (step S113).
- step S114 the determination unit 102 of the intrusion detection unit 100 determines whether the object 3 has entered the detection target area based on the number of points (step S114), and detects the intrusion of the object 3. Thereafter, the intrusion detection unit 100 outputs the detection result and returns to the original processing.
- step S110 is an example of the "intrusion detection procedure" of the present disclosure.
- the image processing device 10 of the first embodiment of the present disclosure generates specific information of the object 3 based on an image of the detection target area, and detects the entry of the object 3 into the detection target area based on the specific information.
- the entry of the object 3 can be detected without using a marker or the like for recognizing the shape of the object 3, thereby improving convenience.
- the position and orientation estimation process by the position and orientation estimation unit 202 can be stopped during periods when the image processing device 10 does not detect the entry of the object 3, thereby enabling the control system 9 to save power.
- the threshold value used in the judgment by the judgment unit 102 can be adjusted to detect intrusion when the entire object 3 enters the detection target area.
- the accuracy of estimating the position and orientation of the object 3 can be improved. This is because if the position and orientation is estimated when only a part of the measurement target is reflected in the detection target area, an error in estimating the position and orientation occurs due to a lack of three-dimensional point cloud.
- a configuration can be adopted in which intrusion is detected when a part of the object 3 enters the detection target area. In this case, the detection of the intrusion of the object 3 can be accelerated.
- the object detection region generating unit 130 generates an image as the object detection region.
- the image processing device 10 of the second embodiment of the present disclosure differs from the first embodiment described above in that the object detection region generating unit 130 generates a three-dimensional point cloud as the object detection region.
- FIG. 9 is a diagram showing a configuration example of an image processing device 10 according to a second embodiment of the present disclosure. Similar to Fig. 2, the figure is a block diagram showing a configuration example of the image processing device 10.
- the image processing device 10 in the figure differs from the image processing device 10 in Fig. 2 in that the object detection region generating unit 130 generates a three-dimensional point cloud as the object detection region.
- the object detection region generating unit 130 in the figure generates, as an object detection region, a 3D point cloud of a region including the object 3 from the 3D point cloud generated by the 3D point cloud generating unit 120.
- the object detection region generating unit 130 in the figure also outputs the object detection region consisting of the generated 3D point cloud to the IF unit 160.
- the rest of the configuration of the image processing device 10 is the same as the configuration of the image processing device 10 in the first embodiment of the present disclosure, so a description thereof will be omitted.
- the image processing device 10 of the second embodiment of the present disclosure generates a three-dimensional point cloud as an object detection region and outputs it to the post-processing unit 20. This makes it possible to omit the distance calculation process in the post-processing unit 20.
- the image processing device 10 of the first embodiment described above detects the entry of the object 3 based on the number of three-dimensional points corresponding to the object 3.
- the image processing device 10 of the third embodiment of the present disclosure differs from the first embodiment described above in that it detects the entry of the object 3 based on the number of motion vectors of the object 3.
- FIG. 10 is a diagram showing a configuration example of an image processing device 10 according to a third embodiment of the present disclosure.
- the figure is a block diagram showing a configuration example of the image processing device 10, similar to Fig. 2.
- the image processing device 10 in Fig. 10 differs from the image processing device 10 in Fig. 2 in that it includes a motion vector generation unit 170 instead of the three-dimensional point cloud generation unit 120.
- the intrusion detection unit 100 of the image processing device 10 in Fig. 10 includes a motion vector counting unit 103 instead of the point cloud counting unit 101.
- the motion vector generation unit 170 generates a motion vector as specific information. This motion vector generation unit 170 divides the detection target area image into macroblocks and generates a motion vector for each divided macroblock. The motion vector generation unit 170 can generate a motion vector by performing block matching for each frame in a time series. The generated motion vector is output to the motion vector counting unit 103 of the intrusion detection unit 100.
- the motion vector generation unit 170 is an example of the "specific information generation unit" of this disclosure.
- the motion vector counting unit 103 counts the number of motion vectors generated by the motion vector generating unit 170. This motion vector counting unit 103 outputs the number of counted motion vectors to the determining unit 102.
- the motion vector counting unit 103 can count the number of motion vectors that are similar to a predetermined magnitude and direction among the motion vectors generated by the motion vector generating unit 170.
- the predetermined magnitude and direction of the motion vector can be set to values according to the conveying speed and conveying direction of the belt conveyor 4, for example. By limiting the motion vectors that are the subject of counting by the motion vector counting unit 103 to a predetermined magnitude and direction, the accuracy of detection of the object 3 can be improved.
- the holding unit 140 in the same figure supplies the predetermined magnitude and direction of the motion vector to the motion vector counting unit 103.
- the determination unit 102 in the figure determines whether the object 3 has entered the detection target area based on the number of motion vectors from the motion vector counting unit 103.
- the determination unit 102 in the figure can also determine the entry of the object 3 by comparing the number of motion vectors with a predetermined threshold.
- the object detection area generating unit 130 in the figure generates an object detection area based on the motion vector that is the subject of judgment in the judgment unit 102.
- FIG. 11 is a diagram showing an example of a motion vector according to the third embodiment of the present disclosure.
- the motion vector generation unit 170 divides an image 312 of an object 3 included in a detection target area 330 into a plurality of macroblocks to generate a motion vector.
- the figure shows a macroblock 313 and a motion vector 314.
- the motion vector generation unit 170 can generate a motion vector by block matching.
- This block matching is a method of detecting the position of a corresponding macroblock (macroblock 313) between adjacent frames and generating the displacement of the position of the detected macroblock as a motion vector.
- the rest of the configuration of the image processing device 10 is the same as the configuration of the image processing device 10 in the first embodiment of the present disclosure, so a description thereof will be omitted.
- the image processing device 10 of the third embodiment of the present disclosure generates a motion vector as specific information, and detects the entry of an object 3 into the detection target area based on the motion vector.
- the image processing device 10 of the first embodiment described above detects the intrusion of the object 3 based on the number of three-dimensional points corresponding to the object 3.
- the image processing device 10 of the fourth embodiment of the present disclosure differs from the first embodiment described above in that it detects the intrusion of the object 3 based on the size of a specific region of the image of the object 3.
- Fig. 12 is a diagram showing a configuration example of an image processing device 10 according to a fourth embodiment of the present disclosure. Similar to Fig. 2, Fig. 12 is a block diagram showing a configuration example of the image processing device 10.
- the image processing device 10 in Fig. 12 differs from the image processing device 10 in Fig. 2 in that it includes a specific area generation unit 180 instead of the three-dimensional point cloud generation unit 120.
- the entry detection unit 100 of the image processing device 10 in Fig. 12 includes an area size detection unit 104 instead of the point cloud counting unit 101.
- the specific area generating unit 180 generates a specific area from the detection target area image as specific information. This specific area corresponds to an area of a specific color or an area of a specific brightness. The specific area generating unit 180 outputs the generated specific area to the area size detection unit 104 of the intrusion detection unit 100.
- the specific area generating unit 180 is an example of the "specific information generating unit" of the present disclosure.
- the area size detection unit 104 detects the size of the specific area generated by the specific area generation unit 180. This area size detection unit 104 outputs the detected size of the specific area to the judgment unit 102.
- the area size detection unit 104 can detect the size of an area of a specific color and a color and brightness that are similar to a specific color and a specific brightness among the specific areas generated by the specific area generation unit 180.
- the specific color and brightness in the specific area can be adjusted according to the object 3. By limiting the area whose size is detected by the area size detection unit 104 to a specific color and brightness, the accuracy of detection of the object 3 can be improved.
- the holding unit 140 in the same figure supplies the specific color and brightness to the area size detection unit 104.
- the determination unit 102 in the figure determines whether the object 3 has entered the detection target area based on the size of the specific area from the area size detection unit 104.
- the determination unit 102 in the figure can also determine the entry of the object 3 by comparing the size of the specific area with a predetermined threshold.
- the object detection area generation unit 130 in the figure generates an object detection area based on the specific area that is the subject of judgment in the judgment unit 102.
- FIG. 13 is a diagram showing an example of a specific region according to the fourth embodiment of the present disclosure.
- This figure is a diagram explaining a specific region generated by the specific region generation unit 180.
- the specific region generation unit 180 generates regions of the same color or brightness from the image 312 of the object 3 included in the detection target region 330. Regions 315 and 316 are shown in the figure. Regions 315 and 316 are regions on the top and side surfaces of the object 3 in the figure, respectively, and are regions of different colors.
- the specific region generation unit 180 detects such regions of the same color or brightness, and outputs them as specific regions.
- the rest of the configuration of the image processing device 10 is the same as the configuration of the image processing device 10 in the first embodiment of the present disclosure, so a description thereof will be omitted.
- the image processing device 10 of the third embodiment of the present disclosure generates a specific area as specific information, and detects the entry of an object 3 into the detection target area based on the size of the specific area.
- each device described in this specification may be realized using software, hardware, or a combination of software and hardware.
- the programs constituting the software are stored in advance, for example, in a storage medium (non-transitory media) provided inside or outside each device. Then, each program is loaded into RAM, for example, when executed by a computer, and executed by a processor such as a CPU.
- processing steps described in the above embodiments may be considered as a method having a series of steps, or as a program for causing the computer to execute the series of steps, or as a recording medium for storing the program.
- CDs Compact Discs
- MDs MiniDiscs
- DVDs Digital Versatile Discs
- memory cards Blu-ray (registered trademark) Discs, etc.
- Blu-ray (registered trademark) Discs, etc. can be used as this recording medium.
- the present technology can also be configured as follows. (1) An image processing device having an entry detection unit that detects entry of an object into a detection target area based on specific information that is information about a part of the object in the detection target area. (2) a specific information generating unit that generates the specific information from a detection target area image that is an image of the object in the detection target area, The image processing device according to (1), wherein the intrusion detection unit detects the intrusion based on the generated specific information. (3) The image processing device according to (2), wherein the specific information generating unit generates information on a three-dimensional shape of a part of the object as the specific information.
- the specific information generation unit generates a three-dimensional point cloud of the detection target area image as the specific information;
- the specific information generation unit divides the detection target area image into macroblocks and generates a motion vector for each of the divided macroblocks as the specific information;
- the image processing device according to (2) wherein the intrusion detection unit detects the intrusion based on the number of the generated motion vectors.
- the specific information generating unit generates a specific area in the detection target area image as the specific information;
- the image processing device according to (2) wherein the intrusion detection unit detects the intrusion based on a size of the generated specific area.
- the image processing device according to (9), wherein the specific information generating unit generates an area of a specific color as the specific area.
- (11) The image processing device according to (9), wherein the specific information generating unit generates an area of a specific luminance as the specific information.
- a sensor for generating the detection target area image The image processing device according to any one of (2) to (11), wherein the specific information generating unit generates the specific information from the detection target area image generated by the sensor.
- the object detection region generating unit generates a three-dimensional point cloud including the object as the object detection region.
- An image processing method including detecting entry of an object into a detection target area based on specific information that is information about a part of the object in the detection target area.
- a program that causes a computer to execute an intrusion detection procedure for detecting an intrusion of an object into a detection target area based on specific information that is information about a part of the object in the detection target area.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
移動する物体の対象領域への進入を検出する画像処理装置における利便性を向上させる。画像処理装置は、進入検出部を有する。この画像処理装置が有する進入検出部は、検出対象領域における特定情報に基づいてその物体のその検出対象領域への進入を検出する。その進入検出部におけるその検出対象領域は、その物体を検出する対象となる領域である。その進入検出部における特定領域は、その検出対象領域におけるその物体の一部の情報である。
Description
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
工場等において、産業用ロボットが組み立てを行う製造ラインが採用されている。この産業用ロボットは、ベルトコンベア等により搬送される部品を認識して把持し、ワーク位置に搬送する操作等に適用される。このような操作を産業用ロボットに行わせるためには、部品等の物体を認識するとともに、移動する物体の位置や姿勢を把握する必要がある。この産業用ロボットを制御するため、ベルトコンベア等により物体が搬送される領域をカメラ等により撮像して動画像を生成し、生成した動画像から物体を認識するシステムが提案されている。例えば、移動体に複数の反射材(マーカ)を貼付し、当該反射材の画像を検出することにより、移動体が所定の位置に進入したことを検出するシステムが提案されている(例えば、特許文献1参照)。
しかしながら、上記の従来技術では、移動体に反射材を貼付する必要があり、利便性が低下するという問題がある。
そこで、本開示では、物体の検出対象領域への進入を検出する画像処理装置における利便性を向上させる画像処理装置、画像処理方法及びプログラムを提案する。
本開示に係る画像処理装置は、進入検出部を有する。上記進入検出部は、物体の検出の対象領域である検出対象領域における上記物体の一部の情報である特定情報に基づいて上記物体の前記検出対象領域への進入を検出する。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
1.第1の実施形態
2.第2の実施形態
3.第3の実施形態
4.第4の実施形態
1.第1の実施形態
2.第2の実施形態
3.第3の実施形態
4.第4の実施形態
(1.第1の実施形態)
[ロボットアームの構成]
図1は、本開示の実施形態に係るロボットアームの構成例を示す図である。同図は、本開示の実施形態に係るロボットアーム1を説明する図である。ロボットアーム1は、人間の腕の代わりに対象物をつかむ及び運ぶ等の作業を行う装置である。同図のロボットアーム1は、それぞれ回動可能に取り付けられた複数のリンクを備える。リンクは、ロボットアーム1の腕の骨に相当する部分である。ロボットアーム1の先端には運搬対象の物体を把持する把持部2が配置される。ロボットアーム1は、不図示の制御装置の制御に基づいて伸縮及び旋回し、把持した物体を可動範囲内の任意の位置に運ぶことができる。
[ロボットアームの構成]
図1は、本開示の実施形態に係るロボットアームの構成例を示す図である。同図は、本開示の実施形態に係るロボットアーム1を説明する図である。ロボットアーム1は、人間の腕の代わりに対象物をつかむ及び運ぶ等の作業を行う装置である。同図のロボットアーム1は、それぞれ回動可能に取り付けられた複数のリンクを備える。リンクは、ロボットアーム1の腕の骨に相当する部分である。ロボットアーム1の先端には運搬対象の物体を把持する把持部2が配置される。ロボットアーム1は、不図示の制御装置の制御に基づいて伸縮及び旋回し、把持した物体を可動範囲内の任意の位置に運ぶことができる。
同図は、ベルトコンベア4により搬送される物体3をロボットアーム1が把持し、ワーク等の所定の位置に搬送する例を表したものである。ロボットアーム1は、先端部をベルトコンベア4の近傍の所定の位置に待機させておき、物体3が可動範囲内に移動した際に先端部を移動させ、把持部2により物体3を把持する。
ロボットアーム1の先端にはカメラ30及び画像処理装置10が更に配置される。カメラ30は、ロボットアーム1の可動範囲内のベルトコンベア4の近傍領域の動画像を撮像する。画像処理装置10は、カメラ30により撮像された動画像から移動する物体3を認識するとともに、物体3がロボットアーム1の把持部2により把持可能な領域に進入したかを検出し、ロボットアーム1の制御部(後述する後段処理ユニット20)に伝達する。これにより、制御部がロボットアーム1を移動させるとともに把持部2を駆動して物体3を把持させる。
ここで、カメラ30による動画像を撮像する範囲(領域)を検出対象領域と称する。この検出対象領域は、移動する物体3を検出する対象の領域である。画像処理装置10は、物体3の検出対象領域への進入を検出し、検出結果をロボットアーム1の制御部を含む後段処理ユニット20に伝達する。後段処理ユニット20は、物体3までの距離や姿勢を検出し、ロボットアーム1及び把持部2を駆動する。
画像処理装置10は、検出対象領域における物体3の一部の情報である特定情報に基づいて物体3の検出対象領域への進入を検出する。この特定情報には、例えば、物体3の一部の3次元形状の情報が該当する。この3次元形状には、例えば、物体3の3次元点群が該当する。後述するように、画像処理装置10は、カメラ30により生成された画像から3次元点群のデータを特定情報として生成する。ここで、3次元点群とは、物体の3次元の形状を点の集合により表したものである。画像処理装置10は、物体3に該当する3次元点群が検出対象領域に進入したかを検出する。
[画像処理装置の構成]
図2は、本開示の第1の実施形態に係る画像処理装置10の構成例を示す図である。同図は、画像処理装置10の構成例を表すブロック図である。同図には、後段処理ユニット20を更に記載した。なお、画像処理装置10及び後段処理ユニット20は、制御システム9を構成する。画像処理装置10は、撮像素子110と、3次元点群生成部120と、進入検出部100と、対象物検出領域生成部130と、インターフェイス(IF)部160と、保持部140と、制御部150とを備える。
図2は、本開示の第1の実施形態に係る画像処理装置10の構成例を示す図である。同図は、画像処理装置10の構成例を表すブロック図である。同図には、後段処理ユニット20を更に記載した。なお、画像処理装置10及び後段処理ユニット20は、制御システム9を構成する。画像処理装置10は、撮像素子110と、3次元点群生成部120と、進入検出部100と、対象物検出領域生成部130と、インターフェイス(IF)部160と、保持部140と、制御部150とを備える。
撮像素子110は、画像を生成するものである。この撮像素子110は、図1のカメラ30に配置され、検出対象領域の画像を生成する。撮像素子110には、例えば、CMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を適用することができる。撮像素子110は、所定のフレーム周波数において画像(フレーム)を逐次生成し、3次元点群生成部120に対して出力する。なお、撮像素子110が生成する画像は、前述の検出対象領域の画像に該当する。検出対象領域の画像を検出対象領域画像と称する。なお、撮像素子110は本開示の「センサ」の一例である。
3次元点群生成部120は、前述の特定情報である3次元点群を生成するものである。この3次元点群生成部120は、撮像素子110により生成される検出対象領域画像から3次元点群を生成し、進入検出部100に対して出力する。3次元点群生成部120は、撮像素子110により生成される画像から距離画像を生成し、この距離画像に基づいて3次元点群を生成することができる。ここで距離画像とは、距離の情報が画素毎に反映された画像である。距離画像の生成の詳細については後述する。なお、距離画像から3次元点群を生成する方法には公知の方法を適用することができる。なお、3次元点群生成部120は本開示の「特定情報生成部」の一例である。
進入検出部100は、前述の特定情報に基づいて物体3の検出対象領域への進入を検出するものである。この進入検出部100は、3次元点群生成部120により生成される3次元点群に基づいて物体3の検出対象領域への進入を検出する。また、進入検出部100は、検出結果をIF部160に対して出力する。進入検出部100は、点群計数部101と、判断部102とを備える。
点群計数部101は、3次元点群生成部120により生成される3次元点群における点群の個数を計数(カウント)するものである。この点群計数部101は、カウントした点群の個数を判断部102に対して出力する。なお、点群計数部101は、3次元点群のうちの所定の距離範囲に含まれる点群の個数をカウントすることができる。この所定の距離範囲は、計測対象の距離に近接する範囲である。所定の距離範囲には、例えば、ベルトコンベア4上に載置された物体3までの距離に近接する範囲を適用することができる。点群計数部101によるカウントの対象となる点群の領域を所定の距離範囲に限定することにより、物体3の検出の精度を向上させることができる。この所定の距離範囲は、保持部140により供給される。
判断部102は、点群計数部101からの点群の個数に基づいて物体3が検出対象領域に進入したかを判断するものである。この判断部102は、物体3が検出対象領域に進入したと判断する際には、物体3の検出対象領域への進入の検出を進入検出部100の検出結果としてIF部160に出力する。判断部102は、例えば、点群の個数を所定の閾値と比較することにより、物体3の進入を判断することができる。具体的には、判断部102は、点群の個数が所定の閾値以上の場合に物体3が進入したと判断することができる。この所定の閾値は、保持部140により供給される。
対象物検出領域生成部130は、進入が検出された物体3の領域の情報である対象物検出領域を生成するものである。同図の対象物検出領域生成部130は、検出対象領域の画像のうちの物体3が含まれる領域の画像を対象物検出領域として生成する。また、対象物検出領域生成部130は、生成した対象物検出領域をIF部160に対して出力する。
IF部160は、後段処理ユニット20との間のやり取りを行うものである。このIF部160は、進入検出部100からの検出結果及び対象物検出領域生成部130からの対象物検出領域を後段処理ユニット20に対して出力する。
保持部140は、前述の所定の距離範囲及び所定の閾値を保持し、進入検出部100に対して出力するものである。この保持部140は、後段処理ユニット20から設定値として出力される所定の距離範囲及び所定の閾値を保持する。
制御部150は、画像処理装置10の全体を制御するものである。
[後段処理ユニットの構成]
図3は、本開示の実施形態に係る後段処理ユニット20の構成例を示す図である。同図は、後段処理ユニット20の構成例を表すブロック図である。後段処理ユニット20は、画像処理ユニット200と、機構制御ユニット210とを備える。
図3は、本開示の実施形態に係る後段処理ユニット20の構成例を示す図である。同図は、後段処理ユニット20の構成例を表すブロック図である。後段処理ユニット20は、画像処理ユニット200と、機構制御ユニット210とを備える。
画像処理ユニット200は、画像処理装置10から出力される対象物検出領域に基づいて処理を行うものである。画像処理ユニット200は、距離算出部201と、位置姿勢推定部202と、制御部203とを備える。
距離算出部201は、進入が検出された物体3までの距離を算出するものである。位置姿勢推定部202は、進入が検出された物体3の位置姿勢を推定するものである。これら距離算出部201及び位置姿勢推定部202は、画像処理装置10から物体3の検出結果が入力されるとそれぞれの処理を開始する。
制御部203は、画像処理ユニット200の全体を制御するものである。また、制御部203は、設定値を生成し、画像処理装置10の保持部140に対して出力する。
機構制御ユニット210は、ロボットアーム1を制御するものである。この機構制御ユニット210は、機構制御部211を備える。
機構制御部211は、画像処理ユニット200から出力される物体3までの距離及び物体3の位置に基づいてロボットアーム1及び把持部2を制御するものである。
[物体の進入の検出]
図4は、本開示の第1の実施形態に係る物体の進入の検出の一例を示す図である。同図は、画像処理装置10による物体3の進入の検出を説明する図である。同図において矩形の領域は、検出対象領域330を表す。また、点ハッチングの領域は、物体3の3次元点群310を表す。また、白抜きの矢印は、物体3の移動方向を表す。
図4は、本開示の第1の実施形態に係る物体の進入の検出の一例を示す図である。同図は、画像処理装置10による物体3の進入の検出を説明する図である。同図において矩形の領域は、検出対象領域330を表す。また、点ハッチングの領域は、物体3の3次元点群310を表す。また、白抜きの矢印は、物体3の移動方向を表す。
同図の(A)は、物体3の3次元点群310の先端部分が検出対象領域330に進入した場合を表す。同図の(B)は、物体3の3次元点群310の半分以上が検出対象領域330に進入した場合を表す。同図の(C)は、物体3の3次元点群310の全体が検出対象領域330に進入した場合を表す。前述のように、進入検出部100の点群計数部101は、物体3の3次元点群の個数をカウントする。そして物体3の3次元点群の個数が所定の閾値以上の場合に、判断部102は、物体3が検出対象領域330に進入したと判断する。同図の(B)は、3次元点群の個数が閾値以上となった場合を表したものである。この場合、判断部102は、物体3が検出対象領域330に進入したと判断する。
また、同図の(B)において対象物検出領域生成部130が対象物検出領域を生成する。同図の(B)の一点鎖線の矩形は、対象物検出領域320を表す。同図に表したように、対象物検出領域生成部130は、検出された物体3を含む領域である。なお、本開示の第1の実施形態の対象物検出領域生成部130は、対象物検出領域320に該当する領域の画像を検出対象領域330から切り出すことにより対象物検出領域(画像)を生成する。
[距離画像の生成]
図5は、本開示の実施形態に係る距離画像の生成の一例を示す図である。同図は、3次元点群生成部120における距離画像の生成の一例を表す図である。まず、3次元点群生成部120は、計測対象物の距離を算出する。計測対象物までの距離は、計測対象に投影されたパターンから特徴点を検出し、検出した特徴点の特徴量に基づいて当該特徴点と撮像画像上の特徴点との対応付けを行い、三角測量の原理に基づいて算出することができる。
図5は、本開示の実施形態に係る距離画像の生成の一例を示す図である。同図は、3次元点群生成部120における距離画像の生成の一例を表す図である。まず、3次元点群生成部120は、計測対象物の距離を算出する。計測対象物までの距離は、計測対象に投影されたパターンから特徴点を検出し、検出した特徴点の特徴量に基づいて当該特徴点と撮像画像上の特徴点との対応付けを行い、三角測量の原理に基づいて算出することができる。
同図の(A)は、計測対象物350にプロジェクタ361からのパターン光369を投影し、撮像素子110により撮像画像を生成する例を表したものである。また、同図のパターン光369は、複数の縦線により構成される例を表したものである。このようなパターン光369をプロジェクタ361から投影し、プロジェクタ361から所定の距離にある撮像素子110により撮像すると、計測対象物350までの距離(3次元形状)に応じた撮像画像が得られる。なお、計測対象物350がない場合の撮像画像を投影画像と称する。この投影画像は、パターン光369に基づく画像となる。
同図の(B)は、撮像画像370の例を表したものである。撮像画像370のうち計測対象物350の領域には計測対象物350の形状に応じて変化した画像372が形成され、これ以外の領域にはパターン光369に基づく画像(投影画像371)が形成される。3次元点群生成部120は、画像372において特徴点を設定する。この特徴点は、投影パターンのエッジ等に設定することができる。同図の(B)の黒点は、特徴点の例を表す。次に、3次元点群生成部120は、設定した特徴点の周囲の画素値から特徴量を算出する。次に、3次元点群生成部120は、同じ特徴量の投影画像371の画素と設定した特徴点とを対応付ける。同図の(C)は、画像372の特徴点(x、y)と投影画像371の点(xp、yp)とが対応付けられる場合の例を表したものである。
次に、3次元点群生成部120は、特徴点(x、y)及び点(xp、yp)の画像上の距離を算出する。次に、3次元点群生成部120は、三角測量の原理を適用して特徴点(x、y)及び点(xp、yp)の画像上の距離から計測対象物350までの距離(3次元形状)を算出する。このような処理を繰り返すことにより、距離画像を生成することができる。
[位置姿勢の推定]
図6は、本開示の実施形態に係る位置姿勢の推定の一例を示す図である。同図は、位置姿勢推定部202における位置姿勢の推定の一例を表す図である。また、同図は、ICP(Iterative Closest Point)のアルゴリズムに基づいて位置姿勢を推定する例を表したものである。位置姿勢の推定は、フレーム間の3次元点群の位置関係から2乗和が最小となる回転行列及び並進行列を算出することにより行うことができる。収束条件を満たすまで、この2乗和算出及び点群の移動が反復される。具体例には、フレームNの3次元点群をPsn、フレームN+1の3次元点群をPtnと定義するとき、あるPsnとPtnとの対応関係において回転行列(R)及び並進行列(T)を適用したPsnとPtnとの差分値が最小(対応点同士の距離の2乗和)になる行列R及びTを求める。同図の式は、対応点同士の距離の2乗和の算出式を表す。
図6は、本開示の実施形態に係る位置姿勢の推定の一例を示す図である。同図は、位置姿勢推定部202における位置姿勢の推定の一例を表す図である。また、同図は、ICP(Iterative Closest Point)のアルゴリズムに基づいて位置姿勢を推定する例を表したものである。位置姿勢の推定は、フレーム間の3次元点群の位置関係から2乗和が最小となる回転行列及び並進行列を算出することにより行うことができる。収束条件を満たすまで、この2乗和算出及び点群の移動が反復される。具体例には、フレームNの3次元点群をPsn、フレームN+1の3次元点群をPtnと定義するとき、あるPsnとPtnとの対応関係において回転行列(R)及び並進行列(T)を適用したPsnとPtnとの差分値が最小(対応点同士の距離の2乗和)になる行列R及びTを求める。同図の式は、対応点同士の距離の2乗和の算出式を表す。
一般的には、対応点のバリエーションは規定範囲内で定義する。同図は、点群Ps1-Ps3を有してフレームNに相当するフレーム401及び点群Pt1-Pt3を有してフレームN+1に相当するフレーム411の対応点のバリエーションを表したものである。これら対応点同士の距離の2乗和の算出及び点群移動を2乗和が収束条件を満たすまで繰り返し実行する。これにより、回転行列(R)及び並進行列(T)を算出することができ、3次元点群により表された物体3の位置姿勢を推定することができる。
[制御システムの処理]
図7は、本開示の実施形態に係る制御システムの処理の処理手順の一例を示す図である。同図は、図1の制御システム9の処理の処理手順の一例を表す流れ図である。まず、画像処理装置10が進入検出処理(ステップS110)を行う。その結果、物体の進入が検出された場合には(ステップS101,Yes)、画像処理装置10の対象物検出領域生成部130が対象物検出領域を生成する(ステップS102)。次に、機構制御ユニット210の距離算出部201が対象物検出領域に基づいて物体3の距離計測を行う(ステップS103)。次に、機構制御ユニット210の位置姿勢推定部202が物体3の位置姿勢の推定を行う(ステップS104)。その後、機構制御ユニット210の機構制御部211が物体までの距離並びに位置及び姿勢に基づいてロボットアーム1及び把持部2を制御する。
図7は、本開示の実施形態に係る制御システムの処理の処理手順の一例を示す図である。同図は、図1の制御システム9の処理の処理手順の一例を表す流れ図である。まず、画像処理装置10が進入検出処理(ステップS110)を行う。その結果、物体の進入が検出された場合には(ステップS101,Yes)、画像処理装置10の対象物検出領域生成部130が対象物検出領域を生成する(ステップS102)。次に、機構制御ユニット210の距離算出部201が対象物検出領域に基づいて物体3の距離計測を行う(ステップS103)。次に、機構制御ユニット210の位置姿勢推定部202が物体3の位置姿勢の推定を行う(ステップS104)。その後、機構制御ユニット210の機構制御部211が物体までの距離並びに位置及び姿勢に基づいてロボットアーム1及び把持部2を制御する。
[進入検出処理]
図8は、本開示の実施形態に係る進入検出処理の処理手順の一例を示す図である。同図は、進入検出処理の処理手順の一例を表す流れ図である。なお、同図の処理は、図7のステップS110の処理に該当する。まず、撮像素子110が検出対象領域の画像を生成する(ステップS111)。次に、3次元点群生成部120が検出対象領域の画像から3次元点群を生成する(ステップS112)。次に、進入検出部100の点群計数部101が3次元点群の点群数をカウントする(ステップS113)。次に、進入検出部100の判断部102が点群数に基づいて物体3が検出対象領域に進入したかを判断し(ステップS114)、物体3の進入を検出する。その後、進入検出部100は、検出結果を出力して元の処理に戻る。なお、ステップS110は、本開示の「進入検出手順」の一例である。
図8は、本開示の実施形態に係る進入検出処理の処理手順の一例を示す図である。同図は、進入検出処理の処理手順の一例を表す流れ図である。なお、同図の処理は、図7のステップS110の処理に該当する。まず、撮像素子110が検出対象領域の画像を生成する(ステップS111)。次に、3次元点群生成部120が検出対象領域の画像から3次元点群を生成する(ステップS112)。次に、進入検出部100の点群計数部101が3次元点群の点群数をカウントする(ステップS113)。次に、進入検出部100の判断部102が点群数に基づいて物体3が検出対象領域に進入したかを判断し(ステップS114)、物体3の進入を検出する。その後、進入検出部100は、検出結果を出力して元の処理に戻る。なお、ステップS110は、本開示の「進入検出手順」の一例である。
このように、本開示の第1の実施形態の画像処理装置10は、検出対象領域の画像に基づいて物体3の特定情報を生成し、当該特定情報に基づいて検出対象領域への物体3の進入を検出する。物体3の形状を認識するためのマーカ等を使用することなく物体3の進入を検出することができ、利便性を向上させることができる。また、画像処理装置10が物体3の進入を検出しない期間において位置姿勢推定部202による位置姿勢の推定の処理を停止することができ、制御システム9を省電力化することができる。
また、判断部102における判断の際の閾値を調整することにより、進入を判断する際の物体3の画像領域の形状を容易に調整することができる。例えば、閾値を調整して物体3の全体が検出対象領域に進入した場合に進入を検出する構成にすることができる。この場合には、物体3の位置姿勢の推定の精度を向上させることができる。計測対象の一部のみが検出対象領域内に映り込んでいる状態にて位置姿勢の推定を行うと、3次元点群の不足により位置姿勢の推定の誤差が発生するためである。また、例えば、物体3の一部が検出対象領域に進入した場合に進入を検出する構成を採ることもできる。この場合には、物体3の進入の検出を高速化することができる。
(2.第2の実施形態)
上述の第1の実施形態の画像処理装置10は、対象物検出領域生成部130が画像を対象物検出領域として生成していた。これに対し、本開示の第2の実施形態の画像処理装置10は、対象物検出領域生成部130が3次元点群を対象物検出領域として生成する点で、上述の第1の実施形態と異なる。
上述の第1の実施形態の画像処理装置10は、対象物検出領域生成部130が画像を対象物検出領域として生成していた。これに対し、本開示の第2の実施形態の画像処理装置10は、対象物検出領域生成部130が3次元点群を対象物検出領域として生成する点で、上述の第1の実施形態と異なる。
[画像処理装置の構成]
図9は、本開示の第2の実施形態に係る画像処理装置10の構成例を示す図である。同図は、図2と同様に、画像処理装置10の構成例を表すブロック図である。同図の画像処理装置10は、対象物検出領域生成部130が3次元点群を対象物検出領域として生成する点で、図2の画像処理装置10と異なる。
図9は、本開示の第2の実施形態に係る画像処理装置10の構成例を示す図である。同図は、図2と同様に、画像処理装置10の構成例を表すブロック図である。同図の画像処理装置10は、対象物検出領域生成部130が3次元点群を対象物検出領域として生成する点で、図2の画像処理装置10と異なる。
上述のように、同図の対象物検出領域生成部130は、3次元点群生成部120により生成された3次元点群のうちの物体3が含まれる領域の3次元点群を対象物検出領域として生成する。また、同図の対象物検出領域生成部130は、生成した3次元点群からなる対象物検出領域をIF部160に出力する。
なお、画像処理装置10から3次元点群が出力されるため、後段処理ユニット20における距離の算出を省略することができる。これにより、後段処理ユニット20の距離算出部201を省略することができる。
これ以外の画像処理装置10の構成は本開示の第1の実施形態における画像処理装置10の構成と同様であるため、説明を省略する。
このように、本開示の第2の実施形態の画像処理装置10は、3次元点群を対象物検出領域として生成し、後段処理ユニット20に出力する。これにより、後段処理ユニット20における距離の算出処理を省略することができる。
(3.第3の実施形態)
上述の第1の実施形態の画像処理装置10は、物体3に対応する3次元点群の個数に基づいて物体3の進入を検出していた。これに対し、本開示の第3の実施形態の画像処理装置10は、物体3の動きベクトルの個数に基づいて物体3の進入を検出する点で、上述の第1の実施形態と異なる。
上述の第1の実施形態の画像処理装置10は、物体3に対応する3次元点群の個数に基づいて物体3の進入を検出していた。これに対し、本開示の第3の実施形態の画像処理装置10は、物体3の動きベクトルの個数に基づいて物体3の進入を検出する点で、上述の第1の実施形態と異なる。
[画像処理装置の構成]
図10は、本開示の第3の実施形態に係る画像処理装置10の構成例を示す図である。同図は、図2と同様に、画像処理装置10の構成例を表すブロック図である。同図の画像処理装置10は、3次元点群生成部120の代わりに動きベクトル生成部170を備える点で、図2の画像処理装置10と異なる。また、同図の画像処理装置10の進入検出部100は、点群計数部101の代わりに動きベクトル計数部103を備える。
図10は、本開示の第3の実施形態に係る画像処理装置10の構成例を示す図である。同図は、図2と同様に、画像処理装置10の構成例を表すブロック図である。同図の画像処理装置10は、3次元点群生成部120の代わりに動きベクトル生成部170を備える点で、図2の画像処理装置10と異なる。また、同図の画像処理装置10の進入検出部100は、点群計数部101の代わりに動きベクトル計数部103を備える。
動きベクトル生成部170は、動きベクトルを特定情報として生成するものである。この動きベクトル生成部170は、検出対象領域画像をマクロブロックに分割し、当該分割したマクロブロック毎の動きベクトルを生成する。動きベクトル生成部170は、時系列のフレーム毎にブロックマッチングを行うことにより、動きベクトルを生成することができる。生成された動きベクトルは、進入検出部100の動きベクトル計数部103に対して出力される。なお、動きベクトル生成部170は、本開示の「特定情報生成部」の一例である。
動きベクトル計数部103は、動きベクトル生成部170により生成される動きベクトルの個数をカウントするものである。この動きベクトル計数部103は、カウントした動きベクトルの個数を判断部102に対して出力する。なお、動きベクトル計数部103は、動きベクトル生成部170により生成される動きベクトルのうち所定の大きさ及び方向と類似する動きベクトルの個数をカウントすることができる。動きベクトルにおける所定の大きさ及び方向は、例えば、ベルトコンベア4の搬送速度及び搬送方向に応じた値にすることができる。動きベクトル計数部103によるカウントの対象となる動きベクトルを所定の大きさ及び方向に限定することにより、物体3の検出の精度を向上させることができる。同図の保持部140は、動きベクトルにおける所定の大きさ及び方向を動きベクトル計数部103に供給する。
同図の判断部102は、動きベクトル計数部103からの動きベクトルの個数に基づいて物体3が検出対象領域に進入したかを判断する。また、同図の判断部102は、動きベクトルの個数を所定の閾値と比較することにより、物体3の進入を判断することができる。
同図の対象物検出領域生成部130は、判断部102における判断の対象となる動きベクトルに基づいて対象物検出領域を生成する。
図11は、本開示の第3の実施形態に係る動きベクトルの一例を示す図である。同図は、動きベクトル生成部170が生成する動きベクトルを説明する図である。動きベクトル生成部170は、検出対象領域330に含まれる物体3の画像312を複数のマクロブロックに分割し動きベクトルを生成する。同図には、マクロブロック313及び動きベクトル314を記載した。前述のように動きベクトル生成部170は、ブロックマッチングにより動きベクトルを生成することができる。このブロックマッチングは、隣接するフレーム間において対応するマクロブロック(マクロブロック313)の位置を検出し、当該検出したマクロブロックの位置の変位を動きベクトルとして生成する方式である。
これ以外の画像処理装置10の構成は本開示の第1の実施形態における画像処理装置10の構成と同様であるため、説明を省略する。
このように、本開示の第3の実施形態の画像処理装置10は、動きベクトルを特定情報として生成し、当該動きベクトルに基づいて検出対象領域への物体3の進入を検出する。
(4.第4の実施形態)
上述の第1の実施形態の画像処理装置10は、物体3に対応する3次元点群の個数に基づいて物体3の進入を検出していた。これに対し、本開示の第4の実施形態の画像処理装置10は、物体3の画像の特定領域のサイズに基づいて物体3の進入を検出する点で、上述の第1の実施形態と異なる。
上述の第1の実施形態の画像処理装置10は、物体3に対応する3次元点群の個数に基づいて物体3の進入を検出していた。これに対し、本開示の第4の実施形態の画像処理装置10は、物体3の画像の特定領域のサイズに基づいて物体3の進入を検出する点で、上述の第1の実施形態と異なる。
[画像処理装置の構成]
図12は、本開示の第4の実施形態に係る画像処理装置10の構成例を示す図である。同図は、図2と同様に、画像処理装置10の構成例を表すブロック図である。同図の画像処理装置10は、3次元点群生成部120の代わりに特定領域生成部180を備える点で、図2の画像処理装置10と異なる。また、同図の画像処理装置10の進入検出部100は、点群計数部101の代わりに領域サイズ検出部104を備える。
図12は、本開示の第4の実施形態に係る画像処理装置10の構成例を示す図である。同図は、図2と同様に、画像処理装置10の構成例を表すブロック図である。同図の画像処理装置10は、3次元点群生成部120の代わりに特定領域生成部180を備える点で、図2の画像処理装置10と異なる。また、同図の画像処理装置10の進入検出部100は、点群計数部101の代わりに領域サイズ検出部104を備える。
特定領域生成部180は、検出対象領域画像のうちの特定領域を特定情報として生成するものである。この特定領域には、特定の色の領域や特定の輝度の領域が該当する。特定領域生成部180は、生成した特定領域を進入検出部100の領域サイズ検出部104に対して出力する。なお、特定領域生成部180は、本開示の「特定情報生成部」の一例である。
領域サイズ検出部104は、特定領域生成部180により生成される特定領域のサイズを検出するものである。この領域サイズ検出部104は、検出した特定領域のサイズを判断部102に対して出力する。なお、領域サイズ検出部104は、特定領域生成部180により生成される特定領域のうち所定の色や所定の輝度と近似する色及び輝度の領域のサイズを検出することができる。特定領域における所定の色及び輝度は、物体3に応じて調整することができる。領域サイズ検出部104によるサイズの検出の対象となる領域を所定の色や輝度に限定することにより、物体3の検出の精度を向上させることができる。同図の保持部140は、所定の色及び輝度を領域サイズ検出部104に供給する。
同図の判断部102は、領域サイズ検出部104からの特定領域のサイズに基づいて物体3が検出対象領域に進入したかを判断する。また、同図の判断部102は、特定領域のサイズを所定の閾値と比較することにより、物体3の進入を判断することができる。
同図の対象物検出領域生成部130は、判断部102における判断の対象となる特定領域に基づいて対象物検出領域を生成する。
図13は、本開示の第4の実施形態に係る特定領域の一例を示す図である。同図は、特定領域生成部180が生成する特定領域を説明する図である。特定領域生成部180は、検出対象領域330に含まれる物体3の画像312から同じ色又は同じ輝度の領域を生成する。同図には、領域315及び316を記載した。領域315及び領域316は、それぞれ同図の物体3の上面及び側面の領域であり、異なる色の領域である。特定領域生成部180は、このような同一の色や輝度の領域を検出し、特定領域として出力する。
これ以外の画像処理装置10の構成は本開示の第1の実施形態における画像処理装置10の構成と同様であるため、説明を省略する。
このように、本開示の第3の実施形態の画像処理装置10は、特定領域を特定情報として生成し、当該特定領域のサイズに基づいて検出対象領域への物体3の進入を検出する。
以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法としてとらえてもよく、また、これら一連の手順をこのコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体としてとらえてもよい。
この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリーカード、ブルーレイディスク(Blu-ray(登録商標)Disc)などを用いることができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出部を有する画像処理装置。
(2)
前記検出対象領域における前記物体の画像である検出対象領域画像から前記特定情報を生成する特定情報生成部を更に有し、
前記進入検出部は、前記生成された特定情報に基づいて前記進入を検出する
前記(1)に記載の画像処理装置。
(3)
前記特定情報生成部は、前記物体の一部の3次元形状の情報を前記特定情報として生成する前記(2)に記載の画像処理装置。
(4)
前記特定情報生成部は、前記検出対象領域画像の3次元点群を前記特定情報として生成し、
前記進入検出部は、前記生成された3次元点群の個数に基づいて前記進入を検出する
前記(3)に記載の画像処理装置。
(5)
前記進入検出部は、前記生成された3次元点群のうちの所定の距離範囲に含まれる個数に基づいて前記進入を検出する前記(4)に記載の画像処理装置。
(6)
前記進入検出部は、前記生成された3次元点群の個数を所定の閾値と比較することにより前記進入を検出する前記(5)に記載の画像処理装置。
(7)
前記所定の閾値を保持する保持部を更に有する前記(6)に記載の画像処理装置。
(8)
前記特定情報生成部は、前記検出対象領域画像をマクロブロックに分割して当該分割したマクロブロック毎の動きベクトルを前記特定情報として生成し、
前記進入検出部は、前記生成された動きベクトルの個数に基づいて前記進入を検出する
前記(2)に記載の画像処理装置。
(9)
前記特定情報生成部は、前記検出対象領域画像のうちの特定領域を前記特定情報として生成し、
前記進入検出部は、前記生成された特定領域のサイズに基づいて前記進入を検出する
前記(2)に記載の画像処理装置。
(10)
前記特定情報生成部は、特定の色の領域を前記特定領域として生成する前記(9)に記載の画像処理装置。
(11)
前記特定情報生成部は、特定の輝度の領域を前記特定情報として生成する前記(9)に記載の画像処理装置。
(12)
前記検出対象領域画像を生成するセンサを更に有し、
特定情報生成部は、前記センサにより生成された前記検出対象領域画像から前記特定情報を生成する
前記(2)から(11)の何れかに記載の画像処理装置。
(13)
前記進入が検出された前記物体の領域の情報である対象物検出領域を生成する対象物検出領域生成部を更に有する前記(1)から(12)の何れかに記載の画像処理装置。
(14)
前記対象物検出領域生成部は、前記物体が含まれる画像を前記対象物検出領域として生成する前記(13)に記載の画像処理装置。
(15)
前記対象物検出領域生成部は、前記物体が含まれる3次元点群を前記対象物検出領域として生成する前記(13)に記載の画像処理装置。
(16)
物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出することを含む画像処理方法。
(17)
物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出手順をコンピュータに実行させるプログラム。
(1)
物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出部を有する画像処理装置。
(2)
前記検出対象領域における前記物体の画像である検出対象領域画像から前記特定情報を生成する特定情報生成部を更に有し、
前記進入検出部は、前記生成された特定情報に基づいて前記進入を検出する
前記(1)に記載の画像処理装置。
(3)
前記特定情報生成部は、前記物体の一部の3次元形状の情報を前記特定情報として生成する前記(2)に記載の画像処理装置。
(4)
前記特定情報生成部は、前記検出対象領域画像の3次元点群を前記特定情報として生成し、
前記進入検出部は、前記生成された3次元点群の個数に基づいて前記進入を検出する
前記(3)に記載の画像処理装置。
(5)
前記進入検出部は、前記生成された3次元点群のうちの所定の距離範囲に含まれる個数に基づいて前記進入を検出する前記(4)に記載の画像処理装置。
(6)
前記進入検出部は、前記生成された3次元点群の個数を所定の閾値と比較することにより前記進入を検出する前記(5)に記載の画像処理装置。
(7)
前記所定の閾値を保持する保持部を更に有する前記(6)に記載の画像処理装置。
(8)
前記特定情報生成部は、前記検出対象領域画像をマクロブロックに分割して当該分割したマクロブロック毎の動きベクトルを前記特定情報として生成し、
前記進入検出部は、前記生成された動きベクトルの個数に基づいて前記進入を検出する
前記(2)に記載の画像処理装置。
(9)
前記特定情報生成部は、前記検出対象領域画像のうちの特定領域を前記特定情報として生成し、
前記進入検出部は、前記生成された特定領域のサイズに基づいて前記進入を検出する
前記(2)に記載の画像処理装置。
(10)
前記特定情報生成部は、特定の色の領域を前記特定領域として生成する前記(9)に記載の画像処理装置。
(11)
前記特定情報生成部は、特定の輝度の領域を前記特定情報として生成する前記(9)に記載の画像処理装置。
(12)
前記検出対象領域画像を生成するセンサを更に有し、
特定情報生成部は、前記センサにより生成された前記検出対象領域画像から前記特定情報を生成する
前記(2)から(11)の何れかに記載の画像処理装置。
(13)
前記進入が検出された前記物体の領域の情報である対象物検出領域を生成する対象物検出領域生成部を更に有する前記(1)から(12)の何れかに記載の画像処理装置。
(14)
前記対象物検出領域生成部は、前記物体が含まれる画像を前記対象物検出領域として生成する前記(13)に記載の画像処理装置。
(15)
前記対象物検出領域生成部は、前記物体が含まれる3次元点群を前記対象物検出領域として生成する前記(13)に記載の画像処理装置。
(16)
物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出することを含む画像処理方法。
(17)
物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出手順をコンピュータに実行させるプログラム。
10 画像処理装置
20 後段処理ユニット
100 進入検出部
110 撮像素子
120 3次元点群生成部
130 対象物検出領域生成部
140 保持部
170 動きベクトル生成部
180 特定領域生成部
20 後段処理ユニット
100 進入検出部
110 撮像素子
120 3次元点群生成部
130 対象物検出領域生成部
140 保持部
170 動きベクトル生成部
180 特定領域生成部
Claims (17)
- 物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出部を有する画像処理装置。
- 前記検出対象領域における前記物体の画像である検出対象領域画像から前記特定情報を生成する特定情報生成部を更に有し、
前記進入検出部は、前記生成された特定情報に基づいて前記進入を検出する
請求項1に記載の画像処理装置。 - 前記特定情報生成部は、前記物体の一部の3次元形状の情報を前記特定情報として生成する請求項2に記載の画像処理装置。
- 前記特定情報生成部は、前記検出対象領域画像の3次元点群を前記特定情報として生成し、
前記進入検出部は、前記生成された3次元点群の個数に基づいて前記進入を検出する
請求項3に記載の画像処理装置。 - 前記進入検出部は、前記生成された3次元点群のうちの所定の距離範囲に含まれる個数に基づいて前記進入を検出する請求項4に記載の画像処理装置。
- 前記進入検出部は、前記生成された3次元点群の個数を所定の閾値と比較することにより前記進入を検出する請求項5に記載の画像処理装置。
- 前記所定の閾値を保持する保持部を更に有する請求項6に記載の画像処理装置。
- 前記特定情報生成部は、前記検出対象領域画像をマクロブロックに分割して当該分割したマクロブロック毎の動きベクトルを前記特定情報として生成し、
前記進入検出部は、前記生成された動きベクトルの個数に基づいて前記進入を検出する
請求項2に記載の画像処理装置。 - 前記特定情報生成部は、前記検出対象領域画像のうちの特定領域を前記特定情報として生成し、
前記進入検出部は、前記生成された特定領域のサイズに基づいて前記進入を検出する
請求項2に記載の画像処理装置。 - 前記特定情報生成部は、特定の色の領域を前記特定領域として生成する請求項9に記載の画像処理装置。
- 前記特定情報生成部は、特定の輝度の領域を前記特定情報として生成する請求項9に記載の画像処理装置。
- 前記検出対象領域画像を生成するセンサを更に有し、
特定情報生成部は、前記センサにより生成された前記検出対象領域画像から前記特定情報を生成する
請求項2に記載の画像処理装置。 - 前記進入が検出された前記物体の領域の情報である対象物検出領域を生成する対象物検出領域生成部を更に有する請求項1に記載の画像処理装置。
- 前記対象物検出領域生成部は、前記物体が含まれる画像を前記対象物検出領域として生成する請求項13に記載の画像処理装置。
- 前記対象物検出領域生成部は、前記物体が含まれる3次元点群を前記対象物検出領域として生成する請求項13に記載の画像処理装置。
- 物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出することを含む画像処理方法。
- 物体の検出の対象領域である検出対象領域における前記物体の一部の情報である特定情報に基づいて前記物体の前記検出対象領域への進入を検出する進入検出手順をコンピュータに実行させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-158428 | 2022-09-30 | ||
JP2022158428A JP2024052001A (ja) | 2022-09-30 | 2022-09-30 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024070751A1 true WO2024070751A1 (ja) | 2024-04-04 |
Family
ID=90477463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/033646 WO2024070751A1 (ja) | 2022-09-30 | 2023-09-15 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024052001A (ja) |
WO (1) | WO2024070751A1 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288802A (ja) * | 1994-04-18 | 1995-10-31 | Nippon Telegr & Teleph Corp <Ntt> | 侵入物体監視装置 |
JPH10222678A (ja) * | 1997-02-05 | 1998-08-21 | Toshiba Corp | 物体検出装置および物体検出方法 |
JP2001309354A (ja) * | 2000-04-19 | 2001-11-02 | Sharp Corp | 画像処理装置 |
JP2002140711A (ja) * | 2000-10-31 | 2002-05-17 | Hitachi Kokusai Electric Inc | 侵入物体検出装置の大きさ設定方法及び侵入物体検出方法及び侵入物体検出装置。 |
JP2013115566A (ja) * | 2011-11-28 | 2013-06-10 | Canon Inc | 撮像装置、撮像装置の制御方法及びプログラム |
JP2017091063A (ja) * | 2015-11-05 | 2017-05-25 | キヤノン株式会社 | 物体検知装置、情報処理装置およびその方法 |
JP2021146404A (ja) * | 2020-03-16 | 2021-09-27 | 株式会社東芝 | 制御装置及びプログラム |
WO2021241189A1 (ja) * | 2020-05-25 | 2021-12-02 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2021241360A1 (ja) * | 2020-05-29 | 2021-12-02 | ソニーセミコンダクタソリューションズ株式会社 | 検出装置、検出システム及び検出方法 |
WO2022123929A1 (ja) * | 2020-12-10 | 2022-06-16 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置及び情報処理方法 |
-
2022
- 2022-09-30 JP JP2022158428A patent/JP2024052001A/ja active Pending
-
2023
- 2023-09-15 WO PCT/JP2023/033646 patent/WO2024070751A1/ja unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288802A (ja) * | 1994-04-18 | 1995-10-31 | Nippon Telegr & Teleph Corp <Ntt> | 侵入物体監視装置 |
JPH10222678A (ja) * | 1997-02-05 | 1998-08-21 | Toshiba Corp | 物体検出装置および物体検出方法 |
JP2001309354A (ja) * | 2000-04-19 | 2001-11-02 | Sharp Corp | 画像処理装置 |
JP2002140711A (ja) * | 2000-10-31 | 2002-05-17 | Hitachi Kokusai Electric Inc | 侵入物体検出装置の大きさ設定方法及び侵入物体検出方法及び侵入物体検出装置。 |
JP2013115566A (ja) * | 2011-11-28 | 2013-06-10 | Canon Inc | 撮像装置、撮像装置の制御方法及びプログラム |
JP2017091063A (ja) * | 2015-11-05 | 2017-05-25 | キヤノン株式会社 | 物体検知装置、情報処理装置およびその方法 |
JP2021146404A (ja) * | 2020-03-16 | 2021-09-27 | 株式会社東芝 | 制御装置及びプログラム |
WO2021241189A1 (ja) * | 2020-05-25 | 2021-12-02 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2021241360A1 (ja) * | 2020-05-29 | 2021-12-02 | ソニーセミコンダクタソリューションズ株式会社 | 検出装置、検出システム及び検出方法 |
WO2022123929A1 (ja) * | 2020-12-10 | 2022-06-16 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024052001A (ja) | 2024-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7352260B2 (ja) | 自動物体検出機構を備えたロボットシステム、および、その動作方法 | |
US20180066934A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
JP5567908B2 (ja) | 3次元計測装置、その計測方法及びプログラム | |
US7507948B2 (en) | Method of detecting object using structured light and robot using the same | |
JP2020121405A (ja) | 高度化したスキャンメカニズムを有するロボットシステム | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
JP4004899B2 (ja) | 物品の位置姿勢検出装置及び物品取出し装置 | |
US20130230235A1 (en) | Information processing apparatus and information processing method | |
US11667036B2 (en) | Workpiece picking device and workpiece picking method | |
JP7377627B2 (ja) | 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム | |
US20120263347A1 (en) | Three-dimensional scanner and robot system | |
JP6317618B2 (ja) | 情報処理装置およびその方法、計測装置、並びに、作業装置 | |
CN113284179A (zh) | 一种基于深度学习的机器人多物体分拣方法 | |
WO2024070751A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6040264B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP2006021300A (ja) | 推定装置および把持装置 | |
JP2014053018A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2015132523A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びプログラム | |
JP7034971B2 (ja) | 作動システム、制御装置、およびプログラム | |
WO2024070925A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20240003675A1 (en) | Measurement system, measurement device, measurement method, and measurement program | |
US11193755B2 (en) | Measurement system, measurement device, measurement method, and measurement program | |
KR101820241B1 (ko) | 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법 | |
WO2024070979A1 (ja) | 画像処理装置、画像処理方法、プログラム及び撮像装置 | |
JP2024001876A (ja) | 物体を操作するロボット、特に物体を受容するロボットを制御するための方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23871983 Country of ref document: EP Kind code of ref document: A1 |