WO2019187216A1 - 物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体 - Google Patents
物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2019187216A1 WO2019187216A1 PCT/JP2018/034115 JP2018034115W WO2019187216A1 WO 2019187216 A1 WO2019187216 A1 WO 2019187216A1 JP 2018034115 W JP2018034115 W JP 2018034115W WO 2019187216 A1 WO2019187216 A1 WO 2019187216A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- interest
- space
- reflection point
- point data
- cluster
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 230000007717 exclusion Effects 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 239000007787 solid Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000010354 integration Effects 0.000 description 5
- 101000777370 Homo sapiens Coiled-coil domain-containing protein 6 Proteins 0.000 description 3
- 102000044579 human CCDC6 Human genes 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Definitions
- the present disclosure relates to an object identification device, an object identification method, and a control program.
- Patent Document 1 An object recognition device that recognizes an object using a range-finding point group acquired by a laser radar has been proposed (for example, Patent Document 1).
- an object identification device that identifies an object in a captured image based on a feature amount has been proposed (for example, Patent Document 2).
- Patent Document 2 an object identification device that identifies an object in a captured image based on a feature amount.
- the object identification accuracy may be lowered.
- JP 2017-166846 A Japanese Unexamined Patent Publication No. 2014-211984
- the present inventor sets ROI (Region Of Interest) using the reflection point data acquired by using the laser radar, so that even when the three-dimensional object existing in the irradiation direction range of the laser radar has an occlusion.
- ROI Region Of Interest
- the present inventors have found that the object identification accuracy for identifying an object in a captured image based on the feature amount can be improved.
- An object of the present disclosure is to provide an object identification device, an object identification method, and a control program that can improve object identification accuracy.
- the object identification device irradiates irradiation light from the irradiation point toward the irradiation direction sequentially changed in the irradiation direction range, and the light irradiated toward each irradiation direction is reflected at the reflection point of the object. Obtained by receiving the reflected light, and each reflection point data unit corresponds to each reflection point corresponding to each irradiation direction, and each irradiation direction and the distance between each reflection point and the irradiation point.
- a reflection point group information acquisition unit that acquires a plurality of reflection point data units including a reflection point position coordinate including a first data unit group, and each reflection point data unit in the first data unit group.
- the second data unit group which includes a plurality of reflection point data units whose corresponding reflection points belong to a three-dimensional object
- a plurality of projection points A data conversion processing unit for converting to a third data unit group including a data unit, a clustering processing unit for clustering the plurality of projection point data units into a plurality of clusters based on positions on the horizontal plane, and the clustering
- a space-of-interest setting unit that sets a space of interest in the world coordinate system for each cluster using a plurality of reflection point data units corresponding to a plurality of projection point data units included in each cluster.
- the irradiation light is irradiated from the irradiation point toward the irradiation direction sequentially changed in the irradiation direction range, and the light irradiated toward each irradiation direction is reflected at the reflection point of the object.
- the reflection point data unit receives each reflected light, and each reflection point data unit corresponds to each reflection point corresponding to each irradiation direction and includes each irradiation direction and the distance between each reflection point and the irradiation point.
- a plurality of reflection point data units including coordinates are acquired as a first data unit group, and a reflection point corresponding to each reflection point data unit in the first data unit group belongs to a three-dimensional object.
- a third data unit group including a plurality of projection point data units is obtained. And converting the plurality of projection point data units into a plurality of clusters based on the positions in the horizontal plane, and a plurality of reflections corresponding to the plurality of projection point data units included in each clustered cluster.
- a point of interest in the world coordinate system is set for each cluster using a point data unit.
- the control program irradiates the irradiation light from the irradiation point toward the irradiation direction sequentially changed in the irradiation direction range, and the light irradiated toward each irradiation direction is reflected at the reflection point of the object. Reflected light is received, and each reflection point data unit corresponds to each reflection point corresponding to each irradiation direction, and includes reflection point position coordinates including each irradiation direction and the distance between each reflection point and the irradiation point.
- a plurality of reflection point data units including a plurality of reflection point data units are obtained as a first data unit group, and a reflection point corresponding to each reflection point data unit in the first data unit group belongs to a three-dimensional object.
- a third data unit group including a plurality of projection point data units is obtained.
- the plurality of projection point data units are clustered into a plurality of clusters based on the positions in the horizontal plane, and a plurality of projection point data units corresponding to the plurality of projection point data units included in each clustered cluster are converted into a plurality of projection point data units.
- the object identification device is caused to execute a process of setting a space of interest in the world coordinate system for each cluster.
- an object identification device an object identification method, and a control program that can improve object identification accuracy.
- FIG. 1 is a block diagram illustrating an example of an object identification device according to the first embodiment.
- the object identification device 10 includes a reflection point group information acquisition unit 11, a data conversion processing unit 12, a clustering processing unit 13, a space of interest setting unit 14, and an occlusion determination unit 15.
- the reflection point group information acquisition unit 11 may be referred to as an acquisition unit 11
- the occlusion determination unit 15 may be referred to as a determination unit 15.
- the acquisition unit 11 acquires “a plurality of reflection point data units” as a “first data unit group”.
- the “plurality of reflection point data units” of the “first data unit group” is obtained by a laser radar (not shown) (for example, LiDAR: Light Detection and Ranging). That is, in the “first data unit group”, the laser radar emits the irradiation light from the irradiation point toward the irradiation direction sequentially changed in the “irradiation direction range”, and the light irradiated toward each irradiation direction is It is obtained by receiving the reflected light reflected at the reflection point of the object.
- a laser radar not shown
- LiDAR Light Detection and Ranging
- a plurality of irradiation directions in which irradiation light is irradiated in the irradiation direction range by the laser radar are different from each other in at least one of the horizontal direction and the vertical direction.
- Each reflection point data unit of the “first data unit group” corresponds to each reflection point corresponding to each irradiation direction and includes each irradiation direction and the distance between each reflection point and the irradiation point. Point position coordinates ".
- the data conversion processing unit 12 includes a “second data unit group” including a plurality of reflection point data units in which the reflection points corresponding to the reflection point data units belong to the three-dimensional object in the “first data unit group”. Is projected onto the “horizontal plane in the world coordinate system”. Thereby, the data conversion processing unit 12 converts the “second data unit group” into the “third data unit group” including the “plurality of projection point data units”.
- the “horizontal plane in the world coordinate system” is simply referred to as “horizontal plane”.
- the “second data unit group” is obtained by excluding the reflection point data units whose reflection points belong to the road surface from the “first data unit group”.
- the clustering processing unit 13 clusters the “plurality of projection point data units” of the “third data unit group” into a plurality of clusters based on the positions in the “horizontal plane”. For this clustering process, for example, x-means clustering is used.
- the space-of-interest setting unit 14 uses a plurality of reflection point data units corresponding to a plurality of projection point data units included in each cluster clustered by the clustering processing unit 13, and performs “interest in the world coordinate system for each cluster.
- the “interest space” is a three-dimensional (3D) ROI (Region Of Interest).
- the determination unit 15 determines whether the three-dimensional object corresponding to each cluster has occlusion based on the positional relationship in the horizontal plane of the plurality of interest spaces set for each of the plurality of clusters by the interest space setting unit 14. Determine whether or not.
- the object identification device 10 sets the space of interest (three-dimensional ROI) using the reflection point data acquired by using the laser radar, so that the three-dimensional object existing in the irradiation direction range of the laser radar. Even if occlusion occurs, the space of interest corresponding to the three-dimensional object can be set with high accuracy. As a result, the object identification device 10 can improve the object identification accuracy for identifying an object in the captured image based on the feature amount.
- the object identification device 10 is described as having the determination unit 15, but this effect can be obtained even when the object identification device 10 does not have the determination unit 15.
- the second embodiment relates to improvement of clustering processing.
- the basic configuration of the object identification device of the second embodiment is the same as that of the object identification device 10 of the first embodiment, and will be described with reference to FIG.
- BIC Bayesian Information Criterion
- the condition for terminating the division process is corrected to “overdivide” into smaller clusters. Thereby, even if one pedestrian is made into a plurality of clusters, it can be avoided that two different pedestrians or pedestrians and non-pedestrians are clustered into one cluster. . Then, in a plurality of interest spaces set in a plurality of clusters, two interest spaces satisfying the integration condition are integrated to integrate a plurality of interest spaces set in a plurality of clusters related to one pedestrian. be able to.
- Bayes information standard (BIC) can be expressed by the following formula (1), for example.
- BIC -2log (L) + klog (n) (1)
- L represents a likelihood function
- n represents the number of data.
- the clustering processing unit 13 performs the clustering process using the following “end condition for which the division process is corrected”.
- This “corrected end condition” is obtained from “correction criteria” in which the number of projection point data units included in each cluster is equal to or less than a predetermined number, and the Bayes information criterion before division is multiplied by “predetermined coefficient”. Is also a condition that the Bayes information criterion after division is small.
- the “predetermined coefficient” is a value greater than zero and less than one. That is, the clustering processing unit 13 repeats the division until the “modified end condition” is satisfied, thereby forming a plurality of clusters.
- the space-of-interest setting unit 14 sets a plurality of spaces of interest for the plurality of clusters formed by the clustering processing unit 13 as in the first embodiment.
- the space-of-interest setting unit 14 of the second embodiment integrates two regions of interest that overlap each other in the “horizontal plane” among the plurality of spaces of interest set in the plurality of clusters formed by the clustering processing unit 13. Is further set. At this time, the length of the overlap may be used as the integration condition.
- the interest space setting unit 14 creates histograms in directions along two axes of the “horizontal plane” of each interest space set at that time before proceeding to the integration processing of the interest spaces.
- the space of interest may be reset using the coordinates that become the coincidence threshold (B% of the number of points in the cluster) from the peak. Then, the space-of-interest setting unit 14 may further set a space of interest obtained by integrating two regions of interest that overlap each other in the “horizontal plane” among the plurality of reset spaces of interest.
- the third embodiment relates to a more specific embodiment.
- FIG. 2 is a block diagram illustrating an example of the object identification device according to the third embodiment.
- the object identification device 20 in addition to the acquisition unit (reflection point group information acquisition unit) 11, the data conversion processing unit 12, and the clustering processing unit 13, the object identification device 20 includes a space of interest setting unit 21 and a determination unit (occlusion determination unit). 22, an image acquisition unit 23, a region of interest setting unit 24, and a discriminator 25.
- the image acquisition unit 23 acquires captured image data captured by an imaging unit (not shown).
- FIG. 3 is a diagram illustrating an example of a captured image.
- the captured image includes images of four people H1, H2, H3, and H4.
- a part of the human H4 is hidden behind the human H1. That is, the human H4 has occlusion.
- each reflection point data unit of the third embodiment further includes the received light intensity of the reflected light corresponding to each reflection point.
- the data conversion processing unit 12 includes a plurality of reflection point data units in which a reflection point corresponding to each reflection point data unit in the “first data unit group” belongs to a three-dimensional object. “Group” is projected onto the “horizontal plane in the world coordinate system”. Thereby, the data conversion processing unit 12 converts the “second data unit group” into the “third data unit group” including the “plurality of projection point data units”.
- FIG. 4 shows a “projection image” on a horizontal plane using the “third data unit group” obtained in the situation shown in the captured image of FIG.
- the projected image there are clusters (point groups) corresponding to the humans H1, H2, H3, and H4.
- FIG. 4 is a diagram for explaining the projected image.
- FIG. 5 is a diagram for explaining an excessively divided cluster. As shown in FIG. 5, the projection point corresponding to the human H1 is divided into two clusters C11 and C12. Further, the projection point corresponding to the human H2 is divided into two clusters C21 and C22, and the projection point corresponding to the human H4 is divided into two clusters C41 and C42.
- the space-of-interest setting unit 21 sets a space of interest for each of the plurality of clusters formed by the clustering processing unit 13, as with the space-of-interest setting unit 14 of the second embodiment.
- the space-of-interest setting unit 21 further combines a space of interest obtained by integrating two regions of interest that overlap each other in the “horizontal plane” among the plurality of spaces of interest set in the plurality of clusters formed by the clustering processing unit 13. Set.
- the space of interest set in the cluster C11 shown in FIG. 5 and the space of interest set in the cluster C12 overlap in a horizontal plane.
- the space-of-interest setting unit 21 sets the space of interest set in the cluster C11 and the space of interest set in the cluster C12.
- the integrated space of interest is further set.
- the cluster C1 obtained by integrating the cluster C11 and the cluster C12 is also set as one cluster.
- the space-of-interest setting unit 21 further sets a space of interest obtained by integrating the space of interest set in the cluster C21 and the space of interest set in the cluster C22.
- the cluster C2 obtained by integrating the cluster C21 and the cluster C22 is also set as one cluster.
- the space-of-interest setting unit 21 further sets a space of interest obtained by integrating the space of interest set in the cluster C41 and the space of interest set in the cluster C42.
- a cluster C4 obtained by integrating the cluster C41 and the cluster C42 is also set as one cluster.
- FIG. 6 is a diagram for explaining the integration of the space of interest.
- the space-of-interest setting unit 21 is different from the type of the identification target object among the plurality of clusters based on the received light intensity of the reflection point data unit included in each target space of interest among the plurality of set spaces of interest. Identify the “cluster to be excluded”.
- the identification target object is a human
- the light reception intensity characteristic of the reflected light reflected by the three-dimensional object other than the human is different from the light reception intensity characteristic of the reflected light reflected by the human.
- an “exclusion target cluster” different from the type of the identification target object can be specified.
- the space-of-interest setting unit 21 identifies “exclusion target clusters” in which the width, height, and depth of the space of interest do not satisfy the “shape criterion of the identification target object” among the plurality of set interest spaces.
- the identification target object is a human
- the shape of the space of interest set in the cluster corresponding to the human satisfies a predetermined shape criterion. For this reason, it is possible to specify an “exclusion target cluster” different from the type of the identification target object by using the human shape criterion.
- the space of interest setting unit 21 sets an “exclusion target cluster” in which the size of the region of interest obtained by projecting the space of interest onto the vertical plane of the world coordinate system among the plurality of set spaces of interest does not satisfy the size criterion of the identification target object. Is specified.
- the identification target object is a human
- the size of the space of interest set in the cluster corresponding to the human satisfies a predetermined size criterion.
- an “exclusion target cluster” different from the type of the identification target object can be specified.
- the vertical plane of the world coordinate system may be simply referred to as a vertical plane.
- the vertical plane is, for example, a plane that is not parallel to the extension line of the optical axis of the imaging unit (not shown), and is a plane that is orthogonal to the extension line of the optical axis of the imaging unit (not shown), for example. is there.
- the space-of-interest setting unit 21 removes the space of interest set in the specified exclusion target cluster.
- the determination unit 22 is based on the positional relationship in the horizontal plane of the plurality of interest spaces set for the plurality of clusters by the interest space setting unit 21. The presence or absence of occlusion of the three-dimensional object corresponding to each cluster is determined.
- the plurality of interest spaces set for each of the plurality of clusters by the interest space setting unit 21 are a plurality of interest spaces that remain without being removed by the interest space setting unit 21.
- the determination unit 22 projects, on the vertical plane, the first space of interest and the second space of interest that constitute the pair among all the space pairs of interest in the plurality of spaces of interest set by the space-of-interest setting unit 21. Occasionally, a space-of-interest pair in which the first space of interest and the second space of interest overlap is specified. And the determination part 22 determines with the solid object corresponding to the cluster corresponding to the space of interest far from an irradiation point among the 1st space of interest and 2nd space of interest of the specified space-of-interest pair having occlusion. .
- the space of interest set in the cluster C1 and the space of interest set in the cluster C4 shown in FIG. 6 overlap each other when projected onto the vertical plane. And the cluster C4 exists in the position far from an irradiation point rather than the cluster C1. For this reason, the determination unit 22 determines that the three-dimensional object corresponding to the cluster C4 has occlusion.
- the region-of-interest setting unit 24 corresponds to the region of interest set in the space-of-interest setting unit 21 (that is, the region of interest that remains without being removed) for the captured image acquired by the image acquisition unit 23. "Is set.
- the “region of interest” is a two-dimensional (2D) ROI (Region Of Interest).
- the discriminator 25 identifies a three-dimensional object corresponding to the region of interest using the feature amount of the region of interest set by the region of interest setting unit 24.
- the classifier 25 uses the feature amount of the region obtained by removing the occlusion region from the region of interest.
- a solid object corresponding to the region of interest is identified.
- the feature amount for example, an HOG feature amount (Histograms of Oriented Gradients) is used.
- the classifier 25 is, for example, a cascade type AdaBoost classifier.
- FIG. 7 is a flowchart illustrating an example of a processing operation of the object identification device according to the third embodiment.
- the acquisition unit 11 acquires “a plurality of reflection point data units” as a “first data unit group” (step S101).
- the image acquisition unit 23 acquires a captured image captured by an imaging unit (not shown) (step S102).
- the data conversion processing unit 12 converts a second data unit group including a plurality of reflection point data units in which reflection points corresponding to each reflection point data unit among the first data unit group belong to a solid object into world coordinates. Projection is performed on a horizontal plane in the system (step S103). Thereby, the data conversion processing unit 12 converts the “second data unit group” into the “third data unit group” including the “plurality of projection point data units”.
- the clustering processing unit 13 repeats the division until the “modified end condition” is satisfied, thereby forming a plurality of clusters (step S104).
- the space-of-interest setting unit 21 sets a space of interest for each of the plurality of clusters formed by the clustering processing unit 13 (step S105).
- the space-of-interest setting unit 21 further combines a space of interest obtained by integrating two regions of interest that overlap each other in the “horizontal plane” among the plurality of spaces of interest set in the plurality of clusters formed by the clustering processing unit 13. Setting is performed (step S105).
- the interested space setting unit 21 identifies an “exclusion target cluster” that is different from the type of the identification target object among the plurality of clusters (step S106).
- the space-of-interest setting unit 21 removes the space of interest set in the specified exclusion target cluster (step S107).
- the determination unit 22 determines whether the three-dimensional object corresponding to each cluster has occlusion based on the positional relationship in the horizontal plane of the plurality of spaces of interest set for each of the plurality of clusters by the space of interest setting unit 21. It is determined whether or not (step S108).
- the region-of-interest setting unit 24 sets “region of interest” corresponding to the space of interest set by the space-of-interest setting unit 21 for the captured image acquired by the image acquisition unit 23 (step S109).
- the discriminator 25 identifies a three-dimensional object corresponding to the region of interest using the feature amount of the region of interest set by the region of interest setting unit 24 (step S110).
- the determination unit 22 in the object identification device 20 configures a pair among all the interest space pairs in the plurality of interest spaces set by the interest space setting unit 21.
- the determination part 22 determines with the solid object corresponding to the cluster corresponding to the space of interest far from an irradiation point among the 1st space of interest and 2nd space of interest of the specified space-of-interest pair having occlusion. .
- the object identification device 20 With this configuration of the object identification device 20, it is possible to determine the presence or absence of occlusion in the three-dimensional object corresponding to the cluster corresponding to the space of interest based on the positional relationship of the space of interest. It can be carried out. As a result, in the object identification device 20, it is possible to improve the object identification accuracy for identifying an object in the captured image based on the feature amount.
- FIG. 8 is a diagram illustrating a hardware configuration example of the object identification device.
- the object identification device 100 includes a processor 101 and a memory 102.
- the units 15 and 22, the image acquisition unit 23, the region-of-interest setting unit 24, and the discriminator 25 may be realized by the processor 101 reading and executing a program stored in the memory 102.
- the program can be stored using various types of non-transitory computer readable media and supplied to the object identification devices 10 and 20.
- the program may be supplied to the object identification devices 10 and 20 by various types of temporary computer readable media.
- each reflection point data unit includes a plurality of reflection point position coordinates corresponding to each reflection point corresponding to each irradiation direction and including each irradiation direction and the distance between each reflection point and the irradiation point.
- a reflection point group information acquisition unit for acquiring the reflection point data unit as a first data unit group;
- a second data unit group including a plurality of reflection point data units in which reflection points corresponding to each reflection point data unit in the first data unit group belong to a three-dimensional object is projected onto a horizontal plane in the world coordinate system
- a data conversion processing unit that converts the data into a third data unit group including a plurality of projection point data units;
- a clustering processing unit for clustering the plurality of projection point data units into a plurality of clusters based on positions on the horizontal plane;
- a space of interest setting unit that sets a space of interest in the world coordinate system for each cluster using a plurality of reflection point data units corresponding to a plurality of projection point data units included in each clustered cluster;
- An object identification device comprising:
- the clustering processing unit has a correction criterion in which the number of projection point data units included in each cluster is equal to or less than a predetermined number, and a Bayes information criterion before division is multiplied by a predetermined coefficient greater than zero and less than 1. The division is repeated until the Bayesian information criterion after division becomes smaller, and the conditions are satisfied, thereby forming the plurality of clusters.
- the space-of-interest setting unit sets a plurality of the spaces of interest for the plurality of formed clusters, and in the horizontal plane among the plurality of spaces of interest respectively set for the plurality of formed clusters. Set up a space of interest that integrates two spaces of interest that overlap each other.
- the object identification device according to attachment 1.
- a three-dimensional object corresponding to a cluster corresponding to a space of interest far from the irradiation point in the first space of interest and the second space of interest of the identified space-of-interest pair has occlusion. It is determined that The object identification device according to attachment 3.
- Each reflection point data unit further includes the received light intensity of the reflected light corresponding to each reflection point
- the space-of-interest setting unit determines the type of the identification target object among the plurality of clusters clustered based on the received light intensity of the reflection point data unit included in each target space of interest among the plurality of spaces of interest set.
- the space-of-interest setting unit specifies an exclusion target cluster in which the width, height, and depth of the space of interest do not satisfy the shape criterion of the identification target object among the plurality of set interest spaces, and the specified exclusion target Remove the space of interest set in the cluster,
- the object identification device according to any one of appendices 1 to 5.
- the space-of-interest setting unit identifies an exclusion target cluster in which the size of the region of interest obtained by projecting the space of interest onto the vertical plane of the world coordinate system does not satisfy the size criterion of the identification target object among the plurality of set interest spaces And removing the space of interest set in the identified exclusion target cluster,
- the object identification device according to any one of appendices 1 to 6.
- the point data unit includes a plurality of reflection point data units corresponding to each reflection point corresponding to each irradiation direction and including reflection point position coordinates including each irradiation direction and a distance between each reflection point and the irradiation point.
- the number of projection point data units included in each cluster is equal to or less than a predetermined number, and after the division based on the correction standard obtained by multiplying the Bayes information standard before the division by a predetermined coefficient greater than zero and less than 1. Until the condition is satisfied, the division is repeated to form the plurality of clusters, In the setting of the space of interest, a plurality of the spaces of interest are set for the plurality of formed clusters, and among the plurality of spaces of interest set for the plurality of formed clusters, in the horizontal plane Set up a space of interest that integrates two spaces of interest that overlap each other.
- Each reflection point data unit further includes the received light intensity of the reflected light corresponding to each reflection point,
- the type of the identification target object among the plurality of clusters clustered based on the received light intensity of the reflection point data unit included in each target space of interest among the plurality of set interest spaces A different exclusion target cluster and removing the space of interest set in the specified exclusion target cluster, The object identification method according to any one of appendices 9 to 12.
- an exclusion target cluster in which the size of the region of interest obtained by projecting the space of interest onto the vertical plane of the world coordinate system does not satisfy the size criterion of the identification target object among the plurality of set interest spaces is specified. And removing the space of interest set in the identified exclusion target cluster, 15.
- the object identification method according to any one of appendices 9 to 14.
- Irradiation light is irradiated from the irradiation point toward the irradiation direction changed sequentially in the irradiation direction range, and the light irradiated toward each irradiation direction receives the reflected light reflected at the reflection point of the object, and each reflection
- the point data unit includes a plurality of reflection point data units corresponding to each reflection point corresponding to each irradiation direction and including reflection point position coordinates including each irradiation direction and a distance between each reflection point and the irradiation point.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
物体識別精度を向上する、物体識別装置、物体識別方法、及び制御プログラムを提供する。データ変換処理部(12)は、第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2グループを、ワールド座標系の水平平面に投影して、複数の投影点データユニットを含む第3グループに変換する。クラスタリング処理部(13)は、第3グループの複数の投影点データユニットを、水平平面における位置に基づき、複数のクラスタにクラスタリングする。関心空間設定部(14)は、各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して関心空間を設定する。
Description
本開示は、物体識別装置、物体識別方法、及び制御プログラムに関する。
レーザレーダによって取得された測距点群を用いて物体を認識する物体認識装置が提案されている(例えば、特許文献1)。
また、特徴量に基づいて撮像画像において物体を識別する物体識別装置が提案されている(例えば、特許文献2)。しかしながら、撮像画像内に撮像されている物体がオクルージョンを有している場合、物体識別精度が低下してしまう可能性がある。
本発明者は、レーザレーダを用いて取得した反射点データを用いてROI(Region Of Interest)を設定することにより、レーザレーダの照射方向範囲内に存在する立体物にオクルージョンが生じている場合でも、特徴量に基づいて撮像画像において物体を識別する物体識別精度を向上することができることを見出した。
本開示の目的は、物体識別精度を向上することができる、物体識別装置、物体識別方法、及び制御プログラムを提供することにある。
第1の態様にかかる物体識別装置は、照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光することによって得られ、且つ、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得する反射点群情報取得部と、前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換するデータ変換処理部と、前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングする、クラスタリング処理部と、前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する関心空間設定部と、を具備する。
第2の態様にかかる物体識別方法は、照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光して、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得し、前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換し、前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングし、前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する。
第3の態様にかかる制御プログラムは、照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光して、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得し、前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換し、前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングし、前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する、処理を、物体識別装置に実行させる。
本開示により、物体識別精度を向上することができる、物体識別装置、物体識別方法、及び制御プログラムを提供することができる。
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
<第1実施形態>
図1は、第1実施形態の物体識別装置の一例を示すブロック図である。図1において物体識別装置10は、反射点群情報取得部11と、データ変換処理部12と、クラスタリング処理部13と、関心空間設定部14と、オクルージョン判定部15とを有している。以下では、反射点群情報取得部11を、取得部11と呼び、オクルージョン判定部15を、判定部15と呼ぶことがある。
図1は、第1実施形態の物体識別装置の一例を示すブロック図である。図1において物体識別装置10は、反射点群情報取得部11と、データ変換処理部12と、クラスタリング処理部13と、関心空間設定部14と、オクルージョン判定部15とを有している。以下では、反射点群情報取得部11を、取得部11と呼び、オクルージョン判定部15を、判定部15と呼ぶことがある。
取得部11は、「複数の反射点データユニット」を、「第1のデータユニットグループ」として取得する。この「第1のデータユニットグループ」の「複数の反射点データユニット」は、不図示のレーザレーダ(例えば、LiDAR:Light Detection and Ranging)によって得られる。すなわち、「第1のデータユニットグループ」は、レーザレーダが「照射方向範囲」において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光することによって得られる。例えば、レーザレーダによって照射方向範囲において照射光が照射される複数の照射方向は、互いに水平方向及び垂直方向のうちの少なくとも一方が異なる。そして、「第1のデータユニットグループ」の各反射点データユニットは、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と照射点との距離を含む「反射点位置座標」を含む。
データ変換処理部12は、「第1のデータユニットグループ」のうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、「第2のデータユニットグループ」を、「ワールド座標系における水平平面」に投影する。これにより、データ変換処理部12は、「第2のデータユニットグループ」を、「複数の投影点データユニット」を含む「第3のデータユニットグループ」に変換する。以下では、「ワールド座標系における水平平面」を、単に「水平平面」と呼ぶ。ここで、反射点が路面に属する反射点データユニットは、従来の方法によって容易に除去ることができる。「第1のデータユニットグループ」から反射点が路面に属する反射点データユニットを除くことで、「第2のデータユニットグループ」が得られる。
クラスタリング処理部13は、「第3のデータユニットグループ」の「複数の投影点データユニット」を、「水平平面」における位置に基づいて、複数のクラスタにクラスタリングする。このクラスタリング処理には、例えば、x-meansクラスタリングが用いられる。
関心空間設定部14は、クラスタリング処理部13によってクラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対してワールド座標系における「関心空間」を設定する。「関心空間」は、3次元(3D)のROI(Region Of Interest)である。
判定部15は、関心空間設定部14によって複数のクラスタのそれぞれに対して設定された複数の関心空間の水平平面における位置関係に基づいて、各クラスタに対応する立体物がオクルージョンを有しているか否かを判定する。
以上のように、物体識別装置10において、レーザレーダを用いて取得した反射点データを用いて関心空間(3次元のROI)を設定することにより、レーザレーダの照射方向範囲内に存在する立体物にオクルージョンが生じている場合でも、立体物に対応する関心空間を精度良く設定することができる。この結果として、物体識別装置10において、特徴量に基づいて撮像画像において物体を識別する物体識別精度を向上することができる。なお、以上の説明では、物体識別装置10が判定部15を有しているものとして説明しているが、この効果は、物体識別装置10が判定部15を有していない場合でも得られる。
<第2実施形態>
第2実施形態は、クラスタリング処理の改良に関する。第2実施形態の物体識別装置の基本構成は、第1実施形態の物体識別装置10と同じなので、図1を参照して説明する。
第2実施形態は、クラスタリング処理の改良に関する。第2実施形態の物体識別装置の基本構成は、第1実施形態の物体識別装置10と同じなので、図1を参照して説明する。
一般的なx-meansクラスタリングでは、分割後のベイズ情報基準(BIC:Bayesian Information Criterion)が分割前のBICよりも小さいという分割終了条件が満たされるまで、各クラスタに対して分割処理(k-means(k=2))を繰り返す。この一般的なx-meansクラスタリングは、モデルとして円状クラスタを採用している。一方で、歩行者を「識別対象物体」とする場合、鳥瞰画像において歩行者は必ずしも円状とはならない。このため、一般的なx-meansクラスタリングを用いた場合には、本来別のクラスタにクラスタリングされるべき、異なる2人の歩行者又は歩行者と非歩行者とが、1つのクラスタにクラスタリングされてしまう可能性がある。
そこで、第2実施形態では、分割処理の終了条件を修正して、より小さなクラスタに「過分割」する。これにより、1人の歩行者を複数のクラスタにすることがあっても、異なる2人の歩行者又は歩行者と非歩行者とが1つのクラスタにクラスタリングされてしまうことを回避することができる。そして、複数のクラスタに設定された複数の関心空間において、統合条件を満たす2つの関心空間を統合することにより、1人の歩行者に関わる複数のクラスタに設定された複数の関心空間を統合することができる。
ここで、ベイズ情報基準(BIC)は、例えば、次の式(1)で表すことができる。
BIC=-2log(L)+klog(n) ・・・(1)
Lは、尤度関数を表し、nは、データ数を表す。
BIC=-2log(L)+klog(n) ・・・(1)
Lは、尤度関数を表し、nは、データ数を表す。
第2実施形態の物体識別装置10にてクラスタリング処理部13は、次の「分割処理の修正された終了条件」を用いて、クラスタリング処理を実行する。この「修正された終了条件」は、各クラスタに含まれる投影点データユニットの数が所定数以下となり、且つ、分割前のベイズ情報基準に対して「所定係数」を乗算した「修正基準」よりも分割後のベイズ情報基準が小さくなる、という条件である。「所定係数」は、ゼロより大きく且つ1未満の値である。すなわち、クラスタリング処理部13は、この「修正された終了条件」を満たすまで、分割を繰り返して、複数のクラスタを形成する。
第2実施形態の物体識別装置10にて関心空間設定部14は、第1実施形態と同様に、クラスタリング処理部13で形成された複数のクラスタに対して複数の関心空間を設定する。第2実施形態の関心空間設定部14は、クラスタリング処理部13で形成された複数のクラスタに設定された複数の関心空間のうちで「水平平面」において互いに重なる2つの関心空間を統合した関心空間を更に設定する。なおこのとき、重なりの長さを統合の条件としてもよい。
なお、関心空間設定部14は、関心空間の統合処理に移る前に、その時点で設定している各関心空間の「水平平面」の2つの軸のそれぞれに沿った方向のヒストグラムを作成して、ピークから一致閾値(クラスタ内の点の数のB%)になる座標を用いて、関心空間を再設定してもよい。そして、関心空間設定部14は、再設定した複数の関心空間のうちで「水平平面」において互いに重なる2つの関心空間を統合した関心空間を更に設定してもよい。
<第3実施形態>
第3実施形態は、より具体的な実施形態に関する。
第3実施形態は、より具体的な実施形態に関する。
<物体識別装置の構成例>
図2は、第3実施形態の物体識別装置の一例を示すブロック図である。図2において物体識別装置20は、取得部(反射点群情報取得部)11、データ変換処理部12、及びクラスタリング処理部13に加えて、関心空間設定部21と、判定部(オクルージョン判定部)22と、画像取得部23と、関心領域設定部24と、識別器25とを有している。
図2は、第3実施形態の物体識別装置の一例を示すブロック図である。図2において物体識別装置20は、取得部(反射点群情報取得部)11、データ変換処理部12、及びクラスタリング処理部13に加えて、関心空間設定部21と、判定部(オクルージョン判定部)22と、画像取得部23と、関心領域設定部24と、識別器25とを有している。
画像取得部23は、撮像部(図示せず)によって撮像された撮像画像のデータを取得する。図3は、撮像画像の一例を示す図である。図3において撮像画像には、人間H1,H2,H3,H4の4人の画像が含まれている。そして、人間H4の一部は、人間H1の陰にかくれている。すなわち、人間H4は、オクルージョンを有している。
また、取得部11では、図3の撮像画像に示されるような状況における、「複数の反射点データユニット」が、「第1のデータユニットグループ」として取得される。ここで、第3実施形態の各反射点データユニットは、各反射点に対応する反射光の受光強度をさらに含んでいる。
そして、データ変換処理部12は、「第1のデータユニットグループ」のうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、「第2のデータユニットグループ」を、「ワールド座標系における水平平面」に投影する。これにより、データ変換処理部12は、「第2のデータユニットグループ」を、「複数の投影点データユニット」を含む「第3のデータユニットグループ」に変換する。
図4には、図3の撮像画像に示されるような状況で得られた、「第3のデータユニットグループ」を用いた、水平平面における「投影画像」が示されている。この投影画像には、人間H1,H2,H3,H4のそれぞれに対応する塊(点群)が存在している。図4は、投影画像の説明に供する図である。
クラスタリング処理部13は、第2実施形態と同様に、「修正された終了条件」を満たすまで、分割を繰り返して、複数のクラスタを形成する。図5は、過分割されたクラスタの説明に供する図である。図5に示すように、人間H1に対応する投影点は、2つのクラスタC11,C12に分割されている。また、人間H2に対応する投影点は、2つのクラスタC21,C22に分割され、人間H4に対応する投影点は、2つのクラスタC41,C42に分割されている。
関心空間設定部21は、第2実施形態の関心空間設定部14と同様に、クラスタリング処理部13で形成された複数のクラスタのそれぞれに対して関心空間を設定する。そして、関心空間設定部21は、クラスタリング処理部13で形成された複数のクラスタにそれぞれ設定された複数の関心空間のうちで「水平平面」において互いに重なる2つの関心空間を統合した関心空間を更に設定する。
ここで、図5に示したクラスタC11に設定された関心空間とクラスタC12に設定された関心空間とは、水平平面において重なる。このため、関心空間設定部21は、クラスタC11に設定された関心空間及びクラスタC12に設定された関心空間に加えて、クラスタC11に設定された関心空間とクラスタC12に設定された関心空間とを統合した関心空間を更に設定する。これにより、図6に示すように、クラスタC11とクラスタC12とを統合したクラスタC1も、1つのクラスタとして設定される。同様に、関心空間設定部21は、クラスタC21に設定された関心空間とクラスタC22に設定された関心空間とを統合した関心空間をさらに設定する。これにより、図6に示すように、クラスタC21とクラスタC22とを統合したクラスタC2も、1つのクラスタとして設定される。同様に、関心空間設定部21は、クラスタC41に設定された関心空間とクラスタC42に設定された関心空間とを統合した関心空間をさらに設定する。これにより、図6に示すように、クラスタC41とクラスタC42とを統合したクラスタC4も、1つのクラスタとして設定される。図6は、関心空間の統合の説明に供する図である。
そして、関心空間設定部21は、設定した複数の関心空間のうちの各対象関心空間に含まれる反射点データユニットの受光強度に基づいて、複数のクラスタのうちで識別対象物体の種別と異なる「除外対象クラスタ」を特定する。ここで、識別対象物体が人間であるので、人間以外の立体物で反射された反射光の受光強度特性は、人間で反射された反射光の受光強度特性と異なる。この受光強度特性の違いを利用することによって、識別対象物体の種別と異なる「除外対象クラスタ」を特定することができる。
また、関心空間設定部21は、設定した複数の関心空間のうちで関心空間の幅、高さ、及び奥行きが「識別対象物体の形状基準」を満たさない「除外対象クラスタ」を特定する。ここで、識別対象物体が人間である場合、人間に対応するクラスタに設定された関心空間の形状は、所定の形状基準を満たすことになる。このため、人間の形状基準を用いることによって、識別対象物体の種別と異なる「除外対象クラスタ」を特定することができる。
また、関心空間設定部21は、設定した複数の関心空間のうちで関心空間をワールド座標系の鉛直平面に投影した関心領域の大きさが識別対象物体の大きさ基準を満たさない「除外対象クラスタ」を特定する。ここで、識別対象物体が人間である場合、人間に対応するクラスタに設定された関心空間の大きさは、所定の大きさ基準を満たすことになる。このため、人間の大きさ基準を用いることによって、識別対象物体の種別と異なる「除外対象クラスタ」を特定することができる。以下では、ワールド座標系の鉛直平面を、単に鉛直平面と呼ぶことがある。なお、この鉛直平面は、例えば、撮像部(図示せず)の光軸の延長線と非平行の平面であり、例えば、撮像部(図示せず)の光軸の延長線と直交する平面である。
そして、関心空間設定部21は、特定された除外対象クラスタに設定した関心空間を除去する。
判定部22は、第1実施形態及び第2実施形態の判定部15と同様に、関心空間設定部21によって複数のクラスタに対して設定された複数の関心空間の水平平面における位置関係に基づいて、各クラスタに対応する立体物のオクルージョンの有無を判定する。この関心空間設定部21によって複数のクラスタのそれぞれに対して設定された複数の関心空間は、関心空間設定部21によって除去されずに残った、複数の関心空間である。
例えば、判定部22は、関心空間設定部21にて設定された複数の関心空間における全ての関心空間ペアのうちで、ペアを構成する第1関心空間及び第2関心空間を鉛直平面に投影したときに第1関心空間と第2関心空間とが互いに重なる関心空間ペアを特定する。そして、判定部22は、特定した関心空間ペアの第1関心空間及び第2関心空間のうちで照射点から遠い関心空間に対応するクラスタに対応する立体物がオクルージョンを有していると判定する。例えば、図6に示したクラスタC1に設定された関心空間とクラスタC4に設定された関心空間とは、鉛直平面に投影したときに互いに重なる。そして、クラスタC1よりもクラスタC4の方が照射点から遠い位置に存在する。このため、判定部22は、クラスタC4に対応する立体物がオクルージョンを有していると判定することになる。
関心領域設定部24は、画像取得部23で取得された撮像画像に対して、関心空間設定部21で設定された関心空間(つまり、除去されずに残った関心空間)に対応する「関心領域」を設定する。「関心領域」は、2次元(2D)のROI(Region Of Interest)である。
識別器25は、関心領域設定部24によって設定された関心領域の特徴量を用いて、該関心領域に対応する立体物を識別する。特に、識別器25は、関心領域に対応する立体物が判定部22によってオクルージョンを有していると判定されている場合、該関心領域からオクルージョン領域を除いた領域の特徴量を用いて、該関心領域に対応する立体物を識別する。ここで、特徴量としては、例えば、HOG特徴量(Histograms of Oriented Gradients)が用いられる。また、識別器25は、例えば、カスケード型のAdaBoost識別器である。
<物体識別装置の動作例>
以上の構成を有する第3実施形態の物体識別装置の処理動作の一例について説明する。図7は、第3実施形態の物体識別装置の処理動作の一例を示すフローチャートである。
以上の構成を有する第3実施形態の物体識別装置の処理動作の一例について説明する。図7は、第3実施形態の物体識別装置の処理動作の一例を示すフローチャートである。
取得部11は、「複数の反射点データユニット」を、「第1のデータユニットグループ」として取得する(ステップS101)。画像取得部23は、撮像部(図示せず)によって撮像された撮像画像を取得する(ステップS102)。
データ変換処理部12は、第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影する(ステップS103)。これにより、データ変換処理部12は、「第2のデータユニットグループ」を、「複数の投影点データユニット」を含む「第3のデータユニットグループ」に変換する。
クラスタリング処理部13は、「修正された終了条件」を満たすまで、分割を繰り返して、複数のクラスタを形成する(ステップS104)。
関心空間設定部21は、クラスタリング処理部13で形成された複数のクラスタのそれぞれに対して関心空間を設定する(ステップS105)。そして、関心空間設定部21は、クラスタリング処理部13で形成された複数のクラスタにそれぞれ設定された複数の関心空間のうちで「水平平面」において互いに重なる2つの関心空間を統合した関心空間を更に設定する(ステップS105)。
関心空間設定部21は、複数のクラスタのうちで識別対象物体の種別と異なる「除外対象クラスタ」を特定する(ステップS106)。
関心空間設定部21は、特定された除外対象クラスタに設定した関心空間を除去する(ステップS107)。
判定部22は、関心空間設定部21によって複数のクラスタのそれぞれに対して設定された複数の関心空間の水平平面における位置関係に基づいて、各クラスタに対応する立体物がオクルージョンを有しているか否かを判定する(ステップS108)。
関心領域設定部24は、画像取得部23で取得された撮像画像に対して、関心空間設定部21で設定された関心空間に対応する「関心領域」を設定する(ステップS109)。
識別器25は、関心領域設定部24によって設定された関心領域の特徴量を用いて、該関心領域に対応する立体物を識別する(ステップS110)。
以上のように第3実施形態によれば、物体識別装置20にて判定部22は、関心空間設定部21にて設定された複数の関心空間における全ての関心空間ペアのうちで、ペアを構成する第1関心空間及び第2関心空間を鉛直平面に投影したときに第1関心空間と第2関心空間とが互いに重なる関心空間ペアを特定する。そして、判定部22は、特定した関心空間ペアの第1関心空間及び第2関心空間のうちで照射点から遠い関心空間に対応するクラスタに対応する立体物がオクルージョンを有していると判定する。
この物体識別装置20の構成により、関心空間の位置関係に基づいて、関心空間に対応するクラスタに対応する立体物におけるオクルージョンの有無を判定することができるので、シンプルに且つ精度良くオクルージョンの判定を行うことができる。この結果として、物体識別装置20において、特徴量に基づいて撮像画像において物体を識別する物体識別精度を向上することができる。
<他の実施形態>
図8は、物体識別装置のハードウェア構成例を示す図である。図8において物体識別装置100は、プロセッサ101と、メモリ102とを有している。第1実施形態から第3実施形態の物体識別装置10,20の反射点群情報取得部11と、データ変換処理部12と、クラスタリング処理部13と、関心空間設定部14,21と、オクルージョン判定部15,22と、画像取得部23と、関心領域設定部24と、識別器25とは、プロセッサ101がメモリ102に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、物体識別装置10,20に供給することができる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によって物体識別装置10,20に供給されてもよい。
図8は、物体識別装置のハードウェア構成例を示す図である。図8において物体識別装置100は、プロセッサ101と、メモリ102とを有している。第1実施形態から第3実施形態の物体識別装置10,20の反射点群情報取得部11と、データ変換処理部12と、クラスタリング処理部13と、関心空間設定部14,21と、オクルージョン判定部15,22と、画像取得部23と、関心領域設定部24と、識別器25とは、プロセッサ101がメモリ102に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、物体識別装置10,20に供給することができる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によって物体識別装置10,20に供給されてもよい。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光することによって得られ、且つ、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得する反射点群情報取得部と、
前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換するデータ変換処理部と、
前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングする、クラスタリング処理部と、
前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する関心空間設定部と、
を具備する物体識別装置。
照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光することによって得られ、且つ、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得する反射点群情報取得部と、
前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換するデータ変換処理部と、
前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングする、クラスタリング処理部と、
前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する関心空間設定部と、
を具備する物体識別装置。
(付記2)
前記クラスタリング処理部は、各クラスタに含まれる投影点データユニットの数が所定数以下となり、且つ、分割前のベイズ情報基準に対してゼロより大きく且つ1未満の所定係数を乗算した修正基準よりも分割後のベイズ情報基準が小さくなる、条件を満たすまで、分割を繰り返して、前記複数のクラスタを形成し、
前記関心空間設定部は、前記形成された複数のクラスタに対して複数の前記関心空間を設定すると共に、前記形成された複数のクラスタにそれぞれ設定された複数の関心空間のうちで前記水平平面において互いに重なる2つの関心空間を統合した関心空間をさらに設定する、
付記1記載の物体識別装置。
前記クラスタリング処理部は、各クラスタに含まれる投影点データユニットの数が所定数以下となり、且つ、分割前のベイズ情報基準に対してゼロより大きく且つ1未満の所定係数を乗算した修正基準よりも分割後のベイズ情報基準が小さくなる、条件を満たすまで、分割を繰り返して、前記複数のクラスタを形成し、
前記関心空間設定部は、前記形成された複数のクラスタに対して複数の前記関心空間を設定すると共に、前記形成された複数のクラスタにそれぞれ設定された複数の関心空間のうちで前記水平平面において互いに重なる2つの関心空間を統合した関心空間をさらに設定する、
付記1記載の物体識別装置。
(付記3)
前記設定された複数の関心空間における全ての関心空間ペアのうちで、ペアを構成する第1関心空間及び第2関心空間をワールド座標系における鉛直平面に投影し、前記第1関心空間と前記第2関心空間とが互いに重なる関心空間ペアを特定したときに、オクルージョンが生じていると判定するオクルージョン判定部をさらに具備する、
付記1又は2に記載の物体識別装置。
前記設定された複数の関心空間における全ての関心空間ペアのうちで、ペアを構成する第1関心空間及び第2関心空間をワールド座標系における鉛直平面に投影し、前記第1関心空間と前記第2関心空間とが互いに重なる関心空間ペアを特定したときに、オクルージョンが生じていると判定するオクルージョン判定部をさらに具備する、
付記1又は2に記載の物体識別装置。
(付記4)
前記オクルージョン判定部は、前記特定された関心空間ペアの前記第1関心空間及び前記第2関心空間のうちで前記照射点から遠い関心空間に対応するクラスタに対応する立体物がオクルージョンを有していると判定する、
付記3記載の物体識別装置。
前記オクルージョン判定部は、前記特定された関心空間ペアの前記第1関心空間及び前記第2関心空間のうちで前記照射点から遠い関心空間に対応するクラスタに対応する立体物がオクルージョンを有していると判定する、
付記3記載の物体識別装置。
(付記5)
各反射点データユニットは、各反射点に対応する反射光の受光強度をさらに含み、
前記関心空間設定部は、前記設定した複数の関心空間のうちの各対象関心空間に含まれる反射点データユニットの受光強度に基づいて、前記クラスタリングされた複数のクラスタのうちで識別対象物体の種別と異なる除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記1から4のいずれか1項に記載の物体識別装置。
各反射点データユニットは、各反射点に対応する反射光の受光強度をさらに含み、
前記関心空間設定部は、前記設定した複数の関心空間のうちの各対象関心空間に含まれる反射点データユニットの受光強度に基づいて、前記クラスタリングされた複数のクラスタのうちで識別対象物体の種別と異なる除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記1から4のいずれか1項に記載の物体識別装置。
(付記6)
前記関心空間設定部は、前記設定した複数の関心空間のうちで関心空間の幅、高さ、及び奥行きが識別対象物体の形状基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記1から5のいずれか1項に記載の物体識別装置。
前記関心空間設定部は、前記設定した複数の関心空間のうちで関心空間の幅、高さ、及び奥行きが識別対象物体の形状基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記1から5のいずれか1項に記載の物体識別装置。
(付記7)
前記関心空間設定部は、前記設定した複数の関心空間のうちで関心空間をワールド座標系の鉛直平面に投影した関心領域の大きさが識別対象物体の大きさ基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記1から6のいずれか1項に記載の物体識別装置。
前記関心空間設定部は、前記設定した複数の関心空間のうちで関心空間をワールド座標系の鉛直平面に投影した関心領域の大きさが識別対象物体の大きさ基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記1から6のいずれか1項に記載の物体識別装置。
(付記8)
撮像部によって撮像された撮像画像に対して、前記関心空間設定部によって設定された関心空間に対応する関心領域を設定する関心領域設定部と、
前記オクルージョン判定部によってオクルージョンが生じていると判定されている場合、前記オクルージョンが生じていると判定された関心空間ペアに対応して設定された関心領域からオクルージョン領域を除いた領域の特徴量を用いて、前記設定された関心領域に対応する立体物を識別する識別器と、
を具備する付記3又は4に記載の物体識別装置。
撮像部によって撮像された撮像画像に対して、前記関心空間設定部によって設定された関心空間に対応する関心領域を設定する関心領域設定部と、
前記オクルージョン判定部によってオクルージョンが生じていると判定されている場合、前記オクルージョンが生じていると判定された関心空間ペアに対応して設定された関心領域からオクルージョン領域を除いた領域の特徴量を用いて、前記設定された関心領域に対応する立体物を識別する識別器と、
を具備する付記3又は4に記載の物体識別装置。
(付記9)
照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光して、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得し、
前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換し、
前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングし、
前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する、
物体識別方法。
照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光して、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得し、
前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換し、
前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングし、
前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する、
物体識別方法。
(付記10)
前記クラスタリングでは、各クラスタに含まれる投影点データユニットの数が所定数以下となり、且つ、分割前のベイズ情報基準に対してゼロより大きく且つ1未満の所定係数を乗算した修正基準よりも分割後のベイズ情報基準が小さくなる、条件を満たすまで、分割を繰り返して、前記複数のクラスタを形成し、
前記関心空間の設定では、前記形成された複数のクラスタに対して複数の前記関心空間を設定すると共に、前記形成された複数のクラスタにそれぞれ設定された複数の関心空間のうちで前記水平平面において互いに重なる2つの関心空間を統合した関心空間をさらに設定する、
付記9記載の物体識別方法。
前記クラスタリングでは、各クラスタに含まれる投影点データユニットの数が所定数以下となり、且つ、分割前のベイズ情報基準に対してゼロより大きく且つ1未満の所定係数を乗算した修正基準よりも分割後のベイズ情報基準が小さくなる、条件を満たすまで、分割を繰り返して、前記複数のクラスタを形成し、
前記関心空間の設定では、前記形成された複数のクラスタに対して複数の前記関心空間を設定すると共に、前記形成された複数のクラスタにそれぞれ設定された複数の関心空間のうちで前記水平平面において互いに重なる2つの関心空間を統合した関心空間をさらに設定する、
付記9記載の物体識別方法。
(付記11)
前記設定された複数の関心空間における全ての関心空間ペアのうちで、ペアを構成する第1関心空間及び第2関心空間をワールド座標系における鉛直平面に投影し、前記第1関心空間と前記第2関心空間とが互いに重なる関心空間ペアを特定したときに、オクルージョンが生じていると判定する、
付記9又は10に記載の物体識別方法。
前記設定された複数の関心空間における全ての関心空間ペアのうちで、ペアを構成する第1関心空間及び第2関心空間をワールド座標系における鉛直平面に投影し、前記第1関心空間と前記第2関心空間とが互いに重なる関心空間ペアを特定したときに、オクルージョンが生じていると判定する、
付記9又は10に記載の物体識別方法。
(付記12)
前記オクルージョンの判定では、前記特定された関心空間ペアの前記第1関心空間及び前記第2関心空間のうちで前記照射点から遠い関心空間に対応するクラスタに対応する立体物がオクルージョンを有していると判定する、
付記11記載の物体識別方法。
前記オクルージョンの判定では、前記特定された関心空間ペアの前記第1関心空間及び前記第2関心空間のうちで前記照射点から遠い関心空間に対応するクラスタに対応する立体物がオクルージョンを有していると判定する、
付記11記載の物体識別方法。
(付記13)
各反射点データユニットは、各反射点に対応する反射光の受光強度をさらに含み、
前記関心空間の設定では、前記設定した複数の関心空間のうちの各対象関心空間に含まれる反射点データユニットの受光強度に基づいて、前記クラスタリングされた複数のクラスタのうちで識別対象物体の種別と異なる除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記9から12のいずれか1項に記載の物体識別方法。
各反射点データユニットは、各反射点に対応する反射光の受光強度をさらに含み、
前記関心空間の設定では、前記設定した複数の関心空間のうちの各対象関心空間に含まれる反射点データユニットの受光強度に基づいて、前記クラスタリングされた複数のクラスタのうちで識別対象物体の種別と異なる除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記9から12のいずれか1項に記載の物体識別方法。
(付記14)
前記関心空間の設定では、前記設定した複数の関心空間のうちで関心空間の幅、高さ、及び奥行きが識別対象物体の形状基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記9から13のいずれか1項に記載の物体識別方法。
前記関心空間の設定では、前記設定した複数の関心空間のうちで関心空間の幅、高さ、及び奥行きが識別対象物体の形状基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記9から13のいずれか1項に記載の物体識別方法。
(付記15)
前記関心空間の設定では、前記設定した複数の関心空間のうちで関心空間をワールド座標系の鉛直平面に投影した関心領域の大きさが識別対象物体の大きさ基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記9から14のいずれか1項に記載の物体識別方法。
前記関心空間の設定では、前記設定した複数の関心空間のうちで関心空間をワールド座標系の鉛直平面に投影した関心領域の大きさが識別対象物体の大きさ基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
付記9から14のいずれか1項に記載の物体識別方法。
(付記16)
撮像部によって撮像された撮像画像に対して、前記設定された関心空間に対応する関心領域を設定し、
前記オクルージョンが生じていると判定されている場合、前記オクルージョンが生じていると判定された関心空間ペアに対応して設定された関心領域からオクルージョン領域を除いた領域の特徴量を用いて、前記設定された関心領域に対応する立体物を識別する、
付記11又は12に記載の物体識別方法。
撮像部によって撮像された撮像画像に対して、前記設定された関心空間に対応する関心領域を設定し、
前記オクルージョンが生じていると判定されている場合、前記オクルージョンが生じていると判定された関心空間ペアに対応して設定された関心領域からオクルージョン領域を除いた領域の特徴量を用いて、前記設定された関心領域に対応する立体物を識別する、
付記11又は12に記載の物体識別方法。
(付記17)
照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光して、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得し、
前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換し、
前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングし、
前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する、
処理を、物体識別装置に実行させる制御プログラム。
照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光して、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得し、
前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換し、
前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングし、
前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する、
処理を、物体識別装置に実行させる制御プログラム。
この出願は、2018年3月30日に出願された日本出願特願2018-069753を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10,20 物体識別装置
11 反射点群情報取得部
12 データ変換処理部
13 クラスタリング処理部
14,21 関心空間設定部
15,22 オクルージョン判定部
23 画像取得部
24 関心領域設定部
25 識別器
11 反射点群情報取得部
12 データ変換処理部
13 クラスタリング処理部
14,21 関心空間設定部
15,22 オクルージョン判定部
23 画像取得部
24 関心領域設定部
25 識別器
Claims (17)
- 照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光することによって得られ、且つ、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得する反射点群情報取得手段と、
前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換するデータ変換処理手段と、
前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングする、クラスタリング処理手段と、
前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する関心空間設定手段と、
を具備する物体識別装置。 - 前記クラスタリング処理手段は、各クラスタに含まれる投影点データユニットの数が所定数以下となり、且つ、分割前のベイズ情報基準に対してゼロより大きく且つ1未満の所定係数を乗算した修正基準よりも分割後のベイズ情報基準が小さくなる、条件を満たすまで、分割を繰り返して、前記複数のクラスタを形成し、
前記関心空間設定手段は、前記形成された複数のクラスタに対して複数の前記関心空間を設定すると共に、前記形成された複数のクラスタにそれぞれ設定された複数の関心空間のうちで前記水平平面において互いに重なる2つの関心空間を統合した関心空間をさらに設定する、
請求項1記載の物体識別装置。 - 前記設定された複数の関心空間における全ての関心空間ペアのうちで、ペアを構成する第1関心空間及び第2関心空間をワールド座標系における鉛直平面に投影し、前記第1関心空間と前記第2関心空間とが互いに重なる関心空間ペアを特定したときに、オクルージョンが生じていると判定するオクルージョン判定手段をさらに具備する、
請求項1又は2に記載の物体識別装置。 - 前記オクルージョン判定手段は、前記特定された関心空間ペアの前記第1関心空間及び前記第2関心空間のうちで前記照射点から遠い関心空間に対応するクラスタに対応する立体物がオクルージョンを有していると判定する、
請求項3記載の物体識別装置。 - 各反射点データユニットは、各反射点に対応する反射光の受光強度をさらに含み、
前記関心空間設定手段は、前記設定した複数の関心空間のうちの各対象関心空間に含まれる反射点データユニットの受光強度に基づいて、前記クラスタリングされた複数のクラスタのうちで識別対象物体の種別と異なる除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
請求項1から4のいずれか1項に記載の物体識別装置。 - 前記関心空間設定手段は、前記設定した複数の関心空間のうちで関心空間の幅、高さ、及び奥行きが識別対象物体の形状基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
請求項1から5のいずれか1項に記載の物体識別装置。 - 前記関心空間設定手段は、前記設定した複数の関心空間のうちで関心空間をワールド座標系の鉛直平面に投影した関心領域の大きさが識別対象物体の大きさ基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
請求項1から6のいずれか1項に記載の物体識別装置。 - 撮像手段によって撮像された撮像画像に対して、前記関心空間設定手段によって設定された関心空間に対応する関心領域を設定する関心領域設定手段と、
前記オクルージョン判定手段によってオクルージョンが生じていると判定されている場合、前記オクルージョンが生じていると判定された関心空間ペアに対応して設定された関心領域からオクルージョン領域を除いた領域の特徴量を用いて、前記設定された関心領域に対応する立体物を識別する識別器と、
を具備する請求項3又は4に記載の物体識別装置。 - 照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光して、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得し、
前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換し、
前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングし、
前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する、
物体識別方法。 - 前記クラスタリングでは、各クラスタに含まれる投影点データユニットの数が所定数以下となり、且つ、分割前のベイズ情報基準に対してゼロより大きく且つ1未満の所定係数を乗算した修正基準よりも分割後のベイズ情報基準が小さくなる、条件を満たすまで、分割を繰り返して、前記複数のクラスタを形成し、
前記関心空間の設定では、前記形成された複数のクラスタに対して複数の前記関心空間を設定すると共に、前記形成された複数のクラスタにそれぞれ設定された複数の関心空間のうちで前記水平平面において互いに重なる2つの関心空間を統合した関心空間をさらに設定する、
請求項9記載の物体識別方法。 - 前記設定された複数の関心空間における全ての関心空間ペアのうちで、ペアを構成する第1関心空間及び第2関心空間をワールド座標系における鉛直平面に投影し、前記第1関心空間と前記第2関心空間とが互いに重なる関心空間ペアを特定したときに、オクルージョンが生じていると判定する、
請求項9又は10に記載の物体識別方法。 - 前記オクルージョンの判定では、前記特定された関心空間ペアの前記第1関心空間及び前記第2関心空間のうちで前記照射点から遠い関心空間に対応するクラスタに対応する立体物がオクルージョンを有していると判定する、
請求項11記載の物体識別方法。 - 各反射点データユニットは、各反射点に対応する反射光の受光強度をさらに含み、
前記関心空間の設定では、前記設定した複数の関心空間のうちの各対象関心空間に含まれる反射点データユニットの受光強度に基づいて、前記クラスタリングされた複数のクラスタのうちで識別対象物体の種別と異なる除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
請求項9から12のいずれか1項に記載の物体識別方法。 - 前記関心空間の設定では、前記設定した複数の関心空間のうちで関心空間の幅、高さ、及び奥行きが識別対象物体の形状基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
請求項9から13のいずれか1項に記載の物体識別方法。 - 前記関心空間の設定では、前記設定した複数の関心空間のうちで関心空間をワールド座標系の鉛直平面に投影した関心領域の大きさが識別対象物体の大きさ基準を満たさない除外対象クラスタを特定し、前記特定された除外対象クラスタに設定した関心空間を除去する、
請求項9から14のいずれか1項に記載の物体識別方法。 - 撮像手段によって撮像された撮像画像に対して、前記設定された関心空間に対応する関心領域を設定し、
前記オクルージョンが生じていると判定されている場合、前記オクルージョンが生じていると判定された関心空間ペアに対応して設定された関心領域からオクルージョン領域を除いた領域の特徴量を用いて、前記設定された関心領域に対応する立体物を識別する、
請求項11又は12に記載の物体識別方法。 - 照射方向範囲において順次変えた照射方向に向けて照射点から照射光を照射して、各照射方向に向けて照射された光が物体の反射点で反射された反射光を受光して、各反射点データユニットが、各照射方向に対応する各反射点に対応し、且つ、各照射方向及び各反射点と前記照射点との距離を含む反射点位置座標を含む、複数の反射点データユニットを、第1のデータユニットグループとして取得し、
前記第1のデータユニットグループのうちで各反射点データユニットに対応する反射点が立体物に属する複数の反射点データユニットを含む、第2のデータユニットグループを、ワールド座標系における水平平面に投影することにより、複数の投影点データユニットを含む第3のデータユニットグループに変換し、
前記複数の投影点データユニットを、前記水平平面における位置に基づいて、複数のクラスタにクラスタリングし、
前記クラスタリングされた各クラスタに含まれる複数の投影点データユニットに対応する複数の反射点データユニットを用いて、各クラスタに対して前記ワールド座標系における関心空間を設定する、
処理を、物体識別装置に実行させる制御プログラムを格納する非一時的なコンピュータ可読媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880091781.6A CN111937037B (zh) | 2018-03-30 | 2018-09-14 | 物体识别装置、物体识别方法和非暂时性计算机可读介质 |
JP2020508956A JP7036464B2 (ja) | 2018-03-30 | 2018-09-14 | 物体識別装置、物体識別方法、及び制御プログラム |
US17/043,385 US11538260B2 (en) | 2018-03-30 | 2018-09-14 | Object identification apparatus, object identification method, and nontransitory computer readable medium storing control program |
EP18911544.7A EP3779880A4 (en) | 2018-03-30 | 2018-09-14 | OBJECT IDENTIFICATION DEVICE, OBJECT IDENTIFICATION METHOD AND NON-TEMPORARY COMPUTER-READABLE MEDIUM FOR STORING A CONTROL PROGRAM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018069753 | 2018-03-30 | ||
JP2018-069753 | 2018-03-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019187216A1 true WO2019187216A1 (ja) | 2019-10-03 |
Family
ID=68059864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/034115 WO2019187216A1 (ja) | 2018-03-30 | 2018-09-14 | 物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11538260B2 (ja) |
EP (1) | EP3779880A4 (ja) |
JP (1) | JP7036464B2 (ja) |
CN (1) | CN111937037B (ja) |
WO (1) | WO2019187216A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021166912A1 (ja) * | 2020-02-18 | 2021-08-26 | 株式会社デンソー | 物体検出装置 |
JP7501398B2 (ja) | 2020-02-18 | 2024-06-18 | 株式会社デンソー | 物体検出装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3654042B2 (ja) * | 1999-04-21 | 2005-06-02 | 松下電工株式会社 | 物体特定方法及び装置 |
JP2007288460A (ja) * | 2006-04-17 | 2007-11-01 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP2011185664A (ja) * | 2010-03-05 | 2011-09-22 | Panasonic Electric Works Co Ltd | 対象物検出装置 |
JP2014219847A (ja) | 2013-05-08 | 2014-11-20 | 株式会社デンソー | 物体識別装置 |
JP2015114261A (ja) * | 2013-12-13 | 2015-06-22 | 株式会社デンソーアイティーラボラトリ | 対象物検出装置、対象物検出方法およびプログラム |
JP2017027197A (ja) * | 2015-07-17 | 2017-02-02 | 富士通株式会社 | 監視プログラム、監視装置、及び監視方法 |
JP2017166846A (ja) | 2016-03-14 | 2017-09-21 | 株式会社デンソー | 物体認識装置 |
JP2018069753A (ja) | 2016-10-24 | 2018-05-10 | アイシン・エィ・ダブリュ株式会社 | 運転状況表示システムおよび運転状況表示プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007104171A (ja) * | 2005-10-03 | 2007-04-19 | Omron Corp | 前方監視装置 |
GB0616688D0 (en) | 2006-08-23 | 2006-10-04 | Qinetiq Ltd | Target orientation |
CN105866790B (zh) * | 2016-04-07 | 2018-08-10 | 重庆大学 | 一种考虑激光发射强度的激光雷达障碍物识别方法及*** |
CN106339669A (zh) * | 2016-08-16 | 2017-01-18 | 长春理工大学 | 多线点云数据机器学习的人形目标识别方法和防撞装置 |
-
2018
- 2018-09-14 JP JP2020508956A patent/JP7036464B2/ja active Active
- 2018-09-14 EP EP18911544.7A patent/EP3779880A4/en active Pending
- 2018-09-14 US US17/043,385 patent/US11538260B2/en active Active
- 2018-09-14 CN CN201880091781.6A patent/CN111937037B/zh active Active
- 2018-09-14 WO PCT/JP2018/034115 patent/WO2019187216A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3654042B2 (ja) * | 1999-04-21 | 2005-06-02 | 松下電工株式会社 | 物体特定方法及び装置 |
JP2007288460A (ja) * | 2006-04-17 | 2007-11-01 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP2011185664A (ja) * | 2010-03-05 | 2011-09-22 | Panasonic Electric Works Co Ltd | 対象物検出装置 |
JP2014219847A (ja) | 2013-05-08 | 2014-11-20 | 株式会社デンソー | 物体識別装置 |
JP2015114261A (ja) * | 2013-12-13 | 2015-06-22 | 株式会社デンソーアイティーラボラトリ | 対象物検出装置、対象物検出方法およびプログラム |
JP2017027197A (ja) * | 2015-07-17 | 2017-02-02 | 富士通株式会社 | 監視プログラム、監視装置、及び監視方法 |
JP2017166846A (ja) | 2016-03-14 | 2017-09-21 | 株式会社デンソー | 物体認識装置 |
JP2018069753A (ja) | 2016-10-24 | 2018-05-10 | アイシン・エィ・ダブリュ株式会社 | 運転状況表示システムおよび運転状況表示プログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3779880A4 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021166912A1 (ja) * | 2020-02-18 | 2021-08-26 | 株式会社デンソー | 物体検出装置 |
CN115176175A (zh) * | 2020-02-18 | 2022-10-11 | 株式会社电装 | 物体检测装置 |
JP7501398B2 (ja) | 2020-02-18 | 2024-06-18 | 株式会社デンソー | 物体検出装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111937037B (zh) | 2024-06-18 |
EP3779880A1 (en) | 2021-02-17 |
US20210019501A1 (en) | 2021-01-21 |
EP3779880A4 (en) | 2021-05-26 |
JP7036464B2 (ja) | 2022-03-15 |
CN111937037A (zh) | 2020-11-13 |
JPWO2019187216A1 (ja) | 2021-02-12 |
US11538260B2 (en) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7369921B2 (ja) | 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 | |
US11302022B2 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
US8917929B2 (en) | Image processing apparatus, method, program, and recording medium | |
EP2889641B1 (en) | Image processing apparatus, image processing method, program and image processing system | |
JP5145585B2 (ja) | 物標検出装置 | |
US10748014B2 (en) | Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium | |
EP3115966B1 (en) | Object detection device, object detection method, and computer program | |
KR102472004B1 (ko) | 복수의 센서간 캘리브레이션 방법 및 장치 | |
JP6435661B2 (ja) | 物体識別システム、情報処理装置、情報処理方法及びプログラム | |
US20180276835A1 (en) | Image processing apparatus, object recognition apparatus, equipment control system, image processing method, and computer-readable recording medium | |
JP2016152027A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2019530924A (ja) | カメラ画像からのオブジェクトの検出 | |
WO2019187216A1 (ja) | 物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体 | |
JP2023184572A (ja) | 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体 | |
JP2010256040A (ja) | 車両検出装置 | |
JP7226565B2 (ja) | 物体認識方法、及び、物体認識装置 | |
Nambi et al. | FarSight: a smartphone-based vehicle ranging system | |
Wang et al. | Fusion perception of vision and millimeter wave radar for autonomous driving | |
JP2013161434A (ja) | 車両の周辺監視装置 | |
JP7064400B2 (ja) | 物体検知装置 | |
JP2013161433A (ja) | 車両の周辺監視装置 | |
JP7379523B2 (ja) | 画像認識装置 | |
JP2004310282A (ja) | 車両検出装置 | |
US12045997B2 (en) | Distance estimation device and distance estimation method | |
US20220301208A1 (en) | Distance estimation device and distance estimation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18911544 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020508956 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2018911544 Country of ref document: EP |