WO2020179065A1 - 画像処理装置、画像処理方法及び記録媒体 - Google Patents

画像処理装置、画像処理方法及び記録媒体 Download PDF

Info

Publication number
WO2020179065A1
WO2020179065A1 PCT/JP2019/009169 JP2019009169W WO2020179065A1 WO 2020179065 A1 WO2020179065 A1 WO 2020179065A1 JP 2019009169 W JP2019009169 W JP 2019009169W WO 2020179065 A1 WO2020179065 A1 WO 2020179065A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
label
point cloud
data
image
Prior art date
Application number
PCT/JP2019/009169
Other languages
English (en)
French (fr)
Inventor
航介 吉見
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/009169 priority Critical patent/WO2020179065A1/ja
Priority to US17/435,496 priority patent/US20220139094A1/en
Priority to JP2021503375A priority patent/JP7205613B2/ja
Publication of WO2020179065A1 publication Critical patent/WO2020179065A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Definitions

  • the present invention relates to an image processing device, an image processing method, and a recording medium.
  • Non-Patent Document 1 and Non-Patent Document 2 describe techniques relating to labeling.
  • Patent Document 1 is a shape extraction device capable of extracting the shape of an object from the three-dimensional point cloud data at high speed even in the case of a huge amount of data. To disclose.
  • the technique according to Patent Document 1 sets a comprehensive voxel that includes all of a plurality of points for three-dimensional point cloud data. Further, the technique according to Patent Document 1 divides a comprehensive voxel into a plurality of virtual voxels having a size larger than the pitch of a plurality of points. Further, the technique according to Patent Document 1 sets a unique identification number for each of a plurality of virtual voxels.
  • labeling processing is performed in units of virtual voxels according to the presence or absence of points in virtual voxels to which identification numbers are assigned, and virtual voxels that are connected among a plurality of virtual voxels including points are connected. Give voxels the same label value.
  • An object of the present disclosure is to solve such a problem, and an image processing apparatus capable of easily generating label data used in an object recognition technique using three-dimensional point cloud data.
  • An image processing method and a recording medium are provided.
  • An image processing apparatus includes a three-dimensional point cloud acquisition unit that acquires three-dimensional point cloud data indicating a three-dimensional point cloud of an object, and two-dimensional label data that is label data corresponding to a two-dimensional image of the object. By associating the two-dimensional label data with the three-dimensional point cloud data, and converting the two-dimensional label data into three-dimensional point cloud label data indicating the label of the three-dimensional point cloud. It has a label conversion means for conversion.
  • three-dimensional point group data indicating a three-dimensional point group of an object is acquired, and two-dimensional label data which is label data corresponding to the two-dimensional image of the object is acquired.
  • the two-dimensional label data is associated with the three-dimensional point cloud data, and the two-dimensional label data is converted into three-dimensional point cloud label data indicating the label of the three-dimensional point cloud.
  • the program according to the present disclosure includes a step of acquiring three-dimensional point cloud data indicating a three-dimensional point cloud of an object, and a step of acquiring two-dimensional label data that is label data corresponding to a two-dimensional image of the object.
  • an image processing device an image processing method, and a recording medium capable of easily generating label data used in an object recognition technique using three-dimensional point cloud data.
  • FIG. 3 is a block diagram showing the configuration of the image processing system according to the first embodiment.
  • FIG. 3 is a functional block diagram schematically showing the configuration of the electronic control device according to the first embodiment.
  • FIG. 3 is a functional block diagram schematically showing a configuration of a label conversion unit according to the first exemplary embodiment.
  • FIG. 3 is a diagram for explaining a format of two-dimensional label data according to the first exemplary embodiment. It is a figure for demonstrating the acquisition method of 3D point cloud data and 2D label data which concerns on Embodiment 1.
  • FIG. It is a figure for demonstrating the clustering by the 3D point cloud division part which concerns on Embodiment 1.
  • FIG. 6 is a diagram for explaining a discrimination method used in the matching process performed by the label matching unit according to the first embodiment. It is a figure for demonstrating the discrimination method used in the collation processing performed by the label collation unit which concerns on Embodiment 1.
  • FIG. 6 is a diagram for explaining a discrimination method used in the matching process performed by the label matching unit according to the first embodiment.
  • 3 is a flowchart showing an image processing method executed by the electronic control device according to the first embodiment.
  • FIG. 6 is a flowchart showing the operation of the label conversion unit according to the first exemplary embodiment.
  • 5 is a functional block diagram schematically showing the configuration of an electronic control device according to a second embodiment.
  • FIG. 9 is a flowchart showing an image processing method executed by the electronic control device according to the second embodiment.
  • FIG. 1 is a diagram showing an outline of an image processing device 1 according to an embodiment of the present disclosure.
  • the image processing device 1 is, for example, a computer.
  • the image processing device 1 has a three-dimensional point cloud acquisition unit 2, a two-dimensional label acquisition unit 4, and a label conversion unit 6.
  • the three-dimensional point cloud acquisition unit 2 functions as a three-dimensional point cloud acquisition means.
  • the two-dimensional label acquisition unit 4 functions as a two-dimensional label acquisition unit.
  • the label conversion unit 6 functions as a label conversion unit.
  • the 3D point cloud acquisition unit 2 acquires 3D point cloud data indicating the 3D point cloud of the object.
  • the two-dimensional label acquisition unit 4 acquires two-dimensional label data corresponding to the two-dimensional image of the object.
  • the label conversion unit 6 associates the two-dimensional label data with the three-dimensional point cloud data and converts the two-dimensional label data into the three-dimensional point cloud label data indicating the label of the three-dimensional point cloud.
  • the label data For the purpose of detecting a recognition target class (for example, a person, a car, furniture, etc.) on an image, the label data usually corresponds to the position of the recognition target object (target object) on the image and the target class name.
  • the position of the target object can be represented by, for example, a vector representing a rectangle surrounding the target object. This vector is expressed, for example, in the pixels of the image as [upper left x coordinate, upper left y coordinate, rectangular width, rectangular height].
  • the target class name is expressed as, for example, "Car” or "Pedestrian".
  • a tool having a GUI (Graphical User Interface) operated by the user is used.
  • This GUI presents a visible image on the screen.
  • the user operates the mouse cursor or the like to select the upper left coordinates and the lower right coordinates of the rectangle surrounding the target object in the visible image to specify the rectangular area.
  • the user inputs label information such as a class name by text input or a selection button designated in advance.
  • the area of the object specified in the labeling operation is not the rectangle but the pixel unit. It is painted separately with.
  • the cost of specifying the image segmentation area is relatively high.
  • 3D LiDAR Light Detection And Ranging, Laser Imaging Detection and Ranging
  • 3D LiDAR is an example of a technique (or a measuring device using the same) for measuring a three-dimensional structure that has been widely used in topographical surveys and autonomous driving in recent years.
  • 3D LiDAR is a technology capable of accumulating distance data from a measuring point of a shielding object in a three-dimensional space in a high density and in a wide range as three-dimensional point cloud data, and its measurement, as compared with the conventional one-line scanner and the like. It is a device.
  • the three-dimensional point cloud data is data that reflects the structure of the real environment acquired by, for example, 3D LiDAR.
  • the three-dimensional point cloud data is a set of points (three-dimensional points) having three-dimensional coordinate information obtained by being reflected from a target object such as a person or an automobile, and structures such as the ground, buildings, and signs. It is data showing a dimension point cloud.
  • Non-Patent Document 1 there is a method of giving a pixel label to data as described in Non-Patent Document 1 regarding an example of a technique relating to labeling.
  • this method common label data is given to the visible camera image and the distance image.
  • a pair of a visible camera image and a distance image (Depth image) in which distance data associated with the visible camera image is stored in pixel units is created by using an RGB-D camera such as Kinect (registered trademark). get.
  • the target object area on the visible camera image is painted at the pixel level for each class classification, whereby common label data is given to the visible camera image and the distance image.
  • a three-dimensional point cloud which is a collection of three-dimensional coordinate data of points on an object captured by a sensor, is restored from an optical system, a geometrical relational expression of pixels on the image, and a distance image. Can be done. Therefore, it seems that the three-dimensional point cloud label can be generated from the image label of each pixel by using this method.
  • this method it is necessary to manually apply labels in pixel units using the object area on the image as a clue, and there is a problem that the work cost becomes extremely high.
  • Non-Patent Document 2 there is a method of assigning a three-dimensional box label to data.
  • a GUI that can add label information is proposed as an "annotation tool”.
  • the output of the RGB-D camera is used to simulate a multi-viewpoint (front, top-down, side, etc.) of a visible image and a color point cloud in which color information acquired from the visible image is added to the three-dimensional point cloud.
  • the viewpoint image Present the viewpoint image.
  • the user operates the mouse cursor on the four kinds of viewpoint images to designate a three-dimensional box area surrounding the object to be labeled and attach label information corresponding to the three-dimensional box area. ..
  • This method has an advantage that a three-dimensional area surrounding the target object can be accurately specified, but it requires fine adjustment of the position specification on the multi-viewpoint image from the mouse cursor, which causes a problem of inputting trouble.
  • the image processing apparatus 1 is configured as described above, so that the cost of labeling the three-dimensional point cloud can be reduced and the three-dimensional point cloud label can be more easily described. Can be generated.
  • the label assignment to the corresponding 3D point group is performed only from the 2D object label defined on the visible image. Is possible.
  • the labeling of the three-dimensional point group can be performed by performing the labeling more easily on the two-dimensional plane, so that the cost of manual work can be reduced.
  • a database in which the label data of the camera image and the corresponding three-dimensional point group are shared can be generated.
  • a two-dimensional rectangular label defined on a visible image plane is automatically given three-dimensional. It is possible to give a label to a point cloud. As a result, it becomes possible to easily generate the learning data necessary for developing a recognition technique such as object identification or detection using the three-dimensional point cloud data.
  • a recognition technique such as object identification or detection using the three-dimensional point cloud data.
  • the two-dimensional label defined on the visible image used as an input is not only given by hand, but also the error is manually corrected by using the output of the object detector that has already been learned by the existing learning data. It can also be semi-automated in the same way. Specifically, with the remarkable development of image recognition technology in recent years, abundantly prepared labeled data sets are already available for object detection on a two-dimensional image. Further, even with an existing deep learning classifier or the like, a two-dimensional label can be automatically generated because performance can be expected to some extent except for a special object.
  • the present disclosure has an advantage that the label data of the camera image and the label data of the three-dimensional point group are made common so as to be compatible with each other.
  • the image data is subjected to a process of projecting a labeled three-dimensional point cloud onto a two-dimensional image plane and filling a gap between the point clouds on the plane to which the same label is assigned. It is possible to generate segmentation label data. In this way, by sharing the label data between the two-dimensional image and the three-dimensional point group, it is possible to mutually convert and interpolate the label data.
  • a recognition task for detecting and identifying an object of a car or a pedestrian in an actual environment from observation data that is, for performing machine learning for the purpose of Object Detection and its evaluation. It is assumed that label data will be generated.
  • the application range of the present disclosure is not particularly limited thereto.
  • the method of acquiring the three-dimensional point cloud is not limited to LiDAR.
  • Another 3D distance sensor (RGB-D camera) may be used to acquire a 3D point cloud.
  • FIG. 2 is a block diagram showing the configuration of the image processing system 100 according to the first embodiment.
  • the image processing system 100 includes an electronic control device 10, an image output device 20, a point cloud output device 30, and a terminal device 40.
  • the image output device 20 is a device that outputs at least image information to the electronic control device 10.
  • the image output device 20 is, for example, a camera device.
  • the camera device is an imaging device that captures an image in real time, and continuously acquires images to be captured.
  • the image pickup apparatus may be, for example, a video camera or the like that outputs various digital images such as NTSC (National Television Standards Committee) format or PAL (Phase Alternating Line) format.
  • NTSC National Television Standards Committee
  • PAL Phase Alternating Line
  • the image output device 20 reads out image information stored in a storage medium, converts the image information into an image format readable by the electronic control device 10 such as NTSC format or PAL format, and outputs the image format. It may be an image capture device.
  • the image output device 20 in this case can be realized as a software program that operates inside the CPU of the electronic control device 10.
  • the point cloud output device 30 is a device that outputs at least three-dimensional point cloud data to the electronic control device 10.
  • the three-dimensional point cloud data is data including at least a set of points (three-dimensional point cloud) having coordinate information (x, y, z) in a three-dimensional space.
  • the three-dimensional point cloud data is usually acquired as data obtained by sampling points on the surface of an object (object and structure) in a three-dimensional space.
  • the point cloud output device 30 is, for example, 3D LiDAR. 3D LiDAR irradiates a laser in multiple directions in the horizontal and vertical angular directions, measures the distance of an object existing in the irradiation direction from the reflection time of each irradiation light, and obtains the surrounding three-dimensional structure from the measurement result. This is a measuring device that acquires three-dimensional point group data.
  • the point cloud output device 30 may be a playback device that outputs the three-dimensional point cloud data acquired by some means from a storage medium.
  • the point group output device 30 in this case can be realized as a software program that operates inside the CPU of the electronic control device 10.
  • the observation target in the visible image (image information) acquired by the image output device 20 corresponds to the observation target in the three-dimensional point cloud acquired by the point cloud output device 30. And. That is, unless otherwise specified, the data output by the image output device 20 and the data output by the point cloud output device 30 are acquired at the same time under the same environment and under known conditions. It shall be. Further, it is assumed that at least a part of the visible image and the three-dimensional point cloud can be associated with each other. That is, it is assumed that the visual field area of the image information and the three-dimensional point group include at least a part of each other in the corresponding real three-dimensional space.
  • the electronic control unit 10 is a computer that performs information processing (image processing) related to the present disclosure.
  • the electronic control device 10 corresponds to the image processing device 1 shown in FIG.
  • the electronic control device 10 executes processing based on a predetermined program in accordance with the information output from the image output device 20 and the point cloud output device 30. Details will be described later.
  • the terminal device 40 operates as a user interface for operating the electronic control device 10 and monitoring the internal state and output of the electronic control device 10.
  • the terminal device 40 is, for example, an output device or an input device.
  • the output device is, for example, a display.
  • the display presents, for example, an input image from the image output device 20, a converted image obtained by converting the input image, presents various image processing results using the converted image, or overlays label data on the input image. Present the image.
  • the input device inputs commands to the electronic control unit 10, such as start/end of the device, parameter specification, and display presentation information selection.
  • the input device is, for example, a switch board, a keyboard, a mouse, a touch panel, or the like. It is also possible to realize the image processing system 100 in a configuration that does not have the terminal device 40.
  • the electronic control device 10 may be connected to a device that uses the information acquired by the image processing system 100 as an input. Further, the function of the device connected to the electronic control device 10 may be realized as a software program that operates in the CPU inside the electronic control device 10. As an example of the connected device, an image processing device or a machine learning device that receives the three-dimensional point cloud label generated in this embodiment as an input can be considered.
  • the electronic control device 10 includes a central processing unit 11 (CPU), a storage device 12 (Mem), a storage device 13 (DB), and interfaces 14, 15 and 16. Although the storage device 12 (Mem) and the storage device 13 (DB) are separately configured in FIG. 2, they may be realized as one storage device.
  • the interface 14 is a device that mediates the exchange of information between the central processing unit 11, the storage device 12, the storage device 13, and the image output device 20. Although the interface 14 is directly connected to the image output device 20 and the central processing unit 11 in FIG. 2, it may be directly connected to the storage device 12 (Mem) and the storage device 13 (DB). This also applies to the other interfaces 15 and 16.
  • the interface 15 is a device that mediates the exchange of information between the central processing unit 11, the storage device 12, the storage device 13, and the point cloud output device 30.
  • the interface 16 is a device that mediates the exchange of information between the central processing unit 11, the storage device 12, the storage device 13, and the terminal device 40.
  • the interface 16 acts as an intermediary when outputting the result of information processing performed inside the electronic control unit 10 to the terminal device 40.
  • the interface 16 also acts as an intermediary when receiving a command input output from the terminal device 40 to the electronic control device 10.
  • the storage device 12 is a device that stores temporary data, and is electrically connected to the central processing unit 11.
  • the storage device 13 is a device that mainly stores a database (DB), and is electrically connected to the central processing unit 11.
  • DB database
  • the storage device 12 and the storage device 13 are built in the electronic control device 10 in FIG. 2, they may be storage devices external to the electronic control device 10.
  • the central processing unit 11 is a device that performs information processing, and is electrically connected to the interfaces 14, 15, 16 and the storage device 12 and the storage device 13.
  • the central processing unit 11 executes the program stored in the storage device 13. Accordingly, the central processing unit 11 appropriately sets the information stored in the storage device 12 and the storage device 13 based on the image information input via the interface 14 and various information input via the interfaces 15 and 16. Information processing by a predetermined procedure is performed while referring to it.
  • FIG. 3 is a functional block diagram schematically showing the configuration of the electronic control device 10 according to the first embodiment.
  • the electronic control unit 10 realizes each component shown in FIG. 3 by executing a software program in the central processing unit 11. Further, each component realized in the electronic control device 10 may be realized as an individual device, a functional unit, or an electronic circuit.
  • the electronic control device 10 includes a three-dimensional point cloud input unit 101, a two-dimensional label input unit 102, and a label conversion unit 103.
  • FIG. 4 is a functional block diagram schematically showing the configuration of the label conversion unit 103 according to the first embodiment. The operation of these functions will be described below.
  • the three-dimensional point cloud input unit 101 has a function of acquiring the three-dimensional point cloud data output from the point cloud output device 30 to the electronic control device 10.
  • the acquired 3D point cloud data is, for example, data that reflects the structure of the actual environment acquired by 3D LiDAR.
  • 3D point cloud data is a set of points (3D points) having 3D coordinate information reflected from an object such as a person or an automobile, or a structure such as the ground, a building, or a sign.
  • the two-dimensional label input unit 102 has a function of giving label information to the image data output from the image output device 20 to the electronic control device 10. Since the label data given here is given to the area defined by the two-dimensional plane coordinates of the image, it is hereinafter referred to as a two-dimensional label.
  • a two-dimensional label is composed of information including at least the position of a recognition target object on an image plane and a class label (or a unique ID label for each object) assigned to the object for an image of a certain frame. ..
  • the “class label” is a label indicating the type of the object, such as “Car”, “Van”, “Truck”, and “Pedestrian”.
  • the “(unique) ID label” is a label for individual identification, such as 1, 2, 3,..., Which is assigned to each of the objects of the entire frame.
  • the two-dimensional label may include both a class label and an ID label.
  • FIG. 5 is a diagram for explaining the format of the two-dimensional label data according to the first embodiment.
  • the two-dimensional label data includes a position label indicating the position of the object and a class label (and an ID label).
  • the position label includes, for example, the upper left coordinates (x, y) in the rectangular two-dimensional image surrounding the object, the width (w) and the height (h) of the rectangle.
  • the class label (ID label) indicates the class of the object corresponding to the position.
  • the two-dimensional label data is stored in a format such as text data in which a position label and a class label (and an ID label) are associated with each other and a list corresponding to the number of target objects is written for each frame image.
  • 2D labels are usually created manually for saved image data using an image labeling tool.
  • the two-dimensional label generation method can also be realized by automatically generating a two-dimensional label using the detection result of the existing image detection technology, and an error in the label generated by the image detection technology can be manually detected. It can also be achieved by modifying it.
  • the method of obtaining the two-dimensional label is not particularly limited. The main purpose of this embodiment is to generate a label associated with a three-dimensional point group from the given two-dimensional label.
  • FIG. 6 is a diagram for explaining a method of acquiring the three-dimensional point cloud data and the two-dimensional label data according to the first embodiment.
  • FIG. 6 is a schematic diagram of an imaging system for the three-dimensional point cloud input unit 101 and the two-dimensional label input unit 102 to acquire data.
  • the camera image Im two-dimensional image
  • the camera image output device 20 the 3D LiDAR (point cloud output device 30) is calibrated and fixed to each other.
  • the data of the set P of the three-dimensional point cloud is acquired.
  • a two-dimensional label is prepared by adding label data to the camera image.
  • the object Ob (“cylinder” and “rectangular parallelepiped”) is given a two-dimensional label including a position label and a class label by using a camera image.
  • the label conversion unit 103 has a function of adding label information corresponding to the 3D point group using the 2D label and the 3D point group provided from the 3D point group input unit 101 and the 2D label input unit 102, respectively. is there.
  • the label conversion unit 103 according to the first embodiment is characterized by converting a two-dimensional label into a three-dimensional point cloud label based on the following basic method.
  • the label conversion unit 103 has a three-dimensional point cloud division unit 1031, a cluster mapping projection unit 1032, and a label collation unit 1033.
  • the three-dimensional point group dividing unit 1031 divides the three-dimensional point group into small clusters that are a subset of the point group by performing clustering based on a certain rule.
  • the cluster map projection unit 1032 projects the small clusters on the same coordinate plane as the two-dimensional label.
  • the label collation unit 1033 collates (associates) the small cluster with the two-dimensional label.
  • the problem in associating a two-dimensional label with a point group in a three-dimensional space is that the dimension on the label side is smaller than the dimension on the side to be associated, that is, there is a degeneracy of the dimension. It is not uniquely determined.
  • the method according to the present embodiment can solve such a problem by separating the associated 3D point cloud into small clusters based on its own 3D information. In other words, based on the expectation that the generated point cloud that constitutes each small cluster originates from a single object, by dropping into the matching problem in small cluster units instead of point units, a unique correspondence with two-dimensional labels is achieved. Allows attachment.
  • FIG. 7 is a diagram for explaining clustering by the three-dimensional point cloud dividing unit 1031 according to the first embodiment.
  • the 3D point group dividing unit 1031 divides the 3D point group received from the 3D point group input unit 101 into a plurality of small clusters by clustering according to a predetermined criterion.
  • the small cluster is a subset C i divided from the set P of the three-dimensional points p k as in the following Expression 1.
  • N is the number of three-dimensional point clouds
  • M is the number of clusters. N and M are determined depending on the method of division (clustering) and data. Further, in the example of FIG. 7, the three-dimensional point cloud is divided into small clusters C 1 (white dots) and C 2 (black dots).
  • the three-dimensional point cloud dividing unit 1031 gives a different cluster ID for each small cluster to a point that is an element of the small cluster, so that the point cloud can be processed in units of small clusters. That is, the clustering described here, each of the three-dimensional point p k, it is synonymous with assigning the corresponding cluster label. In other words, in the following clustering has been performed, it can be referred to the same cluster ID (i) is for points that are classified into the elements of the small cluster C i. That is, the following Expression 2 is established.
  • a method of dividing into small clusters will be described.
  • An existing clustering method can be used for division into small clusters. For example, as shown in Equation 3 below, distance-based clustering can be used in which the points where the Euclidean distance between two points in the three-dimensional space is equal to or less than the threshold value are regarded as the same small cluster.
  • C * and p * indicate the points of the small cluster and its elements, respectively.
  • norm () represents the distance between two points
  • thres dist is the distance threshold for classifying the same cluster.
  • i is an index assigned to each small cluster generated by dividing the three-dimensional point cloud data.
  • an optimization method using a two-dimensional rectangle can also be used for division into small clusters.
  • a criterion for optimizing the affiliation of clusters a criterion for reducing the distance between clusters and points is used, and elements of the cluster are included in the same two-dimensional label rectangle when projected on the image plane. It is possible to use a standard that is combined with a standard that raises the expected value. Accordingly, the constraint condition of the spatial distribution for the object on the two-dimensional plane given by the two-dimensional label rectangle can be given to the clustering of the three-dimensional point group. Therefore, even when different objects exist in the vicinity of a threshold value of a distance set in advance, there is a possibility that they can be correctly separated (for each object) into small clusters.
  • the following method is performed. That is, with respect to P ⁇ C i points contained in each cluster C i, consider a penalty term for adding the number of mapping p 'is not included in the same two-dimensional label rectangle B j to the image plane. Then, how to make subdivide the cluster C i to reduce this penalty term is considered.
  • the penalty term can be defined as follows, for example.
  • Equation 4 is the concept of entropy equivalent containment relationship of the two-dimensional label rectangle in all elements of the cluster C i. Therefore, Expression 4 has a larger value as the elements of the cluster C i are included in different two-dimensional label rectangles on the image plane in many cases. Therefore, this is minimized, or subdivision is performed so as to be within a threshold value. Just go.
  • the cluster mapping projection unit 1032 projects each of the small clusters of the three-dimensional point cloud onto the plane coordinate system in which the two-dimensional label is defined.
  • the plane coordinates in which the two-dimensional label is defined are assumed to be the coordinate system of the image from which the two-dimensional label is attached, and the mapping from the three-dimensional point cloud coordinates to the image plane is given. To do. Specifically, it is assumed that the camera, which is the image output device 20, and the 3D LiDAR, which is the point cloud output device 30, have been calibrated (corresponding to positions).
  • FIG. 8 is a diagram for explaining the projection method from a three-dimensional point to a two-dimensional plane according to the first embodiment.
  • the coordinate conversion of the calibrated optical system will be described with reference to FIG. Assuming an optical system including a 3D LiDAR (point cloud output device 30) and a camera (image output device 20), as shown in FIG. 8, a point X vel in a three-dimensional space measured by 3D LiDAR is calculated by As in 5, it can be uniquely converted by the point X cam in the central coordinate system of the camera and the three-dimensional coordinate conversion matrix T vc ⁇ R (4 ⁇ 4) .
  • mapping from 3D point X vel to a point X img on the image plane in the camera image Im is the function P ci: with R 4 ⁇ R 3, is represented by Formula 6 below It
  • all the vectors represented by the equations 5 to 7 are homogeneous vectors. That is, X vel , X cam ⁇ R 4 , and X img ⁇ R 3 . Further, as described above, it should be noted that the mapping between the three-dimensional point and the image plane is not one-to-one correspondence, and only the mapping from the three-dimensional point to the image plane is uniquely determined.
  • the elements of the matrix T vc are called external parameters (extrinsic parameters), the coefficients or matrix elements of the function P ci are called (camera) internal parameters (intrinsic parameters), and obtaining these parameters is called calibration.
  • the calibration has been executed by some means.
  • the coordinates of each point of the three-dimensional point group are uniquely projected to each point of the image plane by a geometric operation.
  • a small cluster which is a set of points of the three-dimensional point cloud, is projected onto the image plane as a set of mappings of the points of the element.
  • FIG. 9 is a diagram for explaining the operation of the cluster mapping projection unit 1032 in the label conversion unit 103 according to the first embodiment.
  • FIG. 9 schematically shows the result of projecting a three-dimensional point cloud mapping of each small cluster projected onto a two-dimensional plane and a convex hull consisting of the elements thereof onto the same plane as the two-dimensional label rectangle. These results are used in the label collating unit 1033 described below.
  • FIG. 9 corresponds to the small clusters obtained by being divided by the clustering illustrated in FIG. 7.
  • the points X 1 and X 2 correspond to the mapping of the small clusters C 1 and C 2 to the image plane 90, respectively.
  • the convex hulls D 1 and D 2 are convex hulls including the points X 1 and X 2 , respectively.
  • the rectangles B 1 and B 2 are two-dimensional label rectangles corresponding to the small clusters C 1 and C 2 , respectively.
  • the label matching unit 1033 matches the small clusters projected onto the image plane 90 by the cluster mapping projection unit 1032 with the two-dimensional labels provided by the two-dimensional label input unit 102, and the small clusters matching each two-dimensional label. It is a function to select clusters. Specifically, the label matching unit 1033 searches the small cluster C i corresponding to each point P ⁇ C i in units 2D label rectangle (bounding-box) B j as the following equation 8, the class label (And ID label) are associated with each other.
  • FIGS. 10 to 12 are diagrams for explaining a discrimination method used in the collation process performed by the label collation unit 1033 according to the first embodiment.
  • Figure 10 shows a state where the convex hull D i and the two-dimensional label rectangle B j of the small cluster C i overlap.
  • the label matching unit 1033 determines the small cluster C i and the two-dimensional label according to the ratio of the point p ⁇ C i (the point cloud mapping on the image plane) of the small cluster C i included in the two-dimensional label rectangle B j. Match the rectangle B j .
  • the label matching unit 1033 matches the small cluster C i with the two-dimensional label rectangle B j according to the correlation between the mapping of the small cluster C i and the two-dimensional label rectangle B j .
  • FIG. 11 is a diagram for explaining a first method of calculating the ratio in which the mapping of the point cloud constituting the small cluster is included in the two-dimensional label rectangle Bj .
  • FIG. 11 relates to a method of calculating the coverage of the point cloud included in the two-dimensional label rectangle B j . That is, the label collation unit 1033 calculates the inclusion rate of the point cloud, and assigns the same label as the two-dimensional label rectangle having the highest inclusion rate to each small cluster.
  • This coverage rate corresponds to a parameter representing the correlation between the mapping of the small cluster C i and the two-dimensional label rectangle B j . In other words, this parameter corresponds to the inclusion rate, which is the ratio of the elements of the mapping of the small clusters included in the two-dimensional label data.
  • the label matching unit 1033 calculates the inclusion ratio IBR (In Box Ratio) by the following Expression 9.
  • C i represents a small cluster
  • B j represents a two-dimensional label rectangular
  • p k denotes the point of the small cluster elements.
  • i, j, and k are indices of the corresponding set elements, respectively.
  • Num() is a function that counts the number of elements.
  • Figure 12 is a diagram for explaining a second method of calculating the rate at which mapping point group constituting the small cluster is contained within the rectangle B j of a two-dimensional label.
  • FIG. 12 relates to a method of calculating the area overlap rate between the convex hull of the point cloud mapping of the small cluster and the two-dimensional label rectangle B j . That is, the label matching unit 1033 calculates the area overlap ratio (IoU; Intersection-over-union), and gives each small cluster the same label as the two-dimensional label rectangle having the highest area overlap ratio.
  • This area overlap rate corresponds to a parameter indicating the correlation between the mapping of the small cluster C i and the two-dimensional label rectangle B j .
  • this parameter corresponds to the area overlap rate of the convex hull formed by the mapping of the small clusters and the two-dimensional label data.
  • the label matching unit 1033 calculates the area overlap rate (IoU) by the following Expression 10.
  • D i is a convex hull on the image plane of the small cluster C i .
  • Area() is a function for obtaining the area.
  • the label matching unit 1033 may determine the two-dimensional label rectangle corresponding to the small cluster by combining the point coverage rate shown in the above Expression 9 and the area overlap rate shown in the above Expression 10. For example, the label matching unit 1033 calculates a two-dimensional label rectangle B j for which IBR exceeds the threshold th ibr and maximizes IoU for the small clusters and the point groups forming the small clusters, as shown in Expression 11 below. It may be a label of this small cluster and the point cloud constituting it.
  • Label (*) represents label data excluding the position information given to the data *. In the specific example, this label data is [class label and ID label].
  • the image processing system 100 makes it possible to automatically generate a three-dimensional label for the corresponding three-dimensional point cloud data from the two-dimensional label given to the image data.
  • an imaging system for example, an imaging system including a camera and 3D LiDAR
  • the two-dimensional image and the three-dimensional point cloud can be obtained only by labeling the image.
  • Label data common to and can be generated. Therefore, this label data can be easily used for a machine learning task using two data of a two-dimensional image and a three-dimensional point cloud.
  • the 3D point cloud label generated in this way can be used as follows.
  • a 3D point cloud label is an evaluation for performance evaluation for a 3D object detection task that estimates a point cloud corresponding to an object from only the 3D point cloud and outputs the 3D area position of a specific object. It can be used as a data set. Further, the 3D point cloud label can be used as a learning data set when the 3D object detection task is realized by statistical machine learning, for example.
  • FIG. 13 is a flowchart showing an image processing method executed by the electronic control unit 10 according to the first embodiment.
  • the three-dimensional point cloud input unit 101 of the electronic control device 10 acquires the three-dimensional point cloud data from the point cloud output device 30 (step S1).
  • the two-dimensional label input unit 102 of the electronic control unit 10 acquires the two-dimensional label data (step S2).
  • the two-dimensional label input unit 102 acquires an image from the image output device 20, and acquires pre-stored two-dimensional label data corresponding to the image.
  • the two-dimensional label input unit 102 acquires an image from the image output device 20, and acquires the two-dimensional label data corresponding to this image, which is automatically generated by machine learning or the like in the electronic control device 10.
  • the label conversion unit 103 executes label conversion processing for converting the two-dimensional label data into the three-dimensional point cloud label (step S3). Details of the process of S3 will be described later.
  • the processes of S1 to S3 can be sequentially and repeatedly executed for a plurality of image series.
  • FIG. 14 is a flowchart showing the operation of the label conversion unit 103 according to the first embodiment.
  • the three-dimensional point group dividing unit 1031 of the label conversion unit 103 executes the above-described clustering on the acquired three-dimensional point group data and divides the entire three-dimensional point group data into small clusters (step S301).
  • the cluster mapping projection unit 1032 of the label conversion unit 103 projects the three-dimensional point cloud onto the same two-dimensional coordinate system (image plane) as the two-dimensional label data (step S302).
  • the label matching unit 1033 of the label conversion unit 103 performs matching between the two-dimensional label rectangle and the small cluster on the image plane (step S303).
  • the label matching unit 1033 gives the same class label (or ID label) as the selected two-dimensional label rectangle to the three-dimensional points belonging to the small cluster corresponding to the selected two-dimensional label rectangle. Execute the process to be performed.
  • the image processing system 100 generates an image segmentation label using the three-dimensional point cloud label generated by the image processing method according to the first embodiment.
  • the image segmentation label is a class label (or ID label) given in pixel units of a region corresponding to the object along the shape of the object on the image.
  • the above-described first embodiment relates to the two-dimensional label data (rectangle) used for the problem of object detection that estimates an object on an image at the two-dimensional rectangular level.
  • the image segmentation label is label data used for the task of image segmentation (image (semantic) segmentation) in which the objects are colored (classified) at the pixel level.
  • Image segmentation labels are expensive to manually label because they require pixel-level coloring (classification).
  • FIG. 15 is a functional block diagram schematically showing the configuration of the electronic control device 10 according to the second embodiment.
  • the electronic control unit 10 according to the second embodiment has a three-dimensional point cloud input unit 101, a two-dimensional label input unit 102, and a label conversion unit 103.
  • the electronic control device 10 according to the second embodiment includes an image input unit 104 and a segmentation label generation unit 105.
  • the operations of the three-dimensional point cloud input unit 101, the two-dimensional label input unit 102, and the label conversion unit 103 are substantially the same as those in the first embodiment, and thus the description thereof will be omitted.
  • the image input unit 104 functions as an image input means.
  • the image input unit 104 acquires (inputs) three-dimensional point cloud data, a corresponding two-dimensional label, and a corresponding camera image. That is, the image input unit 104 acquires the labeled three-dimensional point cloud data.
  • the segmentation label generation unit 105 functions as a segmentation label generation unit.
  • the segmentation label generation unit 105 generates image segmentation label data using the labeled three-dimensional point cloud data output by the label conversion unit 103.
  • a segmentation label is generated.
  • the existing image interpolation processing can be used. For example, a range of 3 ⁇ 3 pixels is specified, a morphology operation of closing is performed, and a process of filling an adjacent pixel is performed. That is, the label is attached to the pixels around the labeled three-dimensional point. By performing such processing, it is possible to generate image segmentation label data in which pixels overlapping an object on the image are filled in from the three-dimensional point cloud label.
  • optimization may be performed by referring to the input image information (camera image). Further, after performing the interpolation processing for each label, when interference of the interpolation pixels occurs between different labels, a method of determining the boundary by referring to the edge and color information of the image or the like may be used.
  • the image segmentation label generated by the method according to the second embodiment can be used as follows.
  • the image segmentation label can be used as an evaluation data set for performance evaluation for an image segmentation task such as estimating an area pixel of an object from only an input image and outputting a result of filling a mask area.
  • the image segmentation label can be used as a learning data set when the image segmentation task is realized by statistical machine learning.
  • FIG. 16 is a flowchart showing an image processing method executed by the electronic control unit 10 according to the second embodiment.
  • the processes of S1 to S3 described above are executed.
  • the image input unit 104 acquires the labeled three-dimensional point cloud data (step S401).
  • the segmentation label generation unit 105 projects the acquired 3D point cloud data for each label onto a 2D image plane (step S402).
  • the segmentation label generation unit 105 performs pixel interpolation processing on the projection point for each label on the two-dimensional image plane (step S403).
  • the information of the input image can be referred to as necessary.
  • Non-transitory computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer readable media are magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), CD-ROMs, CD-Rs, CD-R/Ws. , Semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM).
  • the program may be supplied to the computer by various types of transitory computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the transitory computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the label conversion unit associates the two-dimensional label data with the three-dimensional point cloud data by associating a mapping obtained by projecting the three-dimensional point cloud onto an image plane corresponding to the two-dimensional image with the two-dimensional label data.
  • Corresponding The image processing device according to attachment 1.
  • the label conversion unit divides the three-dimensional point group into a plurality of small clusters by clustering the three-dimensional point group according to a predetermined criterion, and associates the two-dimensional label data with each of the divided small clusters. 4.
  • the image processing device according to any one of appendices 1 to 3.
  • the label conversion means is configured to project the small cluster onto an image plane corresponding to the two-dimensional image and the two-dimensional label data and the three-dimensional point group according to a parameter representing a correlation between the two-dimensional label data.
  • the image processing device according to attachment 4, which is associated with data.
  • the parameter is a coverage rate that is a ratio of elements of the mapping of the small clusters included in the two-dimensional label data, and an area overlap rate of the convex hull formed by the mapping of the small clusters and the two-dimensional label data.
  • the image processing device which corresponds to at least one of the above.
  • the label conversion means in the clustering, as a criterion for optimizing the affiliation of clusters of each of the three-dimensional point groups, a criterion for reducing the distance between the clusters and the points, and elements of the clusters projected on the image plane. 7.
  • the image processing apparatus according to any one of appendices 4 to 6, which utilizes a criterion that is combined with a criterion that raises an expected value that is included in the same two-dimensional label rectangle when being processed.
  • Appendix 8 Any one of appendices 1 to 7, further comprising: segmentation label generation means for generating image segmentation label data by performing pixel interpolation processing on a mapping obtained by projecting the three-dimensional point cloud label data onto an image plane corresponding to the two-dimensional image.
  • segmentation label generation means for generating image segmentation label data by performing pixel interpolation processing on a mapping obtained by projecting the three-dimensional point cloud label data onto an image plane corresponding to the two-dimensional image.
  • the parameter is a coverage rate that is a ratio of elements of the mapping of the small clusters included in the two-dimensional label data, and an area overlap rate of the convex hull formed by the mapping of the small clusters and the two-dimensional label data.
  • Appendix 15 In the clustering, as a criterion for optimizing the belonging of each cluster of the three-dimensional point group, a criterion for reducing the distance between the cluster and the point and the same criterion when the elements of the cluster are projected on the image plane are used. 15.
  • the image processing method according to any one of appendices 12 to 14, wherein a criterion combined with a criterion for increasing an expected value, which is included inside a two-dimensional label rectangle, is used.
  • Appendix 16 The image segmentation label data is generated by performing pixel interpolation processing on a map obtained by projecting the three-dimensional point cloud label data onto an image plane corresponding to the two-dimensional image.
  • (Appendix 17) Acquiring three-dimensional point cloud data representing a three-dimensional point cloud of the object, Acquiring two-dimensional label data, which is label data corresponding to a two-dimensional image of the object, A step of converting the two-dimensional label data into the three-dimensional point cloud label data indicating the label of the three-dimensional point cloud by associating the two-dimensional label data with the three-dimensional point cloud data.
  • a non-transitory computer-readable medium having stored therein.
  • Image Processing Device 2 3D Point Cloud Acquisition Unit 4 2D Label Acquisition Unit 6 Label Conversion Unit 10 Electronic Control Device 20 Image Output Device 30 Point Cloud Output Device 40 Terminal Device 90 Image Plane 100 Image Processing System 101 3D Point Cloud Input Unit 102 two-dimensional label input unit 103 label conversion unit 104 image input unit 105 segmentation label generation unit 1031 three-dimensional point group division unit 1032 cluster mapping projection unit 1033 label matching unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

３次元点群データを用いた物体認識技術で使用されるラベルデータを容易に生成することが可能な画像処理装置を提供する。画像処理装置（１）は、３次元点群取得部（２）と、２次元ラベル取得部（４）と、ラベル変換部（６）とを有する。３次元点群取得部（２）は、物体の３次元点群を示す３次元点群データを取得する。２次元ラベル取得部（４）は、その物体の２次元画像に対応する２次元ラベルデータを取得する。ラベル変換部（６）は、２次元ラベルデータを３次元点群データと対応付けて、２次元ラベルデータを、３次元点群のラベルを示す３次元点群ラベルデータに変換する。

Description

画像処理装置、画像処理方法及び記録媒体
　本発明は、画像処理装置、画像処理方法及び記録媒体に関する。
　現在、画像などを用いた認識技術には、統計的機械学習の手法が用いられている。このような統計的機械学習では、認識対象に関連した正解ラベルが付されたラベルデータを大量に用意し、これらのラベルデータを学習および評価用に用いることが必須となっている。ラベル付与に関する技術が、非特許文献１及び非特許文献２に記載されている。
　また、この技術に関連し、特許文献１は、膨大なデータ量の３次元点群データの場合であっても、３次元点群データから高速に物体の形状を抽出することができる形状抽出装置を開示する。特許文献１にかかる技術は、３次元点群データに対して、複数の点のすべてを包括する包括ボクセルを設定する。また、特許文献１にかかる技術は、複数の点のピッチよりも大きなサイズを有する複数の仮想ボクセルで包括ボクセルを分割する。また、特許文献１にかかる技術は、複数の仮想ボクセルのそれぞれに固有の識別番号を設定する。さらに、特許文献１にかかる技術は、識別番号が付与された仮想ボクセル内の点の有無に応じて、仮想ボクセルを単位としてラベリング処理を行い、点を含む複数の仮想ボクセルのうち、連結する仮想ボクセルに同一のラベル値を付与する。
特開２０１６－００３８８６号公報
N. Silberman, D. Hoiem, P. Kohli, and R. Fergus. "Indoor segmentation and support inference from RGBD images", In European Conference on Computer Vision (ECCV), 2012.https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html S. Song, S. Lichtenberg, and J. Xiao. "SUN RGB-D: A RGB-D Scene Understanding Benchmark Suite", In Proceedings of 28th IEEE Conference on Computer Vision and Pattern Recognition (CVPR2015)http://rgbd.cs.princeton.edu/
　上記の特許文献１の技術のように、連結する仮想ボクセルに同一のラベル値を付与する方法では、その仮想ボクセルがどのような物体に対応するのか不明である。したがって、特許文献１にかかる方法を用いて物体の認識処理を行うためには、仮想ボクセルに付与されたラベル値がどのような物体に対応するかを手作業で行う必要があり得る。したがって、特許文献１にかかる方法では、３次元点群データを用いた物体認識技術で使用されるラベルデータを容易に生成することは困難である。
　本開示の目的は、このような課題を解決するためになされたものであり、３次元点群データを用いた物体認識技術で使用されるラベルデータを容易に生成することが可能な画像処理装置、画像処理方法及び記録媒体を提供することにある。
　本開示にかかる画像処理装置は、物体の３次元点群を示す３次元点群データを取得する３次元点群取得手段と、前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得する２次元ラベル取得手段と、前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するラベル変換手段とを有する。
　また、本開示にかかる画像処理方法は、物体の３次元点群を示す３次元点群データを取得し、前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得し、前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換する。
　また、本開示にかかるプログラムは、物体の３次元点群を示す３次元点群データを取得するステップと、前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得するステップと、前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するステップとをコンピュータに実行させる。
　本開示によれば、３次元点群データを用いた物体認識技術で使用されるラベルデータを容易に生成することが可能な画像処理装置、画像処理方法及び記録媒体を提供できる。
本開示の実施の形態にかかる画像処理装置の概要を示す図である。 実施の形態１に係る画像処理システムの構成を示すブロック図である。 実施の形態１にかかる電子制御装置の構成を模式的に示した機能ブロック図である。 実施の形態１にかかるラベル変換部の構成を模式的に示した機能ブロック図である。 実施の形態１にかかる２次元ラベルデータの形式について説明するための図である。 実施の形態１にかかる３次元点群データ及び２次元ラベルデータの取得方法を説明するための図である。 実施の形態１にかかる３次元点群分割部によるクラスタリングについて説明するための図である。 実施の形態１にかかる、３次元点から２次元平面への投影方法を説明するための図である。 実施の形態１にかかるラベル変換部におけるクラスタ写像投影部の動作を説明するための図である。 実施の形態１にかかるラベル照合部によって行われる照合処理で使用される判別方式を説明するための図である。 実施の形態１にかかるラベル照合部によって行われる照合処理で使用される判別方式を説明するための図である。 実施の形態１にかかるラベル照合部によって行われる照合処理で使用される判別方式を説明するための図である。 実施の形態１にかかる電子制御装置によって実行される画像処理方法を示すフローチャートである。 実施の形態１にかかるラベル変換部の動作を示すフローチャートである。 実施の形態２にかかる電子制御装置の構成を模式的に示した機能ブロック図である。 実施の形態２にかかる電子制御装置によって実行される画像処理方法を示すフローチャートである。
（本開示にかかる実施の形態の概要）
　本開示の実施の形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図１は、本開示の実施の形態にかかる画像処理装置１の概要を示す図である。画像処理装置１は、例えばコンピュータである。画像処理装置１は、３次元点群取得部２と、２次元ラベル取得部４と、ラベル変換部６とを有する。３次元点群取得部２は、３次元点群取得手段として機能する。２次元ラベル取得部４は、２次元ラベル取得手段として機能する。ラベル変換部６は、ラベル変換手段として機能する。
　３次元点群取得部２は、物体の３次元点群を示す３次元点群データを取得する。２次元ラベル取得部４は、その物体の２次元画像に対応する２次元ラベルデータを取得する。ラベル変換部６は、２次元ラベルデータを３次元点群データと対応付けて、２次元ラベルデータを、３次元点群のラベルを示す３次元点群ラベルデータに変換する。
＜一般的な機械学習用データの高コスト課題について＞
　以下、関連技術の問題点について説明する。現在、画像などを用いた認識技術には、統計的機械学習の手法が用いられており、そのためには認識対象ドメインに関連した正解ラベル付されたデータを大量に用意し、これらのデータを学習および評価用に用いることが必須となっている。このようなラベル付きデータの準備には、現在、時間的、金銭的、労力的な観点で極めて高いコストが必要とされている。
＜画像ラベルの生成方法について＞
　画像上の認識対象クラス（例えば、人、車、家具など）の検出を目的とする場合、ラベルデータは、通常、認識対象のオブジェクト（対象オブジェクト）の画像上における位置と対象クラス名とを対応付けて保存されたテキストデータである。ここで、対象オブジェクトの位置は、例えば、対象オブジェクトを囲む矩形を表現するベクトルで表現され得る。このベクトルは、例えば、画像のピクセルにおいて、［左上ｘ座標，左上ｙ座標，矩形幅，矩形高さ］といったように表現される。また、対象クラス名は、例えば、「Ｃａｒ」又は「Ｐｅｄｅｓｔｒｉａｎ」などと表現される。
　また、ラベル付与作業を行う場合には、ユーザによって操作されるＧＵＩ（Graphical User Interface）を有するツールが用いられる。このＧＵＩは、可視画像をスクリーンに提示する。ユーザは、マウスカーソル等を操作して可視画像における対象オブジェクトを囲む矩形の左上座標と右下座標を選択して矩形領域を指定する。また、ユーザは、テキスト入力やあらかじめ指定された選択ボタン等でクラス名などのラベル情報を入力する。
　目的とする出力結果が矩形による位置検出ではなく、ピクセルレベルの領域の塗り分けを目的とした画像セグメンテーションである場合には、ラベル付与作業で指定されるオブジェクトの領域も、矩形ではなく、ピクセル単位で塗り分けられる。ここで、矩形の指定は比較的容易だが、画像セグメンテーション領域の指定のコストは比較的大きい。
＜３Ｄ　ＬｉＤＡＲと点群データについて＞
　近年、地形調査や自動運転等で広く利用されている３次元構造を計測する技術（あるいはそれを利用した計測装置）として、例えば、３Ｄ　ＬｉＤＡＲ（Light Detection And Ranging、Laser Imaging Detection and Ranging）がある。３Ｄ　ＬｉＤＡＲは、それまでの１ラインスキャナー等と比較して、高密度かつ広範囲に３次元空間上の遮蔽物の計測点からの距離データを３次元点群データとして集積可能な技術、及びその計測装置である。３次元点群データは、例えば３Ｄ　ＬｉＤＡＲで取得された実環境の構造を反映するデータである。３次元点群データは、人、自動車などの対象オブジェクト、及び、地面、建物、標識などの構造物から反射されて得られた３次元座標情報を持つ点（３次元点）の集合である３次元点群を示すデータである。
＜３次元点群データのラベル付与について＞
　３Ｄ　ＬｉＤＡＲ等で取得された３次元点群データにおいて、計測結果を可視化するためには、一般に、３次元ビューア等で各点の３次元座標を描画することになるが、このときに取得された各点は、３次元空間上に点在している。このような３次元上に拡散した大量の点に対し、３次元ビューア等を見ながら手作業でラベルを与えることは、極めて困難であり、かつ高コストを誘発するおそれがある。
　ここで、ラベル付与に関する技術の例について、非特許文献１に記載されているように、データへのピクセルラベルを与える方法がある。この方法では、可視カメラ画像と距離画像とに共通のラベルデータを付与する。また、この方法では、ＫＩＮＥＣＴ（登録商標）等のＲＧＢ－Ｄカメラを用いて、可視カメラ画像と、それにピクセル単位で対応付けされた距離データが保存された距離画像（Depth image）との組を取得する。そして、可視カメラ画像上の対象オブジェクト領域をそれぞれのクラス分類毎にピクセルレベルで塗り分けすることによって、可視カメラ画像と距離画像とに共通のラベルデータが付与される。ＲＧＢ－Ｄカメラでは、光学系と画像上のピクセルの幾何学的な関係式と距離画像とから、センサが捉えたオブジェクト上の点の３次元座標データの集まりである、３次元点群が復元され得る。したがって、この手法を用いれば、ピクセル単位の画像ラベルから３次元点群ラベルが生成できるようにも思われる。しかしながら、この方法では、画像上のオブジェクト領域を手がかりにピクセル単位でラベルを塗り分ける作業を人手で行う必要があり、極めて作業コストが大きくなるという問題がある。
　また、ラベル付与に関する技術の例について、非特許文献２に記載されているように、データへ３次元ボックスラベルを与える方法がある。この方法では、ラベル情報を付与できるようなＧＵＩを「アノテーションツール」として提案する。この方法では、ＲＧＢ－Ｄカメラの出力を用いて、可視画像、および、３次元点群に可視画像から取得した色情報を追加したカラー点群の多視点（正面、見下ろし、側面など）の疑似視点画像を提示する。そして、アノテーションツールを用いて、ユーザは、４種の視点画像上でマウスカーソルを操作しながらラベル付与対象のオブジェクトを囲む３次元のボックス領域を指定し、その領域に対応するラベル情報を付与する。この方法では、正確に対象オブジェクトを囲む３次元領域を指定できる利点があるものの、複数視点画像上で位置の指定をマウスカーソルから微調整する必要があり、入力に手間がかかるという問題がある。
　このような問題点に対し、本開示にかかる画像処理装置１は、上記のように構成されているので、３次元点群へのラベル付与のコストを低減し、より容易に３次元点群ラベルを生成することができる。具体的には、本開示にかかる画像処理装置１は、上記のように構成されているので、可視画像上で定義された２次元のオブジェクトラベルのみから、対応する３次元点群へのラベル付与を可能となる。これにより、３次元点群のラベル付与を、より簡便な２次元平面へのラベル付与の実行によって可能にすることで、手作業によるコストを低減することができる。さらに、２次元のカメラ画像への２次元ラベルを入力として利用することで、カメラ画像と対応する３次元点群とのラベルデータを共通化したデータベースを生成できる。
　このように、本開示によれば、ＲＧＢ－Ｄカメラ又は３Ｄ　ＬｉＤＡＲと可視カメラとを組み合わせた撮像系において、可視画像平面上で定義された２次元矩形ラベルを与えることで、自動的に３次元点群へのラベル付与を実現することができる。これによって、３次元点群データを用いた物体識別や検出などの認識技術を開発する上で必要となる学習データを容易に生成することが可能となる。なお、本実施の形態では、３次元点群から可視画像への写像可能な校正データがあるとする。
　また、入力として用いる可視画像上で定義された２次元ラベルは、手作業で与える以外にも、あらかじめ既存の学習データによって学習済みの物体検出器の出力を用いて、誤りのみを手作業で修正する方法で半自動化することもできる。具体的には、近年の画像認識技術の著しい発展に伴い、２次元画像上の物体検出に関しては、既にラベル付きのデータセットが利用可能な状態で豊富に用意されている。また、既存の深層学習等による識別器であっても、特殊な対象物以外では、ある程度の性能が期待できるようになっているので、自動的に２次元ラベルを生成できる。
　さらに、上述したように、本開示には、カメラ画像と３次元点群とのラベルデータを相互に対応可能な状態で共通化されることによる利点がある。具体例を示すと、ラベルが付与された３次元点群を２次元画像平面へ射影し、同一ラベルが割り振られた平面上の点群同士の隙間を埋める処理等を施すことで、画像データに対するセグメンテーションラベルデータを生成することが可能である。このように、ラベルデータを２次元画像と３次元点群とで共有することにより、相互にラベルデータの変換と補間が可能になる。
（実施の形態１）
　以下、実施の形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
　また、以降の実施の形態の説明では、主に、実環境における自動車や歩行者の物体を観測データから検出し識別する認識タスク、すなわちＯｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎを目的とした機械学習及びその評価を行うためのラベルデータの生成を想定する。しかし本開示の適用範囲は、特にそれに限定するものではない。また、３次元点群を取得する方法は、ＬｉＤＡＲに限られない。他の３次元距離センサ（ＲＧＢ－Ｄカメラ）を用いて、３次元点群を取得してもよい。
　図２は、実施の形態１に係る画像処理システム１００の構成を示すブロック図である。画像処理システム１００は、電子制御装置１０と、画像出力装置２０と、点群出力装置３０と、端末装置４０とを有する。画像出力装置２０は、少なくとも画像情報を電子制御装置１０に対して出力する装置である。画像出力装置２０は、例えば、カメラデバイスである。カメラデバイスは、リアルタイムで画像を撮像する撮像装置であり、撮影対象の画像を連続的に取得する。撮像装置は、例えば、ＮＴＳＣ（National Television Standards Committee）形式又はＰＡＬ（Phase Alternating Line）形式等の各種デジタル画像を出力するビデオカメラ等であってもよい。
　画像出力装置２０は、カメラデバイスの他、記憶媒体に保存された画像情報を読み出して、ＮＴＳＣ形式又はＰＡＬ形式等の電子制御装置１０が読み取ることのできる画像形式に変換して出力するような、画像キャプチャ装置であってもよい。この場合の画像出力装置２０は、電子制御装置１０のＣＰＵ内部で動作するソフトウェアプログラムとして実現され得る。
　点群出力装置３０は、少なくとも３次元点群データを電子制御装置１０に対して出力する装置である。３次元点群データは、少なくとも、３次元空間上の座標情報（ｘ，ｙ，ｚ）を持つ点の集合（３次元点群）からなるデータである。３次元点群データは、通常、３次元空間上の物体（オブジェクト及び構造物）の表面上の点をサンプリングしたデータとして取得される。点群出力装置３０は、例えば、３Ｄ　ＬｉＤＡＲである。３Ｄ　ＬｉＤＡＲは、レーザを水平角方向及び垂直角方向の複数方向に照射し、それぞれの照射光の反射時間から当該照射方向に存在するオブジェクトの距離を測定し、測定結果から周辺の３次元構造を３次元点群データとして取得する計測装置である。
　なお、点群出力装置３０は、何らかの手段で取得された３次元点群データを記憶媒体から出力する再生装置であってもよい。この場合の点群出力装置３０は、電子制御装置１０のＣＰＵ内部で動作するソフトウェアプログラムとして実現され得る。
　なお、以下に示す実施の形態において、画像出力装置２０によって取得される可視画像（画像情報）における観測対象は、点群出力装置３０によって取得される３次元点群における観測対象と対応しているとする。つまり、画像出力装置２０によって出力されるデータと、点群出力装置３０によって出力されるデータとは、特記ない限り、同時刻に同一環境下で互いの位置関係が既知の条件下で取得されるものとする。また、可視画像と３次元点群とは、少なくとも一部は対応付けが可能であるとする。つまり、画像情報の視野領域と３次元点群とは、対応する現実の３次元空間において、互いに、少なくとも一部を包含しているものとする。
　電子制御装置１０は、本開示にかかる情報処理（画像処理）を行うコンピュータである。電子制御装置１０は、図１に示した画像処理装置１に対応する。電子制御装置１０は、画像出力装置２０および点群出力装置３０から出力される情報に応じて、所定のプログラムに基づく処理を実行する。詳しくは後述する。
　端末装置４０は、電子制御装置１０を操作し、かつ電子制御装置１０の内部状態及び出力をモニタリングするためのユーザインタフェースとして動作する。端末装置４０は、例えば、出力デバイス又は入力デバイスである。出力デバイスは、例えばディスプレイである。ディスプレイは、例えば、画像出力装置２０からの入力画像を提示し、入力画像を変換した変換画像を提示し、変換画像を用いた各種画像処理結果を提示し、又は、ラベルデータを入力画像へオーバーレイした画像を提示する。入力デバイスは、装置の開始／終了、パラメータの指定、ディスプレイ提示情報の選択等の、電子制御装置１０への指令を入力する。入力デバイスは、例えば、スイッチボード、キーボード、マウス、タッチパネル等である。なお、端末装置４０を有しない構成で、画像処理システム１００を実現することも可能である。
　また、電子制御装置１０には、画像処理システム１００によって取得された情報を入力として利用する装置が接続され得る。また、電子制御装置１０に接続された装置の機能を、電子制御装置１０の内部のＣＰＵで動作するソフトウェアプログラムとして実現してもよい。接続される装置の例としては、本実施の形態で生成される３次元点群ラベルを入力とする画像処理装置又は機械学習装置などが考えられる。
　電子制御装置１０は、中央演算装置１１（ＣＰＵ）と、記憶装置１２（Ｍｅｍ）と、記憶装置１３（ＤＢ）と、インタフェース１４，１５，１６とを有する。なお、図２においては、記憶装置１２（Ｍｅｍ）と記憶装置１３（ＤＢ）とを別個の構成としているが、これらは１つの記憶デバイスとして実現され得る。
　インタフェース１４は、中央演算装置１１、記憶装置１２及び記憶装置１３と、画像出力装置２０との間の情報のやり取りを仲介する装置である。なお、図２では、インタフェース１４は、画像出力装置２０及び中央演算装置１１のみと直接接続されているが、記憶装置１２（Ｍｅｍ）及び記憶装置１３（ＤＢ）と直接接続されてもよい。このことは、他のインタフェース１５，１６についても同様である。
　インタフェース１５は、中央演算装置１１、記憶装置１２及び記憶装置１３と、点群出力装置３０との間の情報のやり取りを仲介する装置である。インタフェース１６は、中央演算装置１１、記憶装置１２及び記憶装置１３と、端末装置４０との間の情報のやり取りを仲介する装置である。インタフェース１６は、電子制御装置１０の内部で行なわれた情報処理の結果を端末装置４０に出力する場合の仲介を行う。また、インタフェース１６は、端末装置４０から電子制御装置１０へ出力される指令入力を受け取る場合の仲介を行う。
　記憶装置１２は、一時的なデータを記憶する装置であり、中央演算装置１１と電気的に接続されている。記憶装置１３は、主にデータベース（ＤＢ）を記憶する装置であり、中央演算装置１１と電気的に接続されている。なお、図２では、記憶装置１２及び記憶装置１３は、電子制御装置１０に内蔵されているが、電子制御装置１０の外部の記憶装置であってもよい。
　中央演算装置１１は、情報処理を行う装置であり、インタフェース１４，１５，１６、記憶装置１２、及び記憶装置１３と電気的に接続されている。中央演算装置１１は、記憶装置１３に記憶されたプログラムを実行する。これにより、中央演算装置１１は、インタフェース１４を介して入力された画像情報、インタフェース１５，１６を介して入力された各種情報に基づいて、記憶装置１２及び記憶装置１３に記憶された情報を適宜参照しながら所定の手続きによる情報処理を行う。
　図３は、実施の形態１にかかる電子制御装置１０の構成を模式的に示した機能ブロック図である。電子制御装置１０は、中央演算装置１１においてソフトウェアプログラムを実行することで、図３に示す各構成要素を実現する。また、電子制御装置１０において実現される各構成要素は、個々の装置、又は機能部もしくは電子回路として実現してもよい。
　図３に示すように、実施の形態１にかかる電子制御装置１０は、３次元点群入力部１０１と、２次元ラベル入力部１０２と、ラベル変換部１０３とを有する。また、図４は、実施の形態１にかかるラベル変換部１０３の構成を模式的に示した機能ブロック図である。これらの機能の動作について、以下に説明する。
　３次元点群入力部１０１は、点群出力装置３０から電子制御装置１０へ出力された３次元点群データを取得する機能である。取得される３次元点群データは、例えば３Ｄ　ＬｉＤＡＲで取得された実環境の構造を反映するデータである。例えば、３次元点群データは、人若しくは自動車などのオブジェクト、又は、地面、建物若しくは標識などの構造物から反射された３次元座標情報を持つ点（３次元点）の集合である。
　２次元ラベル入力部１０２は、画像出力装置２０から電子制御装置１０へ出力された画像データに対し、ラベル情報を与える機能である。ここで与えられるラベルデータは、画像の２次元平面座標で定義された領域に対して付与されたものであるので、以降、２次元ラベルと称する。２次元ラベルは、あるフレームの画像に対し、画像平面上における認識対象物体の位置と、その物体に割り当てられたクラスラベル（あるいは個々の物体に対する固有ＩＤラベル）とを少なくとも含む情報で構成される。ここで、「クラスラベル」とは、例えば、「Ｃａｒ」、「Ｖａｎ」、「Ｔｒｕｃｋ」、「Ｐｅｄｅｓｔｒｉａｎ」のように、物体の種別を示すラベルである。また、「（固有）ＩＤラベル」とは、例えば、フレーム全体のオブジェクトの１つ１つに割り当てられる、１，２，３，・・・等の、個体識別のためのラベルである。なお、２次元ラベルは、クラスラベル及びＩＤラベルの両方を含んでもよい。
　図５は、実施の形態１にかかる２次元ラベルデータの形式について説明するための図である。２次元ラベルデータは、オブジェクトの位置を示す位置ラベルと、クラスラベル（及びＩＤラベル）とを含む。位置ラベルは、例えば、オブジェクトを囲む矩形の２次元画像における左上座標（ｘ，ｙ）、矩形の幅（ｗ）及び高さ（ｈ）を含む。また、クラスラベル（ＩＤラベル）は、その位置に対応するオブジェクトのクラスを示す。２次元ラベルデータは、位置ラベルとクラスラベル（及びＩＤラベル）とを対応付けて、対象オブジェクトの個数分のリストを各フレーム画像毎に書き出したテキストデータ等の形式で保存される。
　２次元ラベルは、通常、保存された画像データに対し、画像ラベリングツールなどを用いて手作業で生成される。なお、２次元ラベルの生成方法は、既存の画像検出技術の検出結果を用いて自動的に２次元ラベルを生成することでも実現可能であるし、画像検出技術で生成したラベルの誤りを人手で修正する方法でも実現可能である。このように、本実施の形態では、２次元ラベルの取得方法については特に限定されない。本実施の形態の主眼は、この与えられた２次元ラベルから３次元点群に対応付けられたラベルを生成することである。
　図６は、実施の形態１にかかる３次元点群データ及び２次元ラベルデータの取得方法を説明するための図である。図６は、３次元点群入力部１０１及び２次元ラベル入力部１０２がデータを取得するための撮像系の模式図を示す。図６に例示するように、カメラ（画像出力装置２０）と３Ｄ　ＬｉＤＡＲ（点群出力装置３０）との位置関係が互いに校正済みで固定された撮像系から、それぞれカメラ画像Ｉｍ（２次元画像）及び３次元点群の集合Ｐのデータが取得される。カメラ画像に対しては、ラベルデータを付与することで２次元ラベルが用意される。例えば、図６に示した例では、カメラ画像を用いて、オブジェクトＯｂ（「円柱」及び「直方体」）に、位置ラベル及びクラスラベルを含む２次元ラベルが付与されている。
　ラベル変換部１０３は、３次元点群入力部１０１及び２次元ラベル入力部１０２からそれぞれ与えられる２次元ラベル及び３次元点群を用いて、３次元点群に対応するラベル情報を付与する機能である。実施の形態１にかかるラベル変換部１０３は、以下の基本方法に基づいて２次元ラベルを３次元点群ラベルへ変換することを特徴としている。
　ここで、図４に示すように、ラベル変換部１０３は、３次元点群分割部１０３１と、クラスタ写像投影部１０３２と、ラベル照合部１０３３とを有する。３次元点群分割部１０３１は、３次元点群を、あるルールに基づいてクラスタリングを行うことで、点群の部分集合である小クラスタに分割する。クラスタ写像投影部１０３２は、小クラスタを２次元ラベルと同一の座標平面へ投影する。ラベル照合部１０３３は、小クラスタと２次元ラベルとを照合する（対応付ける）。
　ここで、２次元ラベルを３次元空間上の点群に対応付けるときに問題となるのは、ラベル側の次元が対応付ける側の次元よりも小さい、すなわち次元の縮退があるために、一般に対応付けが一意に決まらないことである。本実施の形態にかかる方法は、このような問題を、対応付けられる側の３次元点群をそれ自体の３次元情報に基づいて小クラスタに分離させることで解決できる。すなわち、生成された各小クラスタを構成する点群が単一物体に由来するという期待に基づき、点単位ではなく小クラスタ単位での照合問題に落としこむことで、２次元ラベルとの一意な対応付けを可能にする。
　以下、ラベル変換部１０３の詳細な機能について説明する。
　図７は、実施の形態１にかかる３次元点群分割部１０３１によるクラスタリングについて説明するための図である。３次元点群分割部１０３１は、図７に例示するように、３次元点群入力部１０１から受け取った３次元点群を、所定の基準に従ってクラスタリングすることで、複数の小クラスタに分割する。小クラスタは、以下の式１のように３次元点ｐｋの集合Ｐから分割された、部分集合Ｃｉである。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｎは３次元点群の個数であり、Ｍはクラスタ数である。Ｎ及びＭは、分割（クラスタリング）の手法やデータに依存して定められる。また、図７の例において、３次元点群は、小クラスタＣ１（白抜きの点），Ｃ２（黒点）に分割されている。
　具体的には、３次元点群分割部１０３１は、小クラスタ毎に異なるクラスタＩＤを小クラスタの要素である点に与えることで、小クラスタ単位で点群処理可能とする。すなわち、ここで述べるクラスタリングは、３次元点ｐｋのそれぞれに、対応するクラスタラベルを割り当てることと同義である。言い換えると、クラスタリングが実行された以降では、小クラスタＣｉの要素に分類された点に対して同一のクラスタＩＤ（ｉ）が参照され得る。つまり、以下の式２が成り立つ。
Figure JPOXMLDOC01-appb-M000002
　小クラスタへの分割の方法について説明する。小クラスタへの分割には、既存のクラスタリング手法を用いることができる。例えば、以下の式３で示すように、２点間の３次元空間上のユークリッド距離が閾値以下である点を同一の小クラスタとするような、距離ベースクラスタリングを用いることができる。
Figure JPOXMLDOC01-appb-M000003
　ただし、Ｃ＊及びｐ＊は、それぞれ、小クラスタ及びその要素の点を示す。また、ｎｏｒｍ（）は２点間の距離を示し、ｔｈｒｅｓｄｉｓｔは同一クラスタに分類するための距離閾値とする。また、ｉは３次元点群データを分割して生成される小クラスタのそれぞれに割り当てられたインデックスである。
　また、小クラスタへの分割には、２次元矩形を用いた最適化手法を用いることもできる。例えば、クラスタの所属を最適化する基準として、クラスタと点の間の距離を小さくする基準と、クラスタの要素が画像平面上に投影されたときに同一の２次元ラベル矩形の内部に包含されている期待値を高める基準とを組み合わせた基準を利用することができる。これによって、２次元ラベル矩形によって与えられた２次元平面上のオブジェクトに対する空間分布の拘束条件を３次元点群のクラスタリングに与えることができる。したがって、あらかじめ定めた距離の閾値より近傍に別々のオブジェクトが存在している場合でも、正しく（オブジェクトごとに）小クラスタに分離できる可能性がある。
　例えば、上記のように距離閾値以内の点を同一クラスタに統合するクラスタリングを行った上で、以下の方法を行う。つまり、各クラスタＣｉに含まれる点ｐ∈Ｃｉに対し、画像平面への写像ｐ’が同一の２次元ラベル矩形Ｂｊに含まれない個数を加算するペナルティ項を考える。そして、このペナルティ項を小さくするようにクラスタＣｉを再分割するようにする方法が考えられる。ここで、ペナルティ項は、例えば以下のように定義できる。
Figure JPOXMLDOC01-appb-M000004
　ただし、２次元ラベル矩形が定義されていない領域は、全て、同一の背景領域Ｂ０に属するものとする。また、Ｎｕｍは、要素の個数をカウントする関数であるとする。式４は、クラスタＣｉの全要素における２次元ラベル矩形の包含関係に対するエントロピーと等価の概念である。したがって、式４は、クラスタＣｉの要素が画像平面上で相異なる２次元ラベル矩形に含まれる場合が多いほど大きな値になるため、これを最小化、もしくは閾値以下に収めるように再分割を行えばよい。
　クラスタ写像投影部１０３２は、３次元点群の小クラスタのそれぞれを、２次元ラベルが定義された平面座標系へ投影する。ここで、上記の投影を行うためには、３次元点群座標からこの平面への写像が定義されている必要がある。ここでは、２次元ラベルが定義された平面座標は、２次元ラベルを付与する元になった画像の座標系を想定し、３次元点群座標から画像平面への写像が与えられているものとする。具体的には、画像出力装置２０であるカメラと、点群出力装置３０である３Ｄ　ＬｉＤＡＲとのキャリブレーション（位置の対応付け）が実行済みであるとする。
　図８は、実施の形態１にかかる、３次元点から２次元平面への投影方法を説明するための図である。図８を用いて、校正済みの光学系の座標変換について説明する。３Ｄ　ＬｉＤＡＲ（点群出力装置３０）及びカメラ（画像出力装置２０）による光学系を想定すると、図８に示すように、３Ｄ　ＬｉＤＡＲで計測される３次元空間上の点Ｘｖｅｌは、以下の式５のように、カメラの中心座標系の点Ｘｃａｍと、３次元の座標変換行列Ｔｖｃ∈Ｒ（４×４）によって一意に変換できる。
Figure JPOXMLDOC01-appb-M000005
　カメラモデルが非線形である場合、３次元点Ｘｖｅｌからカメラ画像Ｉｍにおける画像平面上の点Ｘｉｍｇへの写像は、関数Ｐｃｉ：Ｒ４→Ｒ３を用いて、以下の式６で表される。
Figure JPOXMLDOC01-appb-M000006
　カメラモデルが線形である場合、３次元点Ｘｖｅｌからカメラ画像Ｉｍにおける画像平面上の点Ｘｉｍｇへの写像は、行列Ｐｃｉ∈Ｒ（３×４）を用いて、以下の式７で表される。
Figure JPOXMLDOC01-appb-M000007
　ここで、式５～式７で示した全てのベクトルは、同次ベクトルである。つまり、Ｘｖｅｌ，Ｘｃａｍ∈Ｒ４、Ｘｉｍｇ∈Ｒ３である。また、前述したように、３次元点と画像平面への写像は一対一対応ではなく、一意に決まるのは３次元点から画像平面への写像のみであることに注意が必要である。
　一般に、行列Ｔｖｃの要素を外部パラメータ（extrinsic parameters）と称し、関数Ｐｃｉの係数又は行列要素を（カメラ）内部パラメータ（intrinsic parameters）と称し、これらのパラメータを求めることをキャリブレーションと称する。本実施の形態では、何らかの手段でキャリブレーションが実行済みであることを想定している。このとき、３次元点群の各点の座標は、画像平面の各点へ幾何学的な演算で一意に投影される。同様に、３次元点群の各点の集合である小クラスタは、要素の各点の写像の集合として画像平面上へ投影される。
　図９は、実施の形態１にかかるラベル変換部１０３におけるクラスタ写像投影部１０３２の動作を説明するための図である。図９は、２次元平面へ射影される各小クラスタの３次元点群の写像及びその要素からなる凸包が、２次元ラベル矩形と同一平面に投影された結果を模式的に示す。これらの結果は次に述べるラベル照合部１０３３に用いられる。
　ここで、図９は、図７に例示したクラスタリングによって分割されて得られた小クラスタに対応している。点Ｘ１，Ｘ２は、それぞれ、小クラスタＣ１，Ｃ２の画像平面９０への写像に対応する。また、凸包Ｄ１，Ｄ２は、それぞれ、点Ｘ１，Ｘ２を含む凸包である。また、矩形Ｂ１，Ｂ２は、それぞれ、小クラスタＣ１，Ｃ２に対応する２次元ラベル矩形である。
　ラベル照合部１０３３は、クラスタ写像投影部１０３２によって画像平面９０へ投影された小クラスタと、２次元ラベル入力部１０２によって与えられた２次元ラベルとを照合し、それぞれの２次元ラベルに適合する小クラスタを選別する機能である。具体的には、ラベル照合部１０３３は、以下の式８のように小クラスタＣｉ単位で各点ｐ∈Ｃｉに対応する２次元ラベル矩形（bounding-box）Ｂｊを探索し、クラスラベル（及びＩＤラベル）を対応付ける。
Figure JPOXMLDOC01-appb-M000008
　図１０～図１２は、実施の形態１にかかるラベル照合部１０３３によって行われる照合処理で使用される判別方式を説明するための図である。図１０は、小クラスタＣｉの凸包Ｄｉと２次元ラベル矩形Ｂｊとが重なった状態を示している。ラベル照合部１０３３は、小クラスタＣｉの点ｐ∈Ｃｉ（画像平面における点群の写像）が２次元ラベル矩形Ｂｊの内部に含まれる割合に応じて、小クラスタＣｉと２次元ラベル矩形Ｂｊとを照合する。言い換えると、ラベル照合部１０３３は、小クラスタＣｉの写像と２次元ラベル矩形Ｂｊとの相関に応じて、小クラスタＣｉと２次元ラベル矩形Ｂｊとを照合する。
　図１１は、小クラスタを構成する点群の写像が２次元ラベル矩形Ｂｊの内部に含まれる割合を算出する第１の方法を説明するための図である。図１１は、２次元ラベル矩形Ｂｊに含まれる点群の包含率を算出する方法に関する。つまり、ラベル照合部１０３３は、点群の包含率を算出し、各小クラスタに対し、最も包含率の高い２次元ラベル矩形と同一のラベルを付与する。この包含率が、小クラスタＣｉの写像と２次元ラベル矩形Ｂｊとの相関を表すパラメータに対応する。言い換えると、このパラメータは、小クラスタの写像の要素が２次元ラベルデータに含まれる割合である包含率に対応する。このとき、ラベル照合部１０３３は、ある小クラスタについての最大の包含率が所定の閾値を超えない場合には、対応ラベルなし（Ｌａｂｅｌ＝ＵｎＫｎｏｗｎ）としてもよい。
　具体的には、ラベル照合部１０３３は、以下の式９によって、包含率ＩＢＲ（In Box Ratio）を計算する。
Figure JPOXMLDOC01-appb-M000009
 　ただし、Ｃｉは小クラスタを示し、Ｂｊは２次元ラベル矩形を示し、ｐｋは小クラスタの要素の点を示す。また、ｉ，ｊ，ｋは、それぞれ、対応する集合要素のインデックスである。また、Ｎｕｍ（）は要素の個数をカウントする関数である。
　図１２は、小クラスタを構成する点群の写像が２次元ラベルの矩形Ｂｊの内部に含まれる割合を算出する第２の方法を説明するための図である。図１２は、小クラスタの点群の写像の凸包と２次元ラベル矩形Ｂｊとの面積重複率を算出する方法に関する。つまり、ラベル照合部１０３３は、面積重複率（ＩｏＵ；Intersection-over-union）を算出し、各小クラスタに対し、最も面積重複率の高い２次元ラベル矩形と同一のラベルを付与する。この面積重複率が、小クラスタＣｉの写像と２次元ラベル矩形Ｂｊとの相関を表すパラメータに対応する。言い換えると、このパラメータは、小クラスタの写像によって形成される凸包と２次元ラベルデータとの面積重複率に対応する。このとき、ラベル照合部１０３３は、ある小クラスタについての最大のＩｏＵが所定の閾値を超えない場合には、対応ラベルなし（Ｌａｂｅｌ＝ＵｎＫｎｏｗｎ）としてもよい。
　具体的には、ラベル照合部１０３３は、以下の式１０によって、面積重複率（ＩｏＵ）を計算する。
Figure JPOXMLDOC01-appb-M000010
 　ただし、Ｄｉは、小クラスタＣｉの画像平面上における凸包（convex hull）とする。また、Ａｒｅａ（）は面積を求める関数である。
　また、ラベル照合部１０３３は、上記の式９で示した点包含率と上記の式１０で示した面積重複率とを組み合わせて、小クラスタに対応する２次元ラベル矩形を判別してもよい。例えば、ラベル照合部１０３３は、以下の式１１に示すように、小クラスタ及びそれを構成する点群について、ＩＢＲが閾値ｔｈｉｂｒを超え、かつＩｏＵを最大にする２次元ラベル矩形Ｂｊを、この小クラスタ及びそれを構成する点群のラベルとしてもよい。ここで、Ｌａｂｅｌ（＊）は、データ＊に付与された位置情報を除くラベルデータを表す。具体例では、このラベルデータは、［クラスラベルとＩＤラベル］である。
Figure JPOXMLDOC01-appb-M000011
（効果）
　実施の形態１にかかる画像処理システム１００により、画像データに付与された２次元ラベルから、対応する３次元点群データに対する３次元ラベルを自動的に生成することが可能になる。これにより、２次元画像と３次元点群とを同時に取得可能な撮像系（例えばカメラ及び３Ｄ　ＬｉＤＡＲを含む撮像系等）において、画像へのラベル付与コストのみで、２次元画像と３次元点群とで共通化されたラベルデータを生成することができる。したがって、容易に、このラベルデータを、２次元画像及び３次元点群の２つのデータを用いた機械学習タスクに利用できるようになる。
　また、このように生成された３次元点群ラベルは、以下のように利用可能である。例えば、３次元点群ラベルは、３次元点群のみからオブジェクトに対応する点群を推定し、特定オブジェクトの３次元領域位置を出力するような、３次元物体検出タスクに対する性能評価のための評価データセットとして利用され得る。また、３次元点群ラベルは、例えば、３次元物体検出タスクを統計的機械学習によって実現する場合の学習用データセットとして利用され得る。
（動作）
　図１３は、実施の形態１にかかる電子制御装置１０によって実行される画像処理方法を示すフローチャートである。まず、電子制御装置１０の３次元点群入力部１０１は、点群出力装置３０から、３次元点群データを取得する（ステップＳ１）。また、電子制御装置１０の２次元ラベル入力部１０２は、２次元ラベルデータを取得する（ステップＳ２）。具体的には、２次元ラベル入力部１０２は、画像出力装置２０から画像を取得して、この画像に対応する、予め保存された２次元ラベルデータを取得する。あるいは、２次元ラベル入力部１０２は、画像出力装置２０から画像を取得して、この画像に対応する、電子制御装置１０において自動的に機械学習等により生成された２次元ラベルデータを取得する。次に、ラベル変換部１０３は、２次元ラベルデータを３次元点群ラベルへ変換する、ラベル変換処理を実行する（ステップＳ３）。Ｓ３の処理の詳細については後述する。なお、Ｓ１～Ｓ３の処理は、複数の画像系列に対して、逐次繰り返し実行され得る。
　図１４は、実施の形態１にかかるラベル変換部１０３の動作を示すフローチャートである。ラベル変換部１０３の３次元点群分割部１０３１は、取得された３次元点群データに対して上述したクラスタリングを実行し、３次元点群データ全体を小クラスタに分割する（ステップＳ３０１）。次に、ラベル変換部１０３のクラスタ写像投影部１０３２は、３次元点群を２次元ラベルデータと同一の２次元座標系（画像平面）へ射影する（ステップＳ３０２）。最後に、ラベル変換部１０３のラベル照合部１０３３は、２次元ラベル矩形と画像平面上の小クラスタ間で照合を実行する（ステップＳ３０３）。これにより、ラベル照合部１０３３は、選択された２次元ラベル矩形に対応する小クラスタに所属する３次元点に対し、この選択された２次元ラベル矩形と同一のクラスラベル（又はＩＤラベル）を付与する処理を実行する。
（実施の形態２）
　次に、実施の形態２について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。なお、実施の形態２にかかるシステム構成については、図２に示したものと実質的に同様であるので、説明を省略する。実施の形態２は、画像セグメンテーションラベルを生成する点で、実施の形態１と異なる。
　実施の形態２にかかる画像処理システム１００では、実施の形態１にかかる画像処理方法によって生成された３次元点群ラベルを用いて、画像セグメンテーションラベルを生成する。ここで、画像セグメンテーションラベルとは、画像上のオブジェクトの形状に沿って、オブジェクトに対応する領域のピクセル単位で付与される、クラスラベル（又はＩＤラベル）である。
　ここで、上述した実施の形態１は、画像上のオブジェクトを２次元矩形レベルで推定する物体検出（object detection）の課題に用いられる２次元ラベルデータ（矩形）に関する。これに対し、画像セグメンテーションラベルは、ピクセルレベルでオブジェクトの塗り分け（分類）を行う画像セグメンテーション（image (semantic) segmentation）の課題に用いられるラベルデータである。画像セグメンテーションラベルは、ピクセルレベルの塗り分け（分類）を要するため、手作業でラベル付与を行うには高コストである。一方、実施の形態２においては、２次元ラベル（矩形）から３次元点群ラベルを自動生成し、３次元点群ラベルから画像セグメンテーションラベルを自動生成することが可能である。
　図１５は、実施の形態２にかかる電子制御装置１０の構成を模式的に示した機能ブロック図である。実施の形態１と同様に、実施の形態２にかかる電子制御装置１０は、３次元点群入力部１０１と、２次元ラベル入力部１０２と、ラベル変換部１０３とを有する。さらに、実施の形態２にかかる電子制御装置１０は、画像入力部１０４及びセグメンテーションラベル生成部１０５を有する。３次元点群入力部１０１、２次元ラベル入力部１０２及びラベル変換部１０３の動作については、実施の形態１と実質的に同様であるので、説明を省略する。
　画像入力部１０４は、画像入力手段として機能する。画像入力部１０４は、３次元点群データ、対応する２次元ラベル、及び、対応するカメラ画像を取得（入力）する。つまり、画像入力部１０４は、ラベルが付与された３次元点群データを取得する。セグメンテーションラベル生成部１０５は、セグメンテーションラベル生成手段として機能する。セグメンテーションラベル生成部１０５は、ラベル変換部１０３によって出力される、ラベルが付与された３次元点群データを用いて、画像セグメンテーションラベルデータを生成する。ここで、画像入力部１０４によって取得される画像が用いられる場合と、この画像が用いられない場合とがある。実施の形態２では、ラベル変換部１０３によって出力される３次元点を画像平面上に投影し、ラベル（クラスラベル又はＩＤラベル）毎に、投影された点間の画像ピクセルを補間することで、セグメンテーションラベルが生成される。
　ここで、ピクセルの補間処理については、既存の画像補間処理が用いられ得る。例えば３ｘ３ピクセルなどの範囲を指定して、クロージング（closing）のモーフォロジー（morphology）演算を行い、隣接ピクセルを埋める処理を行う。つまり、ラベルが付与された３次元点の周囲のピクセルに、そのラベルが付与されることとなる。このような処理を行うことで、３次元点群ラベルから、画像上のオブジェクトに重なるピクセルを塗りつぶした画像セグメンテーションラベルデータを生成することができる。
　また、補間処理に関しては、入力画像情報（カメラ画像）を参照して最適化を行ってもよい。また、ラベル毎に補間処理を実行した後、異なるラベル間で補間ピクセルの干渉が起こったときに、画像のエッジ及び色情報等を参照して境界を決定する方法等を用いてもよい。
（効果）
　実施の形態２にかかる方法によって生成された画像セグメンテーションラベルは、以下のように利用可能である。例えば、画像セグメンテーションラベルは、入力画像のみからオブジェクトの領域ピクセルを推定し、マスク領域を塗りつぶした結果を出力するような、画像セグメンテーションタスクに対する性能評価のための評価データセットとして利用され得る。また、例えば、画像セグメンテーションラベルは、画像セグメンテーションタスクを統計的機械学習によって実現する場合の学習用データセットとして利用され得る。
（動作）
　図１６は、実施の形態２にかかる電子制御装置１０によって実行される画像処理方法を示すフローチャートである。まず、上述したＳ１～Ｓ３の処理（図１３，図１４）が実行される。次に、画像入力部１０４は、ラベルが付与された３次元点群データを取得する（ステップＳ４０１）。セグメンテーションラベル生成部１０５は、取得された３次元点群データを、ラベルごとに、２次元画像平面へ投影する（ステップＳ４０２）。セグメンテーションラベル生成部１０５は、２次元画像平面上で、ラベル毎に、投影点に対してピクセル補間処理を行う（ステップＳ４０３）。この際、必要に応じて、入力画像の情報が参照され得る。
（変形例）
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートの各ステップの処理の１つ以上は、省略され得る。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　物体の３次元点群を示す３次元点群データを取得する３次元点群取得手段と、
　前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得する２次元ラベル取得手段と、
　前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するラベル変換手段と
　を有する画像処理装置。
　（付記２）
　前記ラベル変換手段は、前記３次元点群を前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとを対応付けることで、前記２次元ラベルデータを前記３次元点群データと対応付ける
　付記１に記載の画像処理装置。
　（付記３）
　前記ラベル変換手段は、前記２次元ラベルデータと前記３次元点群の前記写像とを照合することで、前記２次元ラベルデータを前記３次元点群データと対応付ける
　付記２に記載の画像処理装置。
　（付記４）
　前記ラベル変換手段は、前記３次元点群を所定の基準に従ってクラスタリングすることによって前記３次元点群を複数の小クラスタに分割し、分割された前記小クラスタごとに、前記２次元ラベルデータを対応付ける
　付記１～３のいずれか１項に記載の画像処理装置。
　（付記５）
　前記ラベル変換手段は、前記小クラスタを前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとの相関を表すパラメータに応じて、前記２次元ラベルデータと前記３次元点群データとを対応付ける
　付記４に記載の画像処理装置。
　（付記６）
　前記パラメータは、前記小クラスタの写像の要素が前記２次元ラベルデータに含まれる割合である包含率、及び、前記小クラスタの写像によって形成される凸包と前記２次元ラベルデータとの面積重複率の、少なくとも一方に対応する
　付記５に記載の画像処理装置。
　（付記７）
　前記ラベル変換手段は、前記クラスタリングにおいて、前記３次元点群それぞれのクラスタの所属を最適化する基準として、クラスタと点の間の距離を小さくする基準、及び、クラスタの要素が画像平面上に投影されたときに同一の２次元ラベル矩形の内部に包含されている期待値を高める基準とを組み合わせた基準を利用する
　付記４～６のいずれか１項に記載の画像処理装置。
　（付記８）
　前記３次元点群ラベルデータを前記２次元画像に対応する画像平面へ投影した写像についてピクセル補間処理を行うことで、画像セグメンテーションラベルデータを生成するセグメンテーションラベル生成手段
　をさらに有する付記１～７のいずれか１項に記載の画像処理装置。
　（付記９）
　物体の３次元点群を示す３次元点群データを取得し、
　前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得し、
　前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換する
　画像処理方法。
　（付記１０）
　前記３次元点群を前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとを対応付けることで、前記２次元ラベルデータを前記３次元点群データと対応付ける
　付記９に記載の画像処理方法。
　（付記１１）
　前記２次元ラベルデータと前記３次元点群の前記写像とを照合することで、前記２次元ラベルデータを前記３次元点群データと対応付ける
　付記１０に記載の画像処理方法。
　（付記１２）
　前記３次元点群を所定の基準に従ってクラスタリングすることによって前記３次元点群を複数の小クラスタに分割し、分割された前記小クラスタごとに、前記２次元ラベルデータを対応付ける
　付記９～１１のいずれか１項に記載の画像処理方法。
　（付記１３）
　前記小クラスタを前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとの相関を表すパラメータに応じて、前記２次元ラベルデータと前記３次元点群データとを対応付ける
　付記１２に記載の画像処理方法。
　（付記１４）
　前記パラメータは、前記小クラスタの写像の要素が前記２次元ラベルデータに含まれる割合である包含率、及び、前記小クラスタの写像によって形成される凸包と前記２次元ラベルデータとの面積重複率の、少なくとも一方に対応する
　付記１３に記載の画像処理方法。
　（付記１５）
　前記クラスタリングにおいて、前記３次元点群それぞれのクラスタの所属を最適化する基準として、クラスタと点の間の距離を小さくする基準、及び、クラスタの要素が画像平面上に投影されたときに同一の２次元ラベル矩形の内部に包含されている期待値を高める基準とを組み合わせた基準を利用する
　付記１２～１４のいずれか１項に記載の画像処理方法。
　（付記１６）
　前記３次元点群ラベルデータを前記２次元画像に対応する画像平面へ投影した写像についてピクセル補間処理を行うことで、画像セグメンテーションラベルデータを生成する
　付記９～１５のいずれか１項に記載の画像処理方法。
　（付記１７）
　物体の３次元点群を示す３次元点群データを取得するステップと、
　前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得するステップと、
　前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するステップと
　をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
１　画像処理装置
２　３次元点群取得部
４　２次元ラベル取得部
６　ラベル変換部
１０　電子制御装置
２０　画像出力装置
３０　点群出力装置
４０　端末装置
９０　画像平面
１００　画像処理システム
１０１　３次元点群入力部
１０２　２次元ラベル入力部
１０３　ラベル変換部
１０４　画像入力部
１０５　セグメンテーションラベル生成部
１０３１　３次元点群分割部
１０３２　クラスタ写像投影部
１０３３　ラベル照合部

Claims (17)

  1. 　物体の３次元点群を示す３次元点群データを取得する３次元点群取得手段と、
    　前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得する２次元ラベル取得手段と、
    　前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するラベル変換手段と
    　を有する画像処理装置。
  2. 　前記ラベル変換手段は、前記３次元点群を前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとを対応付けることで、前記２次元ラベルデータを前記３次元点群データと対応付ける
    　請求項１に記載の画像処理装置。
  3. 　前記ラベル変換手段は、前記２次元ラベルデータと前記３次元点群の前記写像とを照合することで、前記２次元ラベルデータを前記３次元点群データと対応付ける
    　請求項２に記載の画像処理装置。
  4. 　前記ラベル変換手段は、前記３次元点群を所定の基準に従ってクラスタリングすることによって前記３次元点群を複数の小クラスタに分割し、分割された前記小クラスタごとに、前記２次元ラベルデータを対応付ける
    　請求項１～３のいずれか１項に記載の画像処理装置。
  5. 　前記ラベル変換手段は、前記小クラスタを前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとの相関を表すパラメータに応じて、前記２次元ラベルデータと前記３次元点群データとを対応付ける
    　請求項４に記載の画像処理装置。
  6. 　前記パラメータは、前記小クラスタの写像の要素が前記２次元ラベルデータに含まれる割合である包含率、及び、前記小クラスタの写像によって形成される凸包と前記２次元ラベルデータとの面積重複率の、少なくとも一方に対応する
    　請求項５に記載の画像処理装置。
  7. 　前記ラベル変換手段は、前記クラスタリングにおいて、前記３次元点群それぞれのクラスタの所属を最適化する基準として、クラスタと点の間の距離を小さくする基準、及び、クラスタの要素が画像平面上に投影されたときに同一の２次元ラベル矩形の内部に包含されている期待値を高める基準とを組み合わせた基準を利用する
    　請求項４～６のいずれか１項に記載の画像処理装置。
  8. 　前記３次元点群ラベルデータを前記２次元画像に対応する画像平面へ投影した写像についてピクセル補間処理を行うことで、画像セグメンテーションラベルデータを生成するセグメンテーションラベル生成手段
    　をさらに有する請求項１～７のいずれか１項に記載の画像処理装置。
  9. 　物体の３次元点群を示す３次元点群データを取得し、
    　前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得し、
    　前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換する
    　画像処理方法。
  10. 　前記３次元点群を前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとを対応付けることで、前記２次元ラベルデータを前記３次元点群データと対応付ける
    　請求項９に記載の画像処理方法。
  11. 　前記２次元ラベルデータと前記３次元点群の前記写像とを照合することで、前記２次元ラベルデータを前記３次元点群データと対応付ける
    　請求項１０に記載の画像処理方法。
  12. 　前記３次元点群を所定の基準に従ってクラスタリングすることによって前記３次元点群を複数の小クラスタに分割し、分割された前記小クラスタごとに、前記２次元ラベルデータを対応付ける
    　請求項９～１１のいずれか１項に記載の画像処理方法。
  13. 　前記小クラスタを前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとの相関を表すパラメータに応じて、前記２次元ラベルデータと前記３次元点群データとを対応付ける
    　請求項１２に記載の画像処理方法。
  14. 　前記パラメータは、前記小クラスタの写像の要素が前記２次元ラベルデータに含まれる割合である包含率、及び、前記小クラスタの写像によって形成される凸包と前記２次元ラベルデータとの面積重複率の、少なくとも一方に対応する
    　請求項１３に記載の画像処理方法。
  15. 　前記クラスタリングにおいて、前記３次元点群それぞれのクラスタの所属を最適化する基準として、クラスタと点の間の距離を小さくする基準、及び、クラスタの要素が画像平面上に投影されたときに同一の２次元ラベル矩形の内部に包含されている期待値を高める基準とを組み合わせた基準を利用する
    　請求項１２～１４のいずれか１項に記載の画像処理方法。
  16. 　前記３次元点群ラベルデータを前記２次元画像に対応する画像平面へ投影した写像についてピクセル補間処理を行うことで、画像セグメンテーションラベルデータを生成する
    　請求項９～１５のいずれか１項に記載の画像処理方法。
  17. 　物体の３次元点群を示す３次元点群データを取得するステップと、
    　前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得するステップと、
    　前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するステップと
    　をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2019/009169 2019-03-07 2019-03-07 画像処理装置、画像処理方法及び記録媒体 WO2020179065A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/009169 WO2020179065A1 (ja) 2019-03-07 2019-03-07 画像処理装置、画像処理方法及び記録媒体
US17/435,496 US20220139094A1 (en) 2019-03-07 2019-03-07 Image processing device, image processing method, and recording medium
JP2021503375A JP7205613B2 (ja) 2019-03-07 2019-03-07 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/009169 WO2020179065A1 (ja) 2019-03-07 2019-03-07 画像処理装置、画像処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2020179065A1 true WO2020179065A1 (ja) 2020-09-10

Family

ID=72337076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009169 WO2020179065A1 (ja) 2019-03-07 2019-03-07 画像処理装置、画像処理方法及び記録媒体

Country Status (3)

Country Link
US (1) US20220139094A1 (ja)
JP (1) JP7205613B2 (ja)
WO (1) WO2020179065A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166912A1 (ja) * 2020-02-18 2021-08-26 株式会社デンソー 物体検出装置
WO2023007660A1 (ja) * 2021-07-29 2023-02-02 日本電信電話株式会社 ３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム
CN116091751A (zh) * 2022-09-09 2023-05-09 锋睿领创(珠海)科技有限公司 一种点云分类方法、装置、计算机设备及存储介质
CN116778104A (zh) * 2023-08-16 2023-09-19 江西省国土资源测绘工程总院有限公司 一种动态遥感监测的测绘方法及***
WO2024075447A1 (ja) * 2022-10-05 2024-04-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び記憶媒体
WO2024075448A1 (ja) * 2022-10-05 2024-04-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び記憶媒体
JP7501398B2 (ja) 2020-02-18 2024-06-18 株式会社デンソー 物体検出装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235079A1 (ja) * 2019-05-23 2020-11-26 日本電信電話株式会社 ３次元点群ラベル学習推定装置、３次元点群ラベル学習推定方法、及び３次元点群ラベル学習推定プログラム
JP7344289B2 (ja) * 2019-06-14 2023-09-13 富士フイルム株式会社 点群データ処理装置、点群データ処理方法及びプログラム
CN115578707B (zh) * 2022-10-25 2023-06-27 上海壁仞智能科技有限公司 目标识别方法、装置、电子设备及存储介质
CN115797454B (zh) * 2023-02-08 2023-06-02 深圳佑驾创新科技有限公司 一种鸟瞰图视角下多摄像机融合感知方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141548A (ja) * 2001-10-22 2003-05-16 Ge Medical Systems Global Technology Co Llc ３次元ラベリング装置及びその方法
JP2009076096A (ja) * 2008-11-27 2009-04-09 Mitsubishi Electric Corp 対象特定装置
US20180157920A1 (en) * 2016-12-01 2018-06-07 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing obstacle of vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141548A (ja) * 2001-10-22 2003-05-16 Ge Medical Systems Global Technology Co Llc ３次元ラベリング装置及びその方法
JP2009076096A (ja) * 2008-11-27 2009-04-09 Mitsubishi Electric Corp 対象特定装置
US20180157920A1 (en) * 2016-12-01 2018-06-07 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing obstacle of vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIDORI KURAHASHI: "An approach to detection of car position using LiDAR data foe automating parking", PROCEEDINGS OF THE 79TH NATIONAL CONVENTION OF IPSJ(2) ARTIFICIAL INTELLIGENCE AND COGNITIVE SCIENCE, vol. 79, no. 2, 16 March 2017 (2017-03-16), pages 2-163 - 2-164, XP009523853 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166912A1 (ja) * 2020-02-18 2021-08-26 株式会社デンソー 物体検出装置
JP7501398B2 (ja) 2020-02-18 2024-06-18 株式会社デンソー 物体検出装置
WO2023007660A1 (ja) * 2021-07-29 2023-02-02 日本電信電話株式会社 ３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム
CN116091751A (zh) * 2022-09-09 2023-05-09 锋睿领创(珠海)科技有限公司 一种点云分类方法、装置、计算机设备及存储介质
CN116091751B (zh) * 2022-09-09 2023-09-05 锋睿领创(珠海)科技有限公司 一种点云分类方法、装置、计算机设备及存储介质
WO2024075447A1 (ja) * 2022-10-05 2024-04-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び記憶媒体
WO2024075448A1 (ja) * 2022-10-05 2024-04-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び記憶媒体
CN116778104A (zh) * 2023-08-16 2023-09-19 江西省国土资源测绘工程总院有限公司 一种动态遥感监测的测绘方法及***
CN116778104B (zh) * 2023-08-16 2023-11-14 江西省国土资源测绘工程总院有限公司 一种动态遥感监测的测绘方法及***

Also Published As

Publication number Publication date
US20220139094A1 (en) 2022-05-05
JP7205613B2 (ja) 2023-01-17
JPWO2020179065A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
WO2020179065A1 (ja) 画像処理装置、画像処理方法及び記録媒体
US10354129B2 (en) Hand gesture recognition for virtual reality and augmented reality devices
US9710109B2 (en) Image processing device and image processing method
CN112950785B (zh) 点云标注方法、装置及***
US20110025834A1 (en) Method and apparatus of identifying human body posture
US20180357819A1 (en) Method for generating a set of annotated images
US20140072170A1 (en) 3d human pose and shape modeling
WO2021181647A1 (ja) 画像処理装置、画像処理方法、およびコンピュータ可読媒体
CN108363482A (zh) 一种基于双目结构光的三维手势控制智能电视的方法
CN111179329A (zh) 三维目标检测方法、装置及电子设备
WO2023185069A1 (zh) 物体检测方法及装置、计算机可读存储介质及无人车
US20230062973A1 (en) Image processing apparatus, image processing method, and storage medium
TWI716874B (zh) 影像處理裝置、影像處理方法、及影像處理程式
CN115690496A (zh) 基于YOLOv5的实时区域入侵检测方法
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
CN113723389B (zh) 一种支柱式绝缘子定位方法及装置
KR102540678B1 (ko) 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템
CN116704112A (zh) 一种用于对象重建的3d扫描***
Shao et al. 3D crowd surveillance and analysis using laser range scanners
EP4352451A1 (en) Texture mapping to polygonal models for industrial inspections
CN113808186A (zh) 训练数据生成方法、装置与电子设备
CN112633372B (zh) 一种ar设备的光源估计方法和装置
CN117011785B (zh) 基于时空关联和高斯热图的烟火检测方法、装置及***
CN115953755A (zh) 数据筛选方法、装置、设备及介质
KR102355578B1 (ko) 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918135

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503375

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19918135

Country of ref document: EP

Kind code of ref document: A1