WO2021065538A1 - 点群データ同一性推定装置及び点群データ同一性推定システム - Google Patents

点群データ同一性推定装置及び点群データ同一性推定システム Download PDF

Info

Publication number
WO2021065538A1
WO2021065538A1 PCT/JP2020/035231 JP2020035231W WO2021065538A1 WO 2021065538 A1 WO2021065538 A1 WO 2021065538A1 JP 2020035231 W JP2020035231 W JP 2020035231W WO 2021065538 A1 WO2021065538 A1 WO 2021065538A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
cloud data
data
identity
neural network
Prior art date
Application number
PCT/JP2020/035231
Other languages
English (en)
French (fr)
Inventor
以大 間下
友樹 浦西
ポチャラ ラサミー
健士朗 田又
宏美 大久保
西村　忠史
Original Assignee
ダイキン工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ダイキン工業株式会社 filed Critical ダイキン工業株式会社
Priority to CN202080066282.9A priority Critical patent/CN114424244B/zh
Priority to US17/754,219 priority patent/US11704841B2/en
Publication of WO2021065538A1 publication Critical patent/WO2021065538A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present disclosure relates to a point cloud data identity estimation device and a point cloud data identity estimation system.
  • each "point cloud” has different measurement conditions such as measurement direction, measurement position, measurement distance, measurement timing, and type of measurement device when measuring the actual environment. It is important to properly align (evaluate the identity) of "information about data”.
  • the present disclosure provides a point cloud data identity estimation device and a point cloud data identity estimation system that improve the accuracy of identity evaluation for information related to point cloud data.
  • the first aspect of the present disclosure is a point cloud data identity estimation device that estimates the identity of an object that is the source of two three-dimensional point cloud data.
  • a point cloud data acquisition unit that acquires first point cloud data and second point cloud data consisting of three-dimensional point cloud data, and a point cloud data acquisition unit.
  • a first neural network that inputs information about the first point cloud data and outputs the first point cloud data features
  • a second neural network that inputs information about the second point cloud data and outputs the second point cloud data features
  • an identity evaluation unit that outputs an evaluation regarding the identity of the 1st point cloud data and the 2nd point group data.
  • the first aspect of the present disclosure it is possible to provide a point cloud data identity estimation device that improves the accuracy of evaluation of identity for information related to point cloud data.
  • the second aspect of the present disclosure is the point cloud data identity estimation device according to the first aspect.
  • the identity evaluation unit When information about two 3D point group data created based on the same 3D shapes is input to the 1st neural network and the 2nd neural network as the first teacher data, the identity evaluation unit The weights of the first neural network and the second neural network are updated while sharing each other so as to output an evaluation indicating high identity.
  • the identity evaluation unit When information about two three-dimensional point group data created based on three-dimensional shapes different from each other is input to the first neural network and the second neural network as second teacher data, the identity evaluation unit The weights of the first neural network and the second neural network are updated while being shared with each other so as to output an evaluation indicating that the identity is low.
  • the third aspect of the present disclosure is the point cloud data identity estimation device according to the second aspect.
  • the first teacher data is one in which at least one of the information about the two three-dimensional point cloud data created based on the same three-dimensional shape is deleted, or at least one in which noise is added. is there.
  • the fourth aspect of the present disclosure is the point cloud data identity estimation device according to the second aspect.
  • the first teacher data is information on two three-dimensional point cloud data created based on measurements of the same three-dimensional shapes under different conditions.
  • the fifth aspect of the present disclosure is the point cloud data identity estimation device according to the first aspect.
  • the information regarding the first point cloud data and the information regarding the second point cloud data are three-dimensional point cloud data, respectively.
  • the sixth aspect of the present disclosure is the point cloud data identity estimation device according to the fifth aspect.
  • the first neural network and the second neural network so that the identity evaluation unit outputs an evaluation indicating that the identity is high when input to the first neural network and the second neural network as the third teacher data.
  • Update the neural network weights while sharing them with each other The three-dimensional point group data created based on the predetermined three-dimensional shape and the three-dimensional point group data created based on the predetermined three-dimensional shape tilted by the predetermined angle or more are obtained. 4
  • the first neural network and the second neural network so that the identity evaluation unit outputs an evaluation indicating that the identity is low when the teacher data is input to the first neural network and the second neural network. Update while sharing network weights with each other.
  • the seventh aspect of the present disclosure is the point cloud data identity estimation device according to the fifth aspect.
  • Three-dimensional point group data created based on a predetermined three-dimensional shape, and one having the same size as the predetermined three-dimensional shape or the predetermined three-dimensional shape is enlarged with an enlargement ratio or reduction ratio within a predetermined range.
  • the identity evaluation unit has high identity. The weights of the first neural network and the second neural network are updated while being shared with each other so as to output the indicated evaluation.
  • the identity evaluation unit outputs an evaluation indicating that the identity is low.
  • the weights of the first neural network and the second neural network are updated while being shared with each other.
  • the eighth aspect of the present disclosure is a measuring device that measures an object and creates three-dimensional point cloud data, and a point cloud that estimates the identity of the object that is the source of the two three-dimensional point cloud data.
  • a point cloud data identity estimation system having a data identity estimation device.
  • the point cloud data identity estimation device is A point cloud data acquisition unit that acquires first point cloud data and second point cloud data consisting of three-dimensional point cloud data, and a point cloud data acquisition unit.
  • a first neural network that inputs information about the first point cloud data and outputs the first point cloud data features
  • a second neural network that inputs information about the second point cloud data and outputs the second point cloud data features
  • an identity evaluation unit that outputs an evaluation regarding the identity of the 1st point cloud data and the 2nd point group data.
  • the eighth aspect of the present disclosure it is possible to provide a point cloud data identity estimation system that improves the accuracy of identity evaluation for information related to point cloud data.
  • FIG. 1 is a diagram showing an example of a system configuration of a point cloud data identity estimation system.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the point cloud data identity estimation device.
  • FIG. 3 is a diagram showing an example of learning data.
  • FIG. 4 is a diagram showing an example of the functional configuration of the data expansion unit.
  • FIG. 5 is a diagram showing an example of the functional configuration of the learning unit.
  • FIG. 6 is a flowchart showing the flow of learning processing by the learning unit.
  • FIG. 7 is a diagram showing an example of the functional configuration of the inference unit.
  • FIG. 8 is a flowchart showing the flow of inference processing by the inference unit.
  • FIG. 9 is a diagram showing a specific example of the inference result.
  • FIG. 1 is a diagram showing an example of a system configuration of a point cloud data identity estimation system.
  • the point cloud data identity estimation system 100 includes a first measurement device 110, a second measurement device 111, and a point cloud data identity estimation device 120.
  • the first measuring device 110 and the second measuring device 111 and the point cloud data identity estimation device 120 are connected by wire or wirelessly.
  • the first measuring device 110 and the second measuring device 111 measure various objects such as the object A and the object B placed in the actual environment 130, respectively, and create three-dimensional point cloud data. ..
  • the first measuring device 110 and the second measuring device 111 each transmit the created three-dimensional point cloud data to the point cloud data identity estimation device 120.
  • the first measuring device 110 and the second measuring device 111 are among various measurement conditions such as a measurement direction, a measurement position, a measurement distance, a measurement timing, and a type of device when measuring various objects. It is assumed that at least one of the measurement conditions is different.
  • the point cloud data identity estimation system 100 will be described as having two measuring devices, the first measuring device 110 and the second measuring device 111, but the point cloud data is the same.
  • the number of measuring devices included in the sex estimation system 100 may be one.
  • the number of measuring devices included in the point cloud data identity estimation system 100 may be three or more.
  • the point cloud data identity estimation device 120 is a device that evaluates the identity of the object that is the source of the two three-dimensional point cloud data.
  • the two 3D point cloud data are 3D point cloud data when an object is measured under different measurement conditions such as measurement direction, measurement position, measurement distance, measurement timing, and type of measurement device. Point to.
  • the first measuring device 110 and the second measuring device 111 each refer to three-dimensional point cloud data created by measuring an object placed in the actual environment 130.
  • the point cloud data identity estimation device 120 has a data acquisition unit 121, a data conversion unit 122, and a data expansion unit 123. , It functions as a learning unit 124 and an inference unit 125.
  • the data acquisition unit 121 acquires the three-dimensional point cloud data transmitted from the first measuring device 110 and the second measuring device 111.
  • the three-dimensional point cloud data acquired by the data acquisition unit 121 includes three-dimensional point cloud data acquired for the purpose of using as learning data and three-dimensional point cloud data acquired for the purpose of using as inference data. Is included.
  • the data conversion unit 122 converts the data format of the three-dimensional point cloud data acquired by the data acquisition unit 121, and generates data in a data format different from the three-dimensional point cloud data.
  • the data generated by the data conversion unit 122 includes, for example, data in various data formats such as mesh data (polygon data), surface data, and CAD data.
  • the data in these various data formats including the three-dimensional point cloud data are collectively referred to as "information about the point cloud data".
  • the data conversion unit 122 has a division function of dividing the three-dimensional point cloud data into a plurality of local three-dimensional point cloud data representing a part of the three-dimensional shape of the object.
  • the data conversion unit 122 uses a plurality of local three-dimensional point cloud data obtained by dividing the three-dimensional point cloud data acquired for the purpose of using it as learning data as training data for learning. It has a storage function for storing in the data storage unit 126.
  • the data conversion unit 122 has the same object among the two three-dimensional point cloud data acquired by measuring the same object by the first and second measuring devices 110 and 111. Two local three-dimensional point cloud data representing a part of the three-dimensional shape of the above are stored in association with each other. At this time, the data conversion unit 122 also stores information indicating that the data is created based on the same three-dimensional shapes.
  • the data conversion unit 122 has a part of the two three-dimensional point cloud data acquired by measuring the same object by the first and second measuring devices 110 and 111, which are different from each other. Two local three-dimensional point cloud data representing a three-dimensional shape are stored in association with each other. At this time, the data conversion unit 122 also stores information indicating that the data is created based on three-dimensional shapes that are different from each other.
  • the data conversion unit 122 has a part of two three-dimensional point cloud data of each object among the two three-dimensional point cloud data acquired by measuring different objects by the first and second measuring devices 110 and 111. Two local three-dimensional point cloud data representing the shape are stored in association with each other. At this time, the data conversion unit 122 also stores information indicating that the data is created based on three-dimensional shapes that are different from each other.
  • a plurality of local three-dimensional point cloud data obtained by dividing the three-dimensional point cloud data acquired for the purpose of using it as inference data is transmitted to the inference data storage unit 127. It has a storage function to store.
  • the data conversion unit 122 A plurality of local three-dimensional point cloud data obtained by dividing the three-dimensional point cloud data acquired by the measurement by the first measuring device 110, and A plurality of local 3D point cloud data obtained by dividing the 3D point cloud data acquired by the measurement by the second measuring device 111, and Are stored in association with each other.
  • the data expansion unit 123 expands the learning data by performing various modification processes on a plurality of local three-dimensional point cloud data stored in the learning data storage unit 126 as learning data.
  • the learning unit 124 has a deep learning framework.
  • the learning unit 124 reads out a plurality of local three-dimensional point cloud data stored in the learning data storage unit 126, and reads the data.
  • -A deep neural network (DNN: Deep Neural Network, for example, PointNet, which is a DNN for 3D point cloud data) is executed by using a set of two local 3D point cloud data associated with each other as input data.
  • -Weights included in the deep neural network for example, PointNet, which is a DNN for 3D point cloud data
  • Update parameters Perform learning process.
  • the learning unit 124 reflects the weight parameter adjusted by performing the learning process on the inference unit 125.
  • the inference unit 125 has a deep learning framework for three-dimensional point cloud data, like the learning unit 124.
  • the inference unit 125 reads out a plurality of local three-dimensional point cloud data stored in the inference data storage unit 127, and reads the data.
  • -A deep neural network for example, PointNet, which is a DNN for 3D point cloud data
  • PointNet which is a DNN for 3D point cloud data
  • FIG. 2 is a diagram showing an example of the hardware configuration of the point cloud data identity estimation device.
  • the point cloud data identity estimation device 120 includes a processor 201, a memory 202, an auxiliary storage device 203, a display device 204, an operation device 205, and an I / F (Interface) device 206. , Drive device 207.
  • the hardware of the point cloud data identity estimation device 120 is connected to each other via the bus 208.
  • the processor 201 has various arithmetic devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs onto the memory 202 and executes them.
  • the memory 202 has a main storage device such as a ROM (Read Only Memory) and a RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and the processor 201 realizes the above-mentioned function (see FIG. 1) by executing various programs read on the memory 202.
  • the auxiliary storage device 203 stores various programs and various data used when various programs are executed by the processor 201.
  • the learning data storage unit 126 and the inference data storage unit 127 are realized in the auxiliary storage device 203.
  • the display device 204 is a display device that displays the internal state of the point cloud data identity estimation device 120.
  • the operation device 205 is an input device used by the user of the point cloud data identity estimation device 120 when inputting various instructions to the point cloud data identity estimation device 120.
  • the I / F device 206 is a connecting device for connecting to the first measuring device 110 and the second measuring device 111 and receiving the three-dimensional point cloud data.
  • the drive device 207 is a device for setting the recording medium 210.
  • the recording medium 210 referred to here includes a medium such as a CD-ROM, a flexible disk, a magneto-optical disk, or the like that optically, electrically, or magnetically records information. Further, the recording medium 210 may include a semiconductor memory or the like for electrically recording information such as a ROM or a flash memory.
  • the various programs installed in the auxiliary storage device 203 are installed, for example, by setting the distributed recording medium 210 in the drive device 207 and reading the various programs recorded in the recording medium 210 by the drive device 207. Will be done.
  • the various programs installed in the auxiliary storage device 203 may be installed by being downloaded via a network (not shown).
  • FIG. 3 is a diagram showing an example of learning data. As shown in FIG. 3, the learning data 300 has "first point cloud data”, "second point cloud data”, and "correct answer label” as information items.
  • the "first point cloud data” stores a plurality of local three-dimensional point cloud data obtained by dividing the three-dimensional point cloud data 310 acquired by measuring the object by the first measuring device 110.
  • the example of FIG. 3 shows specific examples of the local three-dimensional point cloud data 311 and 312 as a plurality of local three-dimensional point cloud data.
  • the local three-dimensional point cloud data 311 and 312 include the X coordinate, Y coordinate, Z coordinate, R value, G value, and B value of each point.
  • the local three-dimensional point cloud data 311 and 312 include a point cloud of 2048 points.
  • the "second point cloud data” stores a plurality of local three-dimensional point cloud data obtained by dividing the three-dimensional point cloud data 320 acquired by measuring the object by the second measuring device 111.
  • the example of FIG. 3 shows a specific example of the local three-dimensional point cloud data 321 as a plurality of local three-dimensional point cloud data.
  • the local three-dimensional point cloud data 321 includes the X coordinate, the Y coordinate, the Z coordinate, the R value, the G value, and the B value of each point. Further, in the case of the example of FIG. 3, the local three-dimensional point cloud data 321 includes a point cloud of 2048 points.
  • FIG. 4 is a diagram showing an example of the functional configuration of the data expansion unit.
  • the data expansion unit 123 includes a read unit 401, a density change unit 402, a defect unit 403, a noise addition unit 404, a bias addition unit 405, an angle change unit 406, an enlargement / reduction unit 407, and a shift unit 408. ..
  • the reading unit 401 reads predetermined teacher data from the learning data 300 stored in the learning data storage unit 126.
  • the example of FIG. 4 shows a state in which the teacher data 410 including the local three-dimensional point cloud data 311 and 321 is read out as predetermined teacher data from the learning data storage unit 126.
  • the predetermined teacher data read by the reading unit 401 is teacher data in which information indicating that the "correct answer label" is the same is stored.
  • the density changing unit 402 is a local three-dimensional point cloud data of one of the two local three-dimensional point cloud data included in the “first point cloud data” and the “second point cloud data” of the teacher data 410.
  • the density of each point is changed by thinning each point at regular intervals.
  • the density changing unit 402 stores the teacher data 421 including the changed local three-dimensional point cloud data in the learning data storage unit 126.
  • the missing portion 403 is each of the local three-dimensional point cloud data of one of the two local three-dimensional point cloud data included in the “first point cloud data” and the “second point cloud data” of the teacher data 410. Randomly delete points.
  • the defect unit 403 stores the teacher data 422 including the local three-dimensional point cloud data after the defect in the learning data storage unit 126.
  • the noise addition unit 404 is a local 3D point cloud data of one of the two local 3D point cloud data included in the "first point cloud data" and the "second point cloud data" of the teacher data 410. Add noise (point) to an arbitrary position. Further, the noise addition unit 404 stores the teacher data 423 including the local three-dimensional point cloud data after the noise is added in the learning data storage unit 126.
  • the bias addition unit 405 is the local 3D point cloud data of one of the two local 3D point cloud data included in the “first point cloud data” and the “second point cloud data” of the teacher data 410.
  • a bias value is added to the R value, G value, and B value of each point (that is, the color is changed). Further, the bias adding unit 405 stores the teacher data 424 including the local three-dimensional point cloud data after adding the bias value in the learning data storage unit 126.
  • the angle changing unit 406 selects the local 3D point cloud data of one of the two local 3D point cloud data included in the “first point cloud data” and the “second point cloud data” of the teacher data 410. , Tilt more than the specified angle. Further, the angle changing unit 406 stores the teacher data 425 including the local three-dimensional point cloud data after being tilted by a predetermined angle or more in the learning data storage unit 126.
  • the teacher data 425 is an example of the fourth teacher data.
  • the angle changing unit 406 changes the "correct label" from “identical” to "non-identical” for the teacher data 425 including the local three-dimensional point cloud data after being tilted by a predetermined angle or more.
  • the two local three-dimensional point cloud data are said to have been created based on different three-dimensional shapes. Because it can be regarded.
  • the angle changing unit 406 uses the local three-dimensional point cloud of one of the two local three-dimensional point cloud data included in the "first point cloud data" and the "second point cloud data" of the teacher data 410.
  • the data may not be tilted or tilted less than a predetermined angle.
  • the angle changing unit 406 may store the teacher data 425 including the local three-dimensional point cloud data after not tilting or tilting less than a predetermined angle in the learning data storage unit 126.
  • the teacher data 425 in this case is an example of the third teacher data. Further, regarding the teacher data 425 in this case, the angle changing unit 406 does not change the “correct answer label”.
  • the scaling unit 407 uses the local 3D point cloud data of one of the two local 3D point cloud data included in the "first point cloud data" and the "second point cloud data" of the teacher data 410. Enlarge or reduce at an enlargement or reduction rate that exceeds a predetermined range.
  • the scaling unit 407 stores the teacher data 426 including the local three-dimensional point cloud data after being enlarged or reduced at a magnification or reduction rate exceeding a predetermined range in the learning data storage unit 126.
  • the teacher data 426 is an example of the sixth teacher data.
  • the "correct label” is changed from “same” to "non-identical” for the teacher data 426 including the local three-dimensional point cloud data after scaling at a scaling factor exceeding a predetermined range. Change to "same”.
  • the two local 3D point cloud data are based on different 3D shapes. This is because it can be regarded as having been created in.
  • the scaling unit 407 keeps the two local three-dimensional point cloud data included in the teacher data 410 at the same size, or reduces or reduces the scaling factor of one of the local three-dimensional point cloud data within a predetermined range. It may be enlarged or reduced at a rate. Further, the scaling unit 407 stores the training data 426 including the local three-dimensional point cloud data of the same size or the local three-dimensional point cloud data after being enlarged or reduced at the enlargement ratio or reduction ratio within a predetermined range. It may be stored in the unit 126.
  • the teacher data 426 in this case is an example of the fifth teacher data. Further, regarding the teacher data 426 in this case, the scaling unit 407 does not change the “correct answer label”.
  • the shift unit 408 is the center of the local 3D point cloud data of one of the two local 3D point cloud data included in the “first point cloud data” and the “second point cloud data” of the teacher data 410. Shift the position. Further, the shift unit 408 stores the teacher data 427 including the local three-dimensional point cloud data after shifting the center position in the learning data storage unit 126.
  • FIG. 5 is a diagram showing an example of the functional configuration of the learning unit. As shown in FIG. 5, the learning unit 124 infers whether or not the two local three-dimensional point cloud data are created based on the same three-dimensional shape (evaluate the identity). To use the Siamese network structure.
  • the learning unit 124 includes a first point cloud data input unit 501, a first DNN unit 502, a second point cloud data input unit 511, a second DNN unit 512, and an identity evaluation unit 521. Has. Further, the learning unit 124 has a comparison unit 531.
  • the first point cloud data input unit 501 reads out the local three-dimensional point cloud data stored in the "first point cloud data" from the learning data 300 stored in the learning data storage unit 126, and the first DNN unit 502. Enter in. Further, the second point cloud data input unit 511 reads out the local three-dimensional point cloud data stored in the "second point cloud data" from the learning data 300 stored in the learning data storage unit 126, and reads the second DNN. Input to unit 512.
  • the local 3D point cloud data input by the 1st point cloud data input unit 501 and the local 3D point cloud data input by the 2nd point cloud data input unit 511 correspond to each other in the learning data 300. It is the attached local three-dimensional point cloud data.
  • the first DNN unit 502 is an example of the first neural network, and for example, PointNet, which is a DNN for three-dimensional point cloud data, is used.
  • the first DNN unit 502 operates by inputting local three-dimensional point cloud data by the first point cloud data input unit 501, and outputs the first point cloud data feature amount (see the following equation (1)).
  • the above equation (1) represents that the first point cloud data feature amount including 1024 feature amounts is output from the local three-dimensional point cloud data including the 2048 point cloud.
  • the second DNN unit 512 is an example of the second neural network, and for example, PointNet, which is a DNN for three-dimensional point cloud data, is used.
  • PointNet which is a DNN for three-dimensional point cloud data
  • the second DNN unit 512 operates by inputting local three-dimensional point cloud data by the second point cloud data input unit 511, and outputs the second point cloud data feature amount (see the following equation (2)).
  • the above equation (2) represents that the second point cloud data feature amount including 1024 feature amounts is output from the local three-dimensional point cloud data including the 2048 point cloud.
  • the identity evaluation unit 521 processes the first point cloud data feature amount output from the first DNN unit 502 and the second point cloud data feature amount output from the second DNN unit 512. As a result, the identity evaluation unit 521 data for inferring whether or not the two local three-dimensional point cloud data are created based on the same three-dimensional shape (two local 3). (Evaluation of identity of 3D point cloud data) is output.
  • the Euclidean distance is based on the first point cloud data feature amount pn ⁇ and the second point cloud data feature amount pn ⁇ output from the first DNN unit 502 and the second DNN unit 512.
  • the distance D w is calculated and output to the comparison unit 531 (see the following equation (3)).
  • the first point cloud data feature amount pn ⁇ and the second point group data feature amount pn ⁇ satisfy the following equations (4-1) and (4-2).
  • the Euclidean distance D W represents an evaluation regarding the identity of two local three-dimensional point cloud data. If the Euclidean distance D W is small, it can be said that an evaluation indicating that the identity is high is output, and if the Euclidean distance D W is large, an evaluation indicating that the identity is low is output. it can.
  • the comparison unit 531 indicates that the Euclidean distance D w output by the identity evaluation unit 521 is the same (or non-identical) stored in the “correct answer label” read from the learning data storage unit 126.
  • the loss function L c is calculated based on the information (see equation (5) below).
  • the comparison unit 531 updates the weight parameters of the first DNN unit 502 and the second DNN unit 512 by back-propagating the calculated loss function L c.
  • the weight parameters of the 1DNN portion 502 and the weight parameters of the 2DNN portion 512 are shared with each other, when the loss function L c is reversely propagated, and the 1DNN unit 502 and the 2DNN portion 512, the same value Will be updated to the weight parameter of.
  • the loss function L c is back propagation, by updating while sharing the weight parameter and the 1DNN portion 502 and the 2DNN unit 512, according to the learning unit 124, for example, -Weight parameters can be learned so that point cloud data features suitable for outputting an evaluation of the identity of two local 3D point cloud data are output.
  • the weight parameter with high generalization performance is high.
  • the accuracy of the evaluation of identity can be improved.
  • FIG. 6 is a flowchart showing the flow of learning processing by the learning unit.
  • step S601 the first point cloud data input unit 501 and the second point cloud data input unit 511 read out a plurality of sets of two local three-dimensional point cloud data associated with each other from the learning data storage unit 126.
  • step S602 the first DNN unit 502 and the second DNN unit 512 operate by inputting a set of two read local three-dimensional point cloud data, and the first point cloud data feature amount pn ⁇ and the second point The group data feature amount pn ⁇ is output.
  • step S603 the identity evaluation unit 521 calculates the Euclidean distance D w based on the first point cloud data feature amount pn ⁇ and the second point group data feature amount pn ⁇ .
  • step S604 the comparison unit 531 calculates the loss function L c based on the calculated Euclidean distance D w and the correct answer label C read from the learning data storage unit 126. Further, the comparison unit 531 updates while sharing the weight parameters of the first DNN unit 502 and the second DNN unit 512 based on the calculated loss function L c.
  • step S605 the comparison unit 531 determines whether or not to end the learning process. If it is determined in step S605 that the learning process is not completed (NO in step S605), the process returns to step S602. As a result, the first point cloud data input unit 501 and the second point cloud data input unit 511 are a set of two local three-dimensional point cloud data associated with each other and have not yet been used in the learning process. Is input to the first DNN unit 502 and the second DNN unit 512.
  • step S605 determines whether the learning process is finished (YES in step S605). If it is determined in step S605 that the learning process is finished (YES in step S605), the learning process is finished and the updated weight parameter is reflected in the inference unit 125.
  • FIG. 7 is a diagram showing an example of the functional configuration of the inference unit. Similar to the learning unit 124, the inference unit 125 infers whether or not the two local 3D point cloud data are created based on the same 3D shape (evaluate the identity). To use the Siamese network structure.
  • the inference unit 125 includes the first point cloud data input unit 701, the first DNN unit 702, the second point cloud data input unit 711, the second DNN unit 712, and the identity evaluation unit 721. Has. Further, the inference unit 125 has an output unit 731.
  • the first point cloud data input unit 701 reads out the local three-dimensional point cloud data stored in the "first point cloud data" from the inference data stored in the inference data storage unit 127, and causes the first DNN unit 702 to read the local three-dimensional point cloud data. input. Further, the second point cloud data input unit 711 reads out the local three-dimensional point cloud data stored in the "second point cloud data” from the inference data stored in the inference data storage unit 127, and the second DNN unit. Enter in 712.
  • the inference data stored in the inference data storage unit 127 has the same configuration as the learning data 300 in FIG. 3, except that there is no “correct answer label” as an information item. To do.
  • the local 3D point cloud data input by the 1st point cloud data input unit 701 and the local 3D point cloud data input by the 2nd point cloud data input unit 711 are associated with each other in the inference data. It is the obtained local three-dimensional point cloud data.
  • the first DNN unit 702 is an example of the first neural network, operates by inputting local three-dimensional point cloud data by the first point cloud data input unit 701, and outputs the first point cloud data feature amount pn ⁇ . ..
  • the second DNN unit 712 is an example of the second neural network, operates by inputting local three-dimensional point cloud data by the second point cloud data input unit 711, and outputs the second point cloud data feature amount pn ⁇ . ..
  • the first DNN unit 702 and the second DNN unit 712 share weight parameters with each other.
  • the identity evaluation unit 721 processes the first point cloud data feature amount output from the first DNN unit 702 and the second point cloud data feature amount output from the second DNN unit 712. As a result, the identity evaluation unit 721 infers whether or not the two local three-dimensional point cloud data are created based on the same three-dimensional shape (two local 3). (Evaluation of identity of 3D point cloud data) is output.
  • the identity evaluation unit 721 the first point cloud data feature amount pn ⁇ output from the first DNN unit 702 and the second point cloud data feature amount pn ⁇ output from the second DNN unit 712 are set. Based on this, the Euclidean distance D w is calculated and output to the output unit 731. As described above, if the Euclidean distance D W is small, it can be said that an evaluation indicating that the identity is high is output, and if the Euclidean distance D W is large, an evaluation indicating that the identity is low is output. It can be said that it was done.
  • the output unit 731 determines whether or not the Euclidean distance D w output from the identity evaluation unit 721 is equal to or greater than a predetermined threshold value (see the following equations (6-1) and (6-2)).
  • the output unit 731 When it is determined that the Euclidean distance D w is larger than the predetermined threshold value t d (the above equation (6-1)), the output unit 731 outputs "non-identical” as an evaluation of identity. On the other hand, when it is determined that the Euclidean distance D w is equal to or less than the predetermined threshold value t d (the above equation (6-2)), the output unit 731 outputs "identical” as an evaluation of the sameness.
  • the inference unit 125 for example, -It is possible to output a point cloud data feature amount suitable for outputting an evaluation regarding the identity of two local three-dimensional point cloud data.
  • -It is possible to output a point cloud data feature amount suitable for outputting an evaluation regarding the identity of two local three-dimensional point cloud data.
  • same data can be output as an evaluation of identity regardless of whether the two local three-dimensional point cloud data are input to the first DNN unit 702 or the second DNN unit 712. It will have the effect.
  • the accuracy of the evaluation of identity can be improved.
  • FIG. 8 is a flowchart showing the flow of inference processing by the inference unit.
  • step S801 the first point cloud data input unit 701 and the second point cloud data input unit 711 read out a set of two local three-dimensional point cloud data associated with each other from the inference data storage unit 127.
  • step S802 the first DNN unit 702 and the second DNN unit 712 operate by inputting a set of two read local three-dimensional point cloud data, and the first point cloud data feature amount pn ⁇ and the second point The group data feature amount pn ⁇ is output.
  • step S803 the identity evaluation unit 721 calculates the Euclidean distance D w based on the first point cloud data feature amount pn ⁇ and the second point group data feature amount pn ⁇ .
  • step S804 the output unit 731 outputs an evaluation of identity (“identical” or “non-identical”) based on the Euclidean distance D w output from the identity evaluation unit 721.
  • FIG. 9 is a diagram showing a specific example of the inference result.
  • 9a in FIG. 9 shows an outline of the inference data used in the inference processing.
  • object type indicates the type of the object measured by the first measuring device 110 and the second measuring device 111.
  • the number of the same set of two local three-dimensional point cloud data refers to each other among a plurality of local three-dimensional point cloud data included in the corresponding "object type”.
  • the number of sets of two local 3D point cloud data created based on the same 3D shape is stored.
  • three-dimensional shapes different from each other among a plurality of local three-dimensional point cloud data included in the corresponding "object type” are used.
  • the number of pairs of two local 3D point cloud data created based on this is stored.
  • 9b in FIG. 9 shows the precision ratio for each "type of object" with respect to the inference result inferred by the inference unit 125 using the inference data shown in 9a in FIG. 9 as input data.
  • 9b of FIG. 9 according to the inference unit 125, it is possible to realize a high precision rate regardless of the “type of object”.
  • the point cloud data identity estimation device has a first point cloud data acquisition unit and a second point cloud data acquisition unit that acquire first point cloud data and second point cloud data composed of three-dimensional point cloud data. It has a first DNN unit that inputs the first point cloud data and outputs the first point cloud data feature amount, and a second DNN unit that inputs the second point cloud data and outputs the second point cloud data feature amount. .. -It has an identity evaluation unit that outputs an evaluation regarding the identity of the first point cloud data and the second point cloud data based on the first point cloud data feature amount and the second point group data feature amount. -The first DNN part and the second DNN part share weight parameters with each other.
  • the first embodiment it is possible to provide a point cloud data identity estimation device and a point cloud data identity estimation system that improve the accuracy of the evaluation of the identity of the three-dimensional point cloud data.
  • the information regarding the point cloud data has been described as being the three-dimensional point cloud data itself.
  • the information regarding the point cloud data is not limited to the three-dimensional point cloud data itself, and may be mesh data (polygon data), surface data, CAD data, or the like.
  • the association method in the case where two local three-dimensional point cloud data created based on different three-dimensional shapes are associated and stored as learning data 300 is not mentioned.
  • the association may be limited to the three-dimensional point cloud data in which each three-dimensional shape is located within a predetermined distance.
  • the teacher data whose "correct label” is "same” and the teacher whose "correct label” is “non-identical” depend on the degree of change. It may be configured to generate data.
  • the data expansion unit 123 has described a case where the teacher data having the “same” “correct label” is read out to expand the learning data 300.
  • the teacher data read when the data expansion unit 123 expands the learning data 300 is not limited to this, and the teacher data whose "correct answer label" is "non-identical” may be read.
  • each unit included in the data expansion unit 123 expands the learning data 300 has been described.
  • the method for expanding the learning data 300 is not limited to this, and the learning data 300 may be expanded by artificially changing various measurement conditions.
  • the measurement distance from the first measuring device 110 to the object is changed, or the type of the first measuring device 110 is changed for learning.
  • the data 300 may be expanded.
  • the learning data 300 may be expanded by tilting the angle of the first measuring device 110 and changing the measuring direction. Further, for example, instead of operating the shift unit 408, the learning data 300 may be expanded by shifting the measurement position of the first measurement device 110. Further, for example, instead of operating the noise addition unit 404 or the bias addition unit 405, the brightness of the illumination in the actual environment 130 is changed, or the measurement timing of the first measurement device 110 is changed for learning. The data 300 may be expanded.
  • the identity evaluation unit 521 outputs the Euclidean distance D w calculated based on the first point cloud data feature amount and the second point group data feature amount as an evaluation of identity. The case of doing so was explained.
  • the output method of the evaluation regarding the identity by the identity evaluation unit 521 is not limited to this, and the data calculated by using another function may be output as the evaluation regarding the identity.
  • the data calculated by a method other than the function may be output as an evaluation of identity.
  • the point cloud data identity estimation device 120 has been described as having a learning unit 124 and an inference unit 125.
  • the learning unit 124 and the inference unit 125 may be configured by separate devices.
  • Point group data identity estimation system 110 111: First and second measuring devices
  • Point group data identity estimation device 121 Data acquisition unit 122: Data conversion unit 123: Data expansion unit 124: Learning unit 125 : Reasoning unit 300: Learning data 310, 320: Three-dimensional point group data 311, 312, 321: Local three-dimensional point group data 401: Reading unit 402: Density changing unit 403: Missing part 404: Noise addition unit 405: Bias Addition part 406: Angle change part 407: Scale change part 408: Shift part 501: First point group data input part 502: First DNN part 511: Second point group data input part 512: Second DNN part 521: Identity evaluation part 531 : Comparison unit 701: 1st point group data input unit 702: 1st DNN unit 711: 2nd point group data input unit 712: 2nd DNN unit 721: Identity evaluation unit 731: Output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定装置、点群データ同一性推定システムを提供する。本開示は、２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置であって、３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている。

Description

点群データ同一性推定装置及び点群データ同一性推定システム
　本開示は、点群データ同一性推定装置及び点群データ同一性推定システムに関する。
　従来より、実環境を計測することで取得した３次元点群データ、または、該３次元点群データを異なるデータ形式に変換した変換後のデータ、等のいわゆる“点群データに関する情報”を用いて、３次元モデルを作成するモデル作成技術が知られている。
　当該モデル作成技術により３次元モデルを作成するにあたっては、実環境を計測する際の計測方向や計測位置、計測距離、計測タイミング、計測装置の種類等の各種計測条件が異なる、それぞれの“点群データに関する情報”について、適切に位置合わせ（同一性の評価）を行うことが重要となる。
特開２０１９－１０１９２７号公報
　本開示は、点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定装置、点群データ同一性推定システムを提供する。
　本開示の第１の態様は、２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置であって、
　３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、
　第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、
　第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、
　前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、
　前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている。
　本開示の第１の態様によれば、点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定装置を提供することができる。
　また、本開示の第２の態様は、第１の態様に記載の点群データ同一性推定装置であって、
　互いに同一の３次元形状を元にして作成された２つの３次元点群データに関する情報を第１教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
　互いに異なる３次元形状を元にして作成された２つの３次元点群データに関する情報を第２教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する。
　また、本開示の第３の態様は、第２の態様に記載の点群データ同一性推定装置であって、
　前記第１教師データは、互いに同一の３次元形状を元にして作成された２つの３次元点群データに関する情報のうち少なくとも一方を欠損させたもの、または、少なくとも一方にノイズを加えたものである。
　また、本開示の第４の態様は、第２の態様に記載の点群データ同一性推定装置であって、
　前記第１教師データは、互いに同一の３次元形状を異なる条件で計測したものを元にして作成された２つの３次元点群データに関する情報である。
　また、本開示の第５の態様は、第１の態様に記載の点群データ同一性推定装置であって、
　前記第１点群データに関する情報及び前記第２点群データに関する情報は、それぞれ、３次元点群データである。
　また、本開示の第６の態様は、第５の態様に記載の点群データ同一性推定装置であって、
　所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を傾けない或いは所定の角度未満傾けたものを元にして作成された３次元点群データを、第３教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
　所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を前記所定の角度以上傾けたものを元にして作成された３次元点群データを、第４教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する。
　また、本開示の第７の態様は、第５の態様に記載の点群データ同一性推定装置であって、
　所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状と同一サイズのもの或いは前記所定の３次元形状を所定範囲内の拡大率または縮小率で拡大または縮小したものを元にして作成された３次元点群データを、第５教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
　所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を前記所定範囲を超えた拡大率または縮小率で拡大または縮小したものを元にして作成された３次元点群データを、第６教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する。
　また、本開示の第８の態様は、対象物を計測し、３次元点群データを作成する計測装置と、２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置と、を有する点群データ同一性推定システムであって、
　前記点群データ同一性推定装置は、
　３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、
　第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、
　第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、
　前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、
　前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている。
　本開示の第８の態様によれば、点群データに関する情報について、同一性の評価の精度を向上させる点群データ同一性推定システムを提供することができる。
図１は、点群データ同一性推定システムのシステム構成の一例を示す図である。 図２は、点群データ同一性推定装置のハードウェア構成の一例を示す図である。 図３は、学習用データの一例を示す図である。 図４は、データ拡張部の機能構成の一例を示す図である。 図５は、学習部の機能構成の一例を示す図である。 図６は、学習部による学習処理の流れを示すフローチャートである。 図７は、推論部の機能構成の一例を示す図である。 図８は、推論部による推論処理の流れを示すフローチャートである。 図９は、推論結果の具体例を示す図である。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
　［第１の実施形態］
　＜点群データ同一性推定システムのシステム構成＞
　はじめに、第１の実施形態に係る点群データ同一性推定システムのシステム構成について説明する。図１は、点群データ同一性推定システムのシステム構成の一例を示す図である。
　図１に示すように、点群データ同一性推定システム１００は、第１の計測装置１１０と、第２の計測装置１１１と、点群データ同一性推定装置１２０と、を有する。第１の計測装置１１０及び第２の計測装置１１１と、点群データ同一性推定装置１２０とは、有線または無線を介して接続される。
　第１の計測装置１１０及び第２の計測装置１１１は、それぞれ、実環境１３０内に載置された対象物Ａ、対象物Ｂ等の各種対象物を計測し、３次元点群データを作成する。第１の計測装置１１０及び第２の計測装置１１１は、それぞれ、作成した３次元点群データを点群データ同一性推定装置１２０に送信する。
　なお、第１の計測装置１１０と第２の計測装置１１１とは、各種対象物を計測する際の計測方向、計測位置、計測距離、計測タイミング、装置の種類等の各種計測条件のうちの、少なくともいずれかの計測条件が異なっているものとする。
　また、第１の実施形態では、点群データ同一性推定システム１００が、第１の計測装置１１０及び第２の計測装置１１１の２台の計測装置を有するものとして説明するが、点群データ同一性推定システム１００が有する計測装置の台数は１台であってもよい。あるいは、点群データ同一性推定システム１００が有する計測装置の台数は３台以上であってもよい。
　点群データ同一性推定装置１２０は、２つの３次元点群データの元となる対象物の同一性を評価する装置である。
　なお、２つの３次元点群データとは、計測方向や計測位置、計測距離、計測タイミング、計測装置の種類等の各種計測条件が異なる状況下で対象物を計測した場合の３次元点群データを指す。具体的には、第１の計測装置１１０と第２の計測装置１１１とが、それぞれ、実環境１３０に載置された対象物を計測することで作成した３次元点群データを指す。
　点群データ同一性推定装置には、各種プログラムがインストールされており、当該プログラムを実行することで、点群データ同一性推定装置１２０は、データ取得部１２１、データ変換部１２２、データ拡張部１２３、学習部１２４、推論部１２５として機能する。
　データ取得部１２１は、第１の計測装置１１０及び第２の計測装置１１１より送信された３次元点群データを取得する。データ取得部１２１が取得する３次元点群データには、学習用データとして用いることを目的として取得する３次元点群データと、推論用データとして用いることを目的として取得する３次元点群データとが含まれる。
　データ変換部１２２は、データ取得部１２１が取得した３次元点群データのデータ形式を変換し、３次元点群データとは異なるデータ形式のデータを生成する。データ変換部１２２により生成されるデータには、例えば、メッシュデータ（ポリゴンデータ）、サーフェスデータ、ＣＡＤデータ等の各種データ形式のデータが含まれる。第１の実施形態では、３次元点群データを含むこれら各種データ形式のデータを総称して、“点群データに関する情報”と称す。ただし、以下では、説明の簡略化のため、データ変換部１２２のデータ形式変換機能は動作させず、点群データに関する情報＝３次元点群データそのもの、であるとして説明する。
　また、データ変換部１２２は、３次元点群データを、対象物の一部の３次元形状を表す、複数の局所３次元点群データに分割する分割機能を有する。
　また、データ変換部１２２は、学習用データとして用いることを目的として取得された３次元点群データを分割することで得た、複数の局所３次元点群データを、学習用データとして、学習用データ格納部１２６に格納する格納機能を有する。
　具体的には、データ変換部１２２は、同一の対象物を第１及び第２の計測装置１１０、１１１が計測することで取得された２つの３次元点群データのうち、該対象物の同一の一部の３次元形状を表す、２つの局所３次元点群データを、互いに対応付けて格納する。このとき、データ変換部１２２では、互いに同一の３次元形状を元にして作成されたものであることを示す情報もあわせて格納する。
　また、データ変換部１２２は、同一の対象物を第１及び第２の計測装置１１０、１１１が計測することで取得された２つの３次元点群データのうち、該対象物の異なる一部の３次元形状を表す、２つの局所３次元点群データを、互いに対応付けて格納する。このとき、データ変換部１２２では、互いに異なる３次元形状を元にして作成されたものであることを示す情報もあわせて格納する。
　また、データ変換部１２２は、異なる対象物を第１及び第２の計測装置１１０、１１１が計測することで取得された２つの３次元点群データのうち、各対象物の一部の３次元形状を表す、２つの局所３次元点群データを、互いに対応付けて格納する。このとき、データ変換部１２２では、互いに異なる３次元形状を元にして作成されたものであることを示す情報もあわせて格納する。
　更に、データ変換部１２２では、推論用データとして用いることを目的として取得された３次元点群データを分割することで得た、複数の局所３次元点群データを、推論用データ格納部１２７に格納する格納機能を有する。
　具体的には、データ変換部１２２は、
・第１の計測装置１１０が計測することで取得された３次元点群データを分割した複数の局所３次元点群データと、
・第２の計測装置１１１が計測することで取得された３次元点群データを分割した複数の局所３次元点群データと、
を互いに対応付けて格納する。
　データ拡張部１２３は、学習用データとして学習用データ格納部１２６に格納された、複数の局所３次元点群データに対して、種々の変更処理を行うことで、学習用データを拡張する。
　学習部１２４は、深層学習フレームワークを有する。学習部１２４は、学習用データ格納部１２６に格納された複数の局所３次元点群データを読み出し、
・互いに対応付けられた２つの局所３次元点群データの組を入力データとして、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network、例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔ）を実行し、
・同一の３次元形状を元にして作成されたものであるか否かを示す情報を正解ラベルとして、該ディープニューラルネットワーク（例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔ）に含まれる重みパラメータを更新する、
学習処理を行う。
　なお、学習部１２４は、学習処理を行うことで調整した重みパラメータを、推論部１２５に反映させる。
　推論部１２５は、学習部１２４同様、３次元点群データ用の深層学習フレームワークを有する。
　推論部１２５は、推論用データ格納部１２７に格納された複数の局所３次元点群データを読み出し、
・互いに対応付けられた２つの局所３次元点群データの組を入力データとして、ディープニューラルネットワーク（例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔ）を実行し、
・互いに対応付けられた２つの局所３次元点群データの元となる３次元形状が、同一であるか否かを推論する、
推論処理を行う。
　＜点群データ同一性推定装置のハードウェア構成＞
　次に、点群データ同一性推定装置１２０のハードウェア構成について説明する。図２は、点群データ同一性推定装置のハードウェア構成の一例を示す図である。
　図２に示すように、点群データ同一性推定装置１２０は、プロセッサ２０１と、メモリ２０２と、補助記憶装置２０３と、表示装置２０４と、操作装置２０５と、Ｉ／Ｆ（Interface）装置２０６と、ドライブ装置２０７とを有する。なお、点群データ同一性推定装置１２０の各ハードウェアは、バス２０８を介して相互に接続されている。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラムをメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは上記機能（図１参照）を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。学習用データ格納部１２６、推論用データ格納部１２７は、補助記憶装置２０３において実現される。
　表示装置２０４は、点群データ同一性推定装置１２０の内部状態を表示する表示デバイスである。操作装置２０５は、点群データ同一性推定装置１２０のユーザが点群データ同一性推定装置１２０に対して各種指示を入力する際に用いる入力デバイスである。Ｉ／Ｆ装置２０６は、第１の計測装置１１０及び第２の計測装置１１１と接続し、３次元点群データを受信するための接続デバイスである。
　ドライブ装置２０７は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０７にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０７により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、不図示のネットワークを介してダウンロードされることで、インストールされてもよい。
　＜学習用データの具体例＞
　次に、学習用データ格納部１２６に格納される学習用データの具体例について説明する。図３は、学習用データの一例を示す図である。図３に示すように、学習用データ３００は、情報の項目として、“第１点群データ”、“第２点群データ”、“正解ラベル”を有する。
　“第１点群データ”には、対象物を第１の計測装置１１０が計測することで取得した３次元点群データ３１０を分割した複数の局所３次元点群データが格納される。
　なお、図３の例は、複数の局所３次元点群データとして、局所３次元点群データ３１１、３１２の具体例を示している。図３に示すように、局所３次元点群データ３１１、３１２は、各点のＸ座標、Ｙ座標、Ｚ座標、Ｒ値、Ｇ値、Ｂ値を含む。また、図３の例の場合、局所３次元点群データ３１１、３１２は、２０４８点の点群を含む。
　“第２点群データ”には、対象物を第２の計測装置１１１が計測することで取得した３次元点群データ３２０を分割した複数の局所３次元点群データが格納される。
　なお、図３の例は、複数の局所３次元点群データとして、局所３次元点群データ３２１の具体例を示している。図３に示すように、局所３次元点群データ３２１は、各点のＸ座標、Ｙ座標、Ｚ座標、Ｒ値、Ｇ値、Ｂ値を含む。また、図３の例の場合、局所３次元点群データ３２１は、２０４８点の点群を含む。
　“正解ラベル”には、
・“第１点群データ”の局所３次元点群データと、
・“第２点群データ”の局所３次元点群データと、
で、互いに対応付けられた２つの局所３次元点群データが、同一の３次元形状を元にして作成されたものであるか否かを示す情報として、“同一”または“非同一”のいずれかが格納される。
　例えば、局所３次元点群データ３１１と局所３次元点群データ３２１とは、互いに同一の３次元形状を元にして作成されたものであるため、“正解ラベル”には、“同一”が格納される。なお、これらは第１教師データの一例である。
　一方、局所３次元点群データ３１２と局所３次元点群データ３２１は、互いに異なる３次元形状を元にして作成されたものであるため、“正解ラベル”には、“非同一”が格納される。なお、これらは第２教師データの一例である。
　＜データ拡張部の機能構成の詳細＞
　次に、データ拡張部１２３の機能構成の詳細について説明する。図４は、データ拡張部の機能構成の一例を示す図である。
　図４に示すように、データ拡張部１２３は、読み出し部４０１、密度変更部４０２、欠損部４０３、ノイズ付加部４０４、バイアス付加部４０５、角度変更部４０６、拡縮部４０７、シフト部４０８を有する。
　読み出し部４０１は、学習用データ格納部１２６に格納された学習用データ３００から、所定の教師データを読み出す。図４の例は、学習用データ格納部１２６から、所定の教師データとして、局所３次元点群データ３１１、３２１を含む教師データ４１０を読み出した様子を示している。なお、読み出し部４０１が読み出す所定の教師データとは、“正解ラベル”に同一であることを示す情報が格納されている教師データである。
　密度変更部４０２は、教師データ４１０の“第１点群データ”及び“第２点群データ”に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの各点を、一定間隔で間引くことで、各点の密度を変更する。密度変更部４０２は、変更した後の局所３次元点群データを含む教師データ４２１を、学習用データ格納部１２６に格納する。
　欠損部４０３は、教師データ４１０の“第１点群データ”及び“第２点群データ”に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの各点をランダムに欠損させる。また、欠損部４０３は、欠損させた後の局所３次元点群データを含む教師データ４２２を、学習用データ格納部１２６に格納する。
　ノイズ付加部４０４は、教師データ４１０の“第１点群データ”及び“第２点群データ”に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの任意の位置に、ノイズ（点）を付加する。また、ノイズ付加部４０４は、ノイズを付加した後の局所３次元点群データを含む教師データ４２３を、学習用データ格納部１２６に格納する。
　バイアス付加部４０５は、教師データ４１０の“第１点群データ”及び“第２点群データ”に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの各点のＲ値、Ｇ値、Ｂ値にバイアス値を付加する（つまり、色を変化させる）。また、バイアス付加部４０５は、バイアス値を付加した後の局所３次元点群データを含む教師データ４２４を、学習用データ格納部１２６に格納する。
　角度変更部４０６は、教師データ４１０の“第１点群データ”及び“第２点群データ”に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データを、所定の角度以上傾ける。また、角度変更部４０６は、所定の角度以上傾けた後の局所３次元点群データを含む教師データ４２５を、学習用データ格納部１２６に格納する。教師データ４２５は第４教師データの一例である。
　また、角度変更部４０６では、所定の角度以上傾けた後の局所３次元点群データを含む教師データ４２５については、“正解ラベル”を、“同一”から“非同一”に変更する。２つの局所３次元点群データのうちのいずれか一方を所定の角度以上傾けた場合、これら２つの局所３次元点群データは、互いに異なる３次元形状を元にして作成されたものであるとみなせるからである。
　なお、角度変更部４０６は、教師データ４１０の“第１点群データ”及び“第２点群データ”に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データを、傾けない或いは所定の角度未満傾けてもよい。また、角度変更部４０６は、傾けない或いは所定の角度未満傾けた後の局所３次元点群データを含む教師データ４２５を、学習用データ格納部１２６に格納してもよい。この場合の教師データ４２５は第３教師データの一例となる。また、この場合の教師データ４２５については、角度変更部４０６は“正解ラベル”を変更しない。
　拡縮部４０７は、教師データ４１０の“第１点群データ”及び“第２点群データ”に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データを、所定範囲を超えた拡大率または縮小率で拡大または縮小する。また、拡縮部４０７は、所定範囲を超えた拡大率または縮小率で拡大または縮小した後の局所３次元点群データを含む教師データ４２６を、学習用データ格納部１２６に格納する。教師データ４２６は第６教師データの一例である。
　また、拡縮部４０７では、所定範囲を超えた拡大率または縮小率で拡大または縮小した後の局所３次元点群データを含む教師データ４２６については、“正解ラベル”を、“同一”から“非同一”に変更する。２つの局所３次元点群データのうちのいずれか一方を所定範囲を超えた拡大率または縮小率で拡大または縮小した場合、これら２つの局所３次元点群データは、互いに異なる３次元形状を元にして作成されたものであるとみなせるからである。
　なお、拡縮部４０７は、教師データ４１０に含まれる２つの局所３次元点群データを、同一サイズのまま、あるいは、いずれか一方の局所３次元点群データを、所定範囲内の拡大率または縮小率で拡大または縮小してもよい。また、拡縮部４０７は、同一サイズの局所３次元点群データまたは所定範囲内の拡大率または縮小率で拡大または縮小した後の局所３次元点群データを含む教師データ４２６を、学習用データ格納部１２６に格納してもよい。この場合の教師データ４２６は第５教師データの一例となる。また、この場合の教師データ４２６については、拡縮部４０７は“正解ラベル”を変更しない。
　シフト部４０８は、教師データ４１０の“第１点群データ”及び“第２点群データ”に含まれる２つの局所３次元点群データのうちのいずれか一方の局所３次元点群データの中心位置をシフトする。また、シフト部４０８は、中心位置をシフトした後の局所３次元点群データを含む教師データ４２７を、学習用データ格納部１２６に格納する。
　このように、データ拡張部１２３が学習用データ３００を拡張することで、計測方向や計測位置、計測距離、計測タイミング、計測装置の種類等の各種計測条件が異なる、２つの局所３次元点群データの組を、疑似的に生成することができる。そして、拡張後の学習用データ３００を用いることで、第１の実施形態によれば、各種計測条件が異なる２つの局所３次元点群データについての同一性の評価の精度を向上させることができる。
　＜学習部の機能構成の詳細＞
　次に、学習部１２４の機能構成の詳細について説明する。図５は、学習部の機能構成の一例を示す図である。図５に示すように、学習部１２４は、２つの局所３次元点群データが互いに同一の３次元形状を元にして作成されたものであるか否かを推論するために（同一性を評価するために）、シャム（Siamese）ネットワーク構造を利用する。
　具体的には、図５に示すように、学習部１２４は、第１点群データ入力部５０１、第１ＤＮＮ部５０２、第２点群データ入力部５１１、第２ＤＮＮ部５１２、同一性評価部５２１を有する。更に、学習部１２４は、比較部５３１を有する。
　第１点群データ入力部５０１は、学習用データ格納部１２６に格納された学習用データ３００から、“第１点群データ”に格納された局所３次元点群データを読み出し、第１ＤＮＮ部５０２に入力する。また、第２点群データ入力部５１１は、学習用データ格納部１２６に格納された学習用データ３００から、“第２点群データ”に格納された局所３次元点群データを読み出し、第２ＤＮＮ部５１２に入力する。
　なお、第１点群データ入力部５０１により入力される局所３次元点群データと、第２点群データ入力部５１１により入力される局所３次元点群データとは、学習用データ３００において互いに対応付けられた局所３次元点群データである。
　第１ＤＮＮ部５０２は第１ニューラルネットワークの一例であり、例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔが用いられる。第１ＤＮＮ部５０２は、第１点群データ入力部５０１により局所３次元点群データが入力されることで動作し、第１点群データ特徴量を出力する（下式（１）参照）。
Figure JPOXMLDOC01-appb-M000001
 　上式（１）は、２０４８点の点群を含む局所３次元点群データから、１０２４個の特徴量を含む第１点群データ特徴量が出力されることを表している。
　第２ＤＮＮ部５１２は第２ニューラルネットワークの一例であり、例えば、３次元点群データ用のＤＮＮであるＰｏｉｎｔＮｅｔが用いられる。第２ＤＮＮ部５１２は、第２点群データ入力部５１１により局所３次元点群データが入力されることで動作し、第２点群データ特徴量を出力する（下式（２）参照）。
Figure JPOXMLDOC01-appb-M000002
 　上式（２）は、２０４８点の点群を含む局所３次元点群データから、１０２４個の特徴量を含む第２点群データ特徴量が出力されることを表している。
　同一性評価部５２１は、第１ＤＮＮ部５０２より出力された第１点群データ特徴量と、第２ＤＮＮ部５１２より出力された第２点群データ特徴量とを処理する。これにより、同一性評価部５２１は、２つの局所３次元点群データが、互いに同一の３次元形状を元にして作成されたものであるか否かを推論するためのデータ（２つの局所３次元点群データの同一性に関する評価）を出力する。
　具体的には、同一性評価部５２１では、第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２より出力された第１点群データ特徴量ｐｎαと第２点群データ特徴量ｐｎβとに基づいて、ユークリッド距離Ｄｗを算出し、比較部５３１に出力する（下式（３）参照）。
Figure JPOXMLDOC01-appb-M000003
 ただし、上式（３）において、第１点群データ特徴量ｐｎα、第２点群データ特徴量ｐｎβは、下式（４－１）、（４－２）を満たすものとする。
Figure JPOXMLDOC01-appb-M000004
 　つまり、ユークリッド距離ＤＷは、２つの局所３次元点群データの同一性に関する評価を表しているということができる。なお、ユークリッド距離ＤＷが小さければ、同一性が高いことを示す評価が出力されたということができ、ユークリッド距離ＤＷが大きければ、同一性が低いことを示す評価が出力されたということができる。
　比較部５３１は、同一性評価部５２１により出力されたユークリッド距離Ｄｗと、学習用データ格納部１２６より読み出された“正解ラベル”に格納された同一（または非同一）であることを示す情報とに基づいて損失関数Ｌｃを算出する（下式（５）参照）。
Figure JPOXMLDOC01-appb-M000005
 ただし、上式（５）において、Ｃには、正解ラベルが“同一”であれば“０”が入力され、“非同一”であれば“１”が入力される。また、上式（５）において、ｍはマージンである。
　比較部５３１は、算出した損失関数Ｌｃを逆伝播させることで、第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２の重みパラメータを更新する。
　なお、第１ＤＮＮ部５０２の重みパラメータと第２ＤＮＮ部５１２の重みパラメータとは互いに共有されており、損失関数Ｌｃが逆伝播された際、第１ＤＮＮ部５０２と第２ＤＮＮ部５１２とは、同じ値の重みパラメータに更新されることになる。
　このように、学習時に、損失関数Ｌｃを逆伝播させ、第１ＤＮＮ部５０２と第２ＤＮＮ部５１２とで重みパラメータを共有させながら更新することで、学習部１２４によれば、例えば、
・２つの局所３次元点群データの同一性に関する評価を出力するのに適した点群データ特徴量が出力されるように、重みパラメータを学習することができる、
・学習用データ３００において、“第１点群データ”及び“第２点群データ”にそれぞれ格納された局所３次元点群データの特性に偏りがあった場合でも、汎化性能の高い重みパラメータを学習することができる、
といった効果を奏することになる。この結果、第１の実施形態によれば、同一性の評価の精度を向上させることができる。
　＜学習処理の流れ＞
　次に、学習部１２４による学習処理の流れについて説明する。図６は、学習部による学習処理の流れを示すフローチャートである。
　ステップＳ６０１において、第１点群データ入力部５０１及び第２点群データ入力部５１１は、学習用データ格納部１２６より、互いに対応付けられた２つの局所３次元点群データの組を複数読み出す。
　ステップＳ６０２において、第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２は、読み出された２つの局所３次元点群データの組を入力することで動作し、第１点群データ特徴量ｐｎα及び第２点群データ特徴量ｐｎβを出力する。
　ステップＳ６０３において、同一性評価部５２１は、第１点群データ特徴量ｐｎαと第２点群データ特徴量ｐｎβとに基づいてユークリッド距離Ｄｗを算出する。
　ステップＳ６０４において、比較部５３１は、算出されたユークリッド距離Ｄｗと、学習用データ格納部１２６より読み出した正解ラベルＣとに基づいて、損失関数Ｌｃを算出する。また、比較部５３１は、算出した損失関数Ｌｃに基づいて、第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２の重みパラメータを共有させながら更新する。
　ステップＳ６０５において、比較部５３１は、学習処理を終了するか否かを判定する。ステップＳ６０５において、学習処理を終了しないと判定した場合には（ステップＳ６０５においてＮＯの場合には）、ステップＳ６０２に戻る。これにより、第１点群データ入力部５０１及び第２点群データ入力部５１１は、互いに対応付けられた２つの局所３次元点群データの組であって、まだ学習処理に用いられていない組を第１ＤＮＮ部５０２及び第２ＤＮＮ部５１２に入力する。
　一方、ステップＳ６０５において、学習処理を終了すると判定した場合には（ステップＳ６０５においてＹＥＳの場合には）、学習処理を終了し、更新した重みパラメータを、推論部１２５に反映する。
　＜推論部の機能構成＞
　次に、推論部１２５の機能構成の詳細について説明する。図７は、推論部の機能構成の一例を示す図である。学習部１２４と同様、推論部１２５は、２つの局所３次元点群データが、互いに同一の３次元形状を元にして作成されたものであるか否かを推論するために（同一性を評価するために）、シャム（Siamese）ネットワーク構造を利用する。
　具体的には、図７に示すように、推論部１２５は、第１点群データ入力部７０１、第１ＤＮＮ部７０２、第２点群データ入力部７１１、第２ＤＮＮ部７１２、同一性評価部７２１を有する。更に、推論部１２５は、出力部７３１を有する。
　第１点群データ入力部７０１は、推論用データ格納部１２７に格納された推論用データから、“第１点群データ”に格納された局所３次元点群データを読み出し、第１ＤＮＮ部７０２に入力する。また、第２点群データ入力部７１１は、推論用データ格納部１２７に格納された推論用データから、“第２点群データ”に格納された局所３次元点群データを読み出し、第２ＤＮＮ部７１２に入力する。
　なお、推論用データ格納部１２７に格納された推論用データは、情報の項目として“正解ラベル”がないことを除けば、図３の学習用データ３００と同様の構成を有しているものとする。
　なお、第１点群データ入力部７０１により入力される局所３次元点群データと、第２点群データ入力部７１１により入力される局所３次元点群データとは、推論用データにおいて互いに対応付けられた局所３次元点群データである。
　第１ＤＮＮ部７０２は第１ニューラルネットワークの一例であり、第１点群データ入力部７０１により局所３次元点群データが入力されることで動作し、第１点群データ特徴量ｐｎαを出力する。
　第２ＤＮＮ部７１２は第２ニューラルネットワークの一例であり、第２点群データ入力部７１１により局所３次元点群データが入力されることで動作し、第２点群データ特徴量ｐｎβを出力する。なお、第１ＤＮＮ部７０２と第２ＤＮＮ部７１２とは、互いに重みパラメータが共有されている。
　同一性評価部７２１は、第１ＤＮＮ部７０２より出力された第１点群データ特徴量と、第２ＤＮＮ部７１２より出力された第２点群データ特徴量とを処理する。これにより、同一性評価部７２１は、２つの局所３次元点群データが、互いに同一の３次元形状を元にして作成されたものであるか否かを推論するためのデータ（２つの局所３次元点群データの同一性に関する評価）を出力する。
　具体的には、同一性評価部７２１では、第１ＤＮＮ部７０２より出力された第１点群データ特徴量ｐｎαと、第２ＤＮＮ部７１２より出力された第２点群データ特徴量ｐｎβとに基づいて、ユークリッド距離Ｄｗを算出し、出力部７３１に出力する。なお、上述したように、ユークリッド距離ＤＷが小さければ、同一性が高いことを示す評価が出力されたということができ、ユークリッド距離ＤＷが大きければ、同一性が低いことを示す評価が出力されたということができる。
　出力部７３１では、同一性評価部７２１より出力されたユークリッド距離Ｄｗが所定の閾値以上であるか否かを判定する（下式（６－１）、（６－２）参照）。
Figure JPOXMLDOC01-appb-M000006
 　ユークリッド距離Ｄｗが所定の閾値ｔｄより大きいと判定した場合（上式（６－１））、出力部７３１では、同一性の評価として“非同一である”を出力する。一方、ユークリッド距離Ｄｗが所定の閾値ｔｄ以下であると判定した場合（上式（６－２））、出力部７３１では、同一性の評価として、“同一である”を出力する。
　このように、推論時に、互いに重みパラメータが共有された第１ＤＮＮ部７０２と第２ＤＮＮ部７１２とを用いることで、推論部１２５によれば、例えば、
・２つの局所３次元点群データの同一性に関する評価を出力するのに適した点群データ特徴量を出力することができる、
・２つの局所３次元点群データを第１ＤＮＮ部７０２と第２ＤＮＮ部７１２のいずれに入力するかによらず、同一性に関する評価として、同じデータを出力することができる、
といった効果を奏することになる。この結果、第１の実施形態によれば、同一性の評価の精度を向上させることができる。
　＜推論処理の流れ＞
　次に、推論部１２５による推論処理の流れについて説明する。図８は、推論部による推論処理の流れを示すフローチャートである。
　ステップＳ８０１において、第１点群データ入力部７０１及び第２点群データ入力部７１１は、推論用データ格納部１２７より、互いに対応付けられた２つの局所３次元点群データの組を読み出す。
　ステップＳ８０２において、第１ＤＮＮ部７０２及び第２ＤＮＮ部７１２は、読み出された２つの局所３次元点群データの組を入力することで動作し、第１点群データ特徴量ｐｎα及び第２点群データ特徴量ｐｎβを出力する。
　ステップＳ８０３において、同一性評価部７２１は、第１点群データ特徴量ｐｎαと第２点群データ特徴量ｐｎβとに基づいてユークリッド距離Ｄｗを算出する。
　ステップＳ８０４において、出力部７３１は、同一性評価部７２１より出力されたユークリッド距離Ｄｗに基づいて、同一性の評価（“同一である”または“非同一である”）を出力する。
　＜推論結果の具体例＞
　次に、推論部１２５による推論結果の具体例について説明する。図９は、推論結果の具体例を示す図である。
　このうち、図９の９ａは、推論処理に用いた推論用データの概要を示している。図９の９ａにおいて、“対象物の種類”には、第１の計測装置１１０及び第２の計測装置１１１が計測した対象物の種類を示している。
　また、図９の９ａにおいて、“２つの局所３次元点群データが同一の組の数”には、対応する“対象物の種類”に含まれる複数の局所３次元点群データのうち、互いに同一の３次元形状を元にして作成された、２つの局所３次元点群データの組の数が格納される。また、“２つの局所３次元点群データが非同一の組の数”には、対応する“対象物の種類”に含まれる複数の局所３次元点群データのうち、互いに異なる３次元形状を元にして作成された、２つの局所３次元点群データの組の数が格納される。
　一方、図９の９ｂは、図９の９ａに示す推論用データを入力データとして、推論部１２５が推論した推論結果についての、“対象物の種類”ごとの適合率を示している。図９の９ｂに示すように、推論部１２５によれば、“対象物の種類”によらず、高い適合率を実現することが可能となる。
　＜まとめ＞
　以上の説明から明らかなように、第１の実施形態に係る点群データ同一性推定システムは、点群データ同一性推定装置が、
・３次元点群データからなる第１点群データ及び第２点群データを取得する第１点群データ取得部及び第２点群データ取得部を有する。
・第１点群データを入力して第１点群データ特徴量を出力する第１ＤＮＮ部と、第２点群データを入力して第２点群データ特徴量を出力する第２ＤＮＮ部とを有する。
・第１点群データ特徴量と第２点群データ特徴量とに基づいて、第１点群データと第２点群データの同一性に関する評価を出力する同一性評価部を有する。
・第１ＤＮＮ部と第２ＤＮＮ部とは、互いに重みパラメータが共有されている。
　これにより、第１の実施形態によれば、３次元点群データについて、同一性の評価の精度を向上させる点群データ同一性推定装置及び点群データ同一性推定システムを提供することができる。
　［第２の実施形態］
　上記第１の実施形態では、点群データに関する情報が、３次元点群データそのものであるとして説明した。しかしながら、点群データに関する情報は、３次元点群データそのものに限定されず、メッシュデータ（ポリゴンデータ）やサーフェスデータ、ＣＡＤデータ等であってもよい。
　また、上記第１の実施形態では、互いに異なる３次元形状を元に作成した２つの局所３次元点群データを対応付けて学習用データ３００として格納する場合の対応付け方法について言及しなかった。しかしながら、２つの局所３次元点群データを対応付ける際、例えば、それぞれの３次元形状が所定の距離内に位置する３次元点群データに限定して対応付けを行うようにしてもよい。
　また、上記第１の実施形態では、データ拡張部１２３に含まれる各部のうち、
・角度変更部４０６が角度を変更する場合、及び、
・拡縮部４０７がサイズを変更する場合、
に変更の度合いに応じて、“正解ラベル”が“同一”の教師データと、“正解ラベル”が“非同一”の教師データとを生成するものとして説明した。
　しかしながら、角度変更部４０６、拡縮部４０７以外の各部についても、同様に、変更の度合いに応じて、“正解ラベル”が“同一”の教師データと、“正解ラベル”が“非同一”の教師データとを生成するように構成してもよい。
　また、上記第１の実施形態において、データ拡張部１２３は、“正解ラベル”が“同一”の教師データを読み出して、学習用データ３００を拡張する場合について説明した。しかしながら、データ拡張部１２３が学習用データ３００を拡張する際に読み出す教師データは、これに限定されず、“正解ラベル”が“非同一”の教師データを読み出してもよい。
　これにより、例えば、同一の３次元形状を有する別箇の個体であって、色のみが異なっている場合や、材質のみが異なっている場合に、同一性の評価として、誤って“同一である”との出力がなされてしまうといった事態を回避することができる。
　また、上記第１の実施形態では、データ拡張部１２３に含まれる各部が学習用データ３００を拡張する場合について説明した。しかしながら、学習用データ３００の拡張方法はこれに限定されず、各種計測条件を人為的に変更することで、学習用データ３００を拡張してもよい。
　例えば、密度変更部４０２または拡縮部４０７を動作させる代わりに、第１の計測装置１１０から対象物までの計測距離を変更したり、第１の計測装置１１０の種類を変更することで、学習用データ３００を拡張してもよい。
　また、例えば、角度変更部４０６を動作させる代わりに、第１の計測装置１１０の角度を傾け、計測方向を変更することで、学習用データ３００を拡張してもよい。また、例えば、シフト部４０８を動作させる代わりに、第１の計測装置１１０の計測位置をシフトすることで、学習用データ３００を拡張してもよい。また、例えば、ノイズ付加部４０４またはバイアス付加部４０５を動作させる代わりに、実環境１３０内の照明の明るさを変更したり、第１の計測装置１１０の計測タイミングを変更することで、学習用データ３００を拡張してもよい。
　また、上記第１の実施形態では、同一性評価部５２１が、第１点群データ特徴量と第２点群データ特徴量とに基づいて算出したユークリッド距離Ｄｗを、同一性に関する評価として出力する場合について説明した。しかしながら、同一性評価部５２１による同一性に関する評価の出力方法はこれに限定されず、他の関数を用いて算出したデータを、同一性に関する評価として出力してもよい。あるいは、関数以外の方法で（例えば、ＮＮを用いて）算出したデータを、同一性に関する評価として出力してもよい。
　また、上記第１の実施形態では、点群データ同一性推定装置１２０が、学習部１２４と推論部１２５とを有するものとして説明した。しかしながら、学習部１２４と推論部１２５とは、別体の装置により構成してもよい。
　以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
　本出願は、２０１９年９月３０日に出願された日本国特許出願第２０１９－１８１００４号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。
　１００　　　　　　　　　：点群データ同一性推定システム
　１１０、１１１　　　　　：第１、第２の計測装置
　１２０　　　　　　　　　：点群データ同一性推定装置
　１２１　　　　　　　　　：データ取得部
　１２２　　　　　　　　　：データ変換部
　１２３　　　　　　　　　：データ拡張部
　１２４　　　　　　　　　：学習部
　１２５　　　　　　　　　：推論部
　３００　　　　　　　　　：学習用データ
　３１０、３２０　　　　　：３次元点群データ
　３１１、３１２、３２１　：局所３次元点群データ
　４０１　　　　　　　　　：読み出し部
　４０２　　　　　　　　　：密度変更部
　４０３　　　　　　　　　：欠損部
　４０４　　　　　　　　　：ノイズ付加部
　４０５　　　　　　　　　：バイアス付加部
　４０６　　　　　　　　　：角度変更部
　４０７　　　　　　　　　：拡縮部
　４０８　　　　　　　　　：シフト部
　５０１　　　　　　　　　：第１点群データ入力部
　５０２　　　　　　　　　：第１ＤＮＮ部
　５１１　　　　　　　　　：第２点群データ入力部
　５１２　　　　　　　　　：第２ＤＮＮ部
　５２１　　　　　　　　　：同一性評価部
　５３１　　　　　　　　　：比較部
　７０１　　　　　　　　　：第１点群データ入力部
　７０２　　　　　　　　　：第１ＤＮＮ部
　７１１　　　　　　　　　：第２点群データ入力部
　７１２　　　　　　　　　：第２ＤＮＮ部
　７２１　　　　　　　　　：同一性評価部
　７３１　　　　　　　　　：出力部

Claims (8)

  1. 　２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置であって、
    　３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、
    　第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、
    　第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、
    　前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、
    　前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている、点群データ同一性推定装置。
  2. 　互いに同一の３次元形状を元にして作成された２つの３次元点群データに関する情報を第１教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
    　互いに異なる３次元形状を元にして作成された２つの３次元点群データに関する情報を第２教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する、請求項１に記載の点群データ同一性推定装置。
  3. 　前記第１教師データは、互いに同一の３次元形状を元にして作成された２つの３次元点群データに関する情報のうち少なくとも一方を欠損させたもの、または、少なくとも一方にノイズを加えたものである、請求項２に記載の点群データ同一性推定装置。
  4. 　前記第１教師データは、互いに同一の３次元形状を異なる条件で計測したものを元にして作成された２つの３次元点群データに関する情報である、請求項２に記載の点群データ同一性推定装置。
  5. 　前記第１点群データに関する情報及び前記第２点群データに関する情報は、それぞれ、３次元点群データである、請求項１に記載の点群データ同一性推定装置。
  6. 　所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を傾けない或いは所定の角度未満傾けたものを元にして作成された３次元点群データを、第３教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
    　所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を前記所定の角度以上傾けたものを元にして作成された３次元点群データを、第４教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する、請求項５に記載の点群データ同一性推定装置。
  7. 　所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状と同一サイズのもの或いは前記所定の３次元形状を所定範囲内の拡大率または縮小率で拡大または縮小したものを元にして作成された３次元点群データを、第５教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、同一性評価部が同一性が高いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新し、
    　所定の３次元形状を元にして作成された３次元点群データ、及び、前記所定の３次元形状を前記所定範囲を超えた拡大率または縮小率で拡大または縮小したものを元にして作成された３次元点群データを、第６教師データとして前記第１ニューラルネットワーク及び前記第２ニューラルネットワークに入力した場合に、前記同一性評価部が同一性が低いと示す評価を出力するように、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの重みを互いに共有させながら更新する、請求項５に記載の点群データ同一性推定装置。
  8. 　対象物を計測し、３次元点群データを作成する計測装置と、
    　２つの３次元点群データの元となる対象物の同一性を推定する点群データ同一性推定装置と、を有する点群データ同一性推定システムであって、
    　前記点群データ同一性推定装置は、
    　３次元点群データからなる第１点群データ及び第２点群データを取得する点群データ取得部と、
    　第１点群データに関する情報を入力して第１点群データ特徴量を出力する第１ニューラルネットワークと、
    　第２点群データに関する情報を入力して第２点群データ特徴量を出力する第２ニューラルネットワークと、
    　前記第１点群データ特徴量と前記第２点群データ特徴量とに基づいて、前記第１点群データと前記第２点群データの同一性に関する評価を出力する同一性評価部と、を有し、
    　前記第１ニューラルネットワークと前記第２ニューラルネットワークとは互いに重みが共有されている、点群データ同一性推定システム。
PCT/JP2020/035231 2019-09-30 2020-09-17 点群データ同一性推定装置及び点群データ同一性推定システム WO2021065538A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080066282.9A CN114424244B (zh) 2019-09-30 2020-09-17 点云数据相同性估计装置及点云数据相同性估计***
US17/754,219 US11704841B2 (en) 2019-09-30 2020-09-17 Apparatus for estimating sameness of point cloud data and system for estimating sameness of point cloud data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019181004A JP6819758B1 (ja) 2019-09-30 2019-09-30 点群データ同一性推定装置及び点群データ同一性推定システム
JP2019-181004 2019-09-30

Publications (1)

Publication Number Publication Date
WO2021065538A1 true WO2021065538A1 (ja) 2021-04-08

Family

ID=74200220

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035231 WO2021065538A1 (ja) 2019-09-30 2020-09-17 点群データ同一性推定装置及び点群データ同一性推定システム

Country Status (4)

Country Link
US (1) US11704841B2 (ja)
JP (1) JP6819758B1 (ja)
CN (1) CN114424244B (ja)
WO (1) WO2021065538A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021559A1 (ja) * 2021-08-16 2023-02-23 日本電気株式会社 推定モデル訓練装置、推定モデル訓練方法、認識装置、認識方法、及び非一時的なコンピュータ可読媒体
WO2024095380A1 (ja) * 2022-11-02 2024-05-10 三菱電機株式会社 点群識別装置、学習装置、点群識別方法、および、学習方法
CN115880276B (zh) * 2023-01-09 2023-05-12 广东电网有限责任公司肇庆供电局 一种基于多期点云对比的塔杆运行状态评估方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012057960A (ja) * 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP2019101927A (ja) * 2017-12-06 2019-06-24 株式会社日立製作所 学習システム及び画像検索システム
JP2019133545A (ja) * 2018-02-02 2019-08-08 株式会社デンソーアイティーラボラトリ 特徴表現装置、それを含む認識システム、及び特徴表現プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2674326C2 (ru) * 2017-02-20 2018-12-06 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Способ формирования архитектуры нейросети для классификации объекта, заданного в виде облака точек, способ ее применения для обучения нейросети и поиска семантически схожих облаков точек
WO2018190805A1 (en) * 2017-04-11 2018-10-18 Siemens Aktiengesellschaft Depth image pose search with a bootstrapped-created database
US10679075B2 (en) * 2017-08-31 2020-06-09 Nec Corporation Dense correspondence estimation with multi-level metric learning and hierarchical matching
CN108228798B (zh) * 2017-12-29 2021-09-17 百度在线网络技术（北京）有限公司 确定点云数据之间的匹配关系的方法和装置
CN108198145B (zh) * 2017-12-29 2020-08-28 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
US10832084B2 (en) * 2018-08-17 2020-11-10 Nec Corporation Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
CN110147706B (zh) * 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
WO2020154973A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
US20200311136A1 (en) * 2019-03-25 2020-10-01 HealthBlock, Inc. Measuring and increasing the quality of user-provided information
CN110246167A (zh) * 2019-06-14 2019-09-17 北京百度网讯科技有限公司 用于处理点云数据的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012057960A (ja) * 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP2019101927A (ja) * 2017-12-06 2019-06-24 株式会社日立製作所 学習システム及び画像検索システム
JP2019133545A (ja) * 2018-02-02 2019-08-08 株式会社デンソーアイティーラボラトリ 特徴表現装置、それを含む認識システム、及び特徴表現プログラム

Also Published As

Publication number Publication date
US11704841B2 (en) 2023-07-18
JP6819758B1 (ja) 2021-01-27
US20220343553A1 (en) 2022-10-27
JP2021056904A (ja) 2021-04-08
CN114424244A (zh) 2022-04-29
CN114424244B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
WO2021065538A1 (ja) 点群データ同一性推定装置及び点群データ同一性推定システム
US9361728B2 (en) Submarine topography construction method based on multi-source water depth data integration
WO2018113502A1 (zh) 一种自动生成网格与着色器多层次细节的方法
CN106251384A (zh) 使用三角形的递归再分的细分方法
US10229525B2 (en) Enhanced texture packing
JPWO2013111195A1 (ja) 描画データ生成装置及び画像描画装置
JP7074090B2 (ja) 深度超解像装置、深度超解像方法、及びプログラム
US20230267686A1 (en) Subdividing a three-dimensional mesh utilizing a neural network
JP2020068000A (ja) 訓練装置、訓練方法、予測装置、予測方法及びプログラム
JP7068242B2 (ja) 学習装置、学習方法およびプログラム
JP5372241B2 (ja) 画像表示装置
WO2009104218A1 (ja) 地図表示装置
US20230298269A1 (en) Systems and Methods for Generating Splat-Based Differentiable Two-Dimensional Renderings
KR20230167746A (ko) 메시 정점 위치에 대한 반복 및 루트 찾기를 사용하여 표면에 근사하는 폴리곤 메시를 생성하기 위한 방법 및 시스템
US9324187B2 (en) Visualization apparatus and method
US20230154102A1 (en) Representing 3d shapes with probabilistic directed distance fields
US20170039743A1 (en) Method and apparatus for performing path rendering
KR100848687B1 (ko) 3차원 그래픽 처리 장치 및 그것의 동작 방법
Shao et al. A multi-GPU accelerated virtual-reality interaction simulation framework
Liew et al. Searching for the optimum value of the smoothing parameter for a radial basis function surface with feature area by using the bootstrap method
JP2001076172A (ja) 曲面発生方法及びその装置並びに記憶媒体
US11954802B2 (en) Method and system for generating polygon meshes approximating surfaces using iteration for mesh vertex positions
US20230394767A1 (en) Method and system for generating polygon meshes approximating surfaces using root-finding and iteration for mesh vertex positions
CN111144064B (zh) 文字变形方法、介质、设备及装置
JP2023023446A (ja) 点群データ同一性推定装置及び点群データ同一性推定システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20871672

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20871672

Country of ref document: EP

Kind code of ref document: A1