WO2020129799A1 - 識別装置、スキャナシステム、識別方法、および識別用プログラム - Google Patents
識別装置、スキャナシステム、識別方法、および識別用プログラム Download PDFInfo
- Publication number
- WO2020129799A1 WO2020129799A1 PCT/JP2019/048650 JP2019048650W WO2020129799A1 WO 2020129799 A1 WO2020129799 A1 WO 2020129799A1 JP 2019048650 W JP2019048650 W JP 2019048650W WO 2020129799 A1 WO2020129799 A1 WO 2020129799A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- tooth
- identification
- dimensional data
- dimensional
- identification device
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4547—Evaluating teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
- A61C19/04—Measuring instruments specially adapted for dentistry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Definitions
- the present invention relates to an identification device, a scanner system including the identification device, an identification method, and an identification program.
- Patent Document 1 discloses a technique of recording the shape of a tooth by imaging the tooth using a three-dimensional camera.
- An operator such as a dentist can record the three-dimensional shape of the tooth to be imaged by using the three-dimensional camera disclosed in Patent Document 1, and the recorded three-dimensional shape of the tooth While confirming the three-dimensional image shown, it is possible to identify the type of the tooth by its own knowledge.
- the operator has identified the type of the tooth by his/her own knowledge based on the three-dimensional image including the tooth acquired by the three-dimensional camera, but the level of knowledge is different for each operator. Since they are different, the accuracy of the identification result varies depending on the level of knowledge of the operator. For example, the shapes of central incisor and lateral incisor, canine and first premolar, first premolar and second premolar, second premolar and first molar, first molar and second molar, etc. The identification accuracy is not particularly high between similar teeth.
- the present invention has been made to solve such a problem, and provides an identification device capable of accurately identifying the type of tooth, a scanner system including the identification device, an identification method, and an identification program.
- the purpose is to do.
- an identification device for identifying the type of tooth.
- the identification device identifies the type of the tooth based on an input unit to which the three-dimensional data including the tooth is input, and an estimated model including the three-dimensional data including the feature of the tooth input from the input unit and a neural network. And an output unit that outputs the identification result of the identification unit.
- a scanner system for acquiring tooth shape information.
- the scanner system is a three-dimensional scanner that acquires three-dimensional data including teeth using a three-dimensional camera, and an identification that identifies the type of the tooth based on the three-dimensional data including the tooth characteristics acquired by the three-dimensional scanner.
- the identification device includes an input unit to which the three-dimensional data is input, and the type of the tooth is identified based on the estimation model including the neural network and the three-dimensional data including the features of the tooth input from the input unit. And an output unit that outputs the identification result of the identification unit.
- an identification method for identifying the type of tooth includes a step of inputting three-dimensional data including a tooth, a step of identifying a type of the tooth based on an estimation model including a three-dimensional data including tooth characteristics and a neural network, and an identification by the identifying step. Outputting the result.
- an identification program for identifying the type of tooth includes a step of inputting three-dimensional data including a tooth to a computer, a step of identifying the type of the tooth based on an estimated model including the three-dimensional data including a tooth characteristic and a neural network, and an identification step. And outputting the identification result of the step of performing.
- FIG. 5 is a flowchart for explaining an example of a learning process executed by the identification device according to the present embodiment.
- 7 is a flowchart for explaining an example of a learning process executed by the server device according to the present embodiment.
- 7 is a flowchart for explaining an example of a service providing process executed by the identification device according to the present embodiment.
- 9 is a flowchart for explaining an example of a service providing process executed by an identification device according to a modification.
- FIG. 9 is a flowchart for explaining an example of a service providing process executed by an identification device according to a modification. It is a schematic diagram for demonstrating an example of the learning data set which concerns on a modification. 9 is a flowchart for explaining an example of a service providing process executed by an identification device according to a modification.
- FIG. 1 is a schematic diagram showing an application example of the identification device 100 according to the present embodiment.
- FIG. 2 is a schematic diagram showing the overall configuration of the system according to the present embodiment.
- the user 1 can acquire data of a three-dimensional shape (hereinafter, also referred to as “three-dimensional data”) including teeth of the subject 2.
- the “user” is any person who uses the scanner system 10, such as an operator such as a dentist, a dental assistant, a teacher or student at a dental university, a dental technician, a technician at a manufacturer, or a worker at a manufacturing factory. May be
- the “target person” may be any person who is a target of the scanner system 10, such as a patient in a dental clinic or a subject in a dental university.
- the scanner system 10 includes a three-dimensional scanner 200, an identification device 100, a display 300, and a speaker 400.
- the three-dimensional scanner 200 acquires three-dimensional data to be scanned by a built-in three-dimensional camera. Specifically, the three-dimensional scanner 200 scans the inside of the oral cavity to obtain, as three-dimensional data, position information (vertical direction, horizontal direction, and height direction) of each of a plurality of points forming a tooth to be scanned. The coordinate of each axis) is acquired using an optical sensor or the like.
- the identification device 100 generates a three-dimensional image based on the three-dimensional data acquired by the three-dimensional scanner 200, and displays the generated three-dimensional image on the display 300.
- the user 1 images the inside of the oral cavity of the subject 2 by the three-dimensional scanner 200 in order to digitally design a prosthesis or the like for compensating for the missing portion of the tooth of the subject 2 on a computer, and thus, the oral cavity including the tooth Acquire the three-dimensional data in.
- the user 1 images the inside of the oral cavity, three-dimensional data is sequentially acquired, and the three-dimensional image of the oral cavity is displayed on the display 300.
- the user 1 focuses on the insufficient portion of the 3D data while checking the 3D image displayed on the display 300.
- the user 1 identifies the type of tooth being scanned or completed scanning based on his/her own knowledge based on the three-dimensional image in which the three-dimensional data including the tooth acquired by the three-dimensional scanner 200 is visualized.
- the level of knowledge differs for each user 1, the accuracy of the identification result may vary depending on the knowledge of the user 1.
- the scanner system 10 automatically uses AI (Artificial Intelligence) of the identification device 100 to automatically determine the tooth type based on the three-dimensional data acquired by the three-dimensional scanner 200. Is configured to perform the identifying process.
- the process of identifying the tooth type by the identification device 100 is also referred to as “identification process”.
- central type means the central incisor, lateral incisor, canine, first premolar, second premolar, first molar, second molar, and third molar, upper left side of upper jaw
- the identification device 100 executes identification processing for identifying the type of the tooth based on the input three-dimensional data including the tooth feature and the estimation model including the neural network.
- the “estimation model” includes a neural network and parameters used by the neural network, and tooth information corresponding to the tooth type associated with the three-dimensional data, and identification of the tooth type using the three-dimensional data. It is optimized (adjusted) by learning based on the result. Specifically, when the three-dimensional data including the tooth is input, the estimation model extracts the tooth feature by a neural network based on the three-dimensional data and estimates the tooth type based on the extracted tooth feature. .. Then, the estimation model does not update the parameters if both match based on the tooth type estimated by itself and the tooth type (tooth information) associated with the input three-dimensional data, while both are If they do not match, the parameters are optimized by updating the parameters so that they match. As described above, the estimation model is learned by optimizing the parameters by using the teacher data including the three-dimensional data that is the input data and the tooth type (teeth information) that is the correct answer data.
- the estimation model optimized by the learning process is also referred to as a “learned model”. That is, in the present embodiment, the pre-learning estimation model and the learned estimation model are collectively referred to as an “estimation model”, and particularly, the learned estimation model is also referred to as a “learned model”.
- tooth information includes 1st assigned to the central incisor, 2nd assigned to the lateral incisor, 3rd assigned to the canine, 4th assigned to the 1st premolar and 2nd small. Numbers assigned to each tooth, such as number 5 assigned to molars, number 6 assigned to first molars, number 7 assigned to second molars, number 8 assigned to third molars, and so on. (For example, the number of teeth commonly used in the dental field).
- the “teeth information” may include information on the color assigned to each tooth, or may include information on the symbol assigned to each tooth.
- the identification device 100 When the identification device 100 performs the identification process using the learned model, the identification result is output to the display 300 and the speaker 400.
- the display 300 displays at least one of an image, a character, a number, an icon, and a symbol corresponding to the identification result. For example, the display 300 uses the identification result of the tooth by the identification device 100 after the completion of scanning the second molar corresponding to No. 7 on the right side of the lower jaw by the three-dimensional scanner 200, and displays “No. The scan is completed.”, and an image indicating that the scan of the second molar corresponding to No. 7 on the right side of the lower jaw is completed is displayed.
- the speaker 400 outputs a sound corresponding to the identification result.
- the speaker 400 uses the result of tooth identification by the identification device 100 after completing the scan of the second molar corresponding to No. 7 on the right side of the lower jaw by the three-dimensional scanner 200, and says “Completing lower right No. 7”. ", the voice indicating that the scan of the second molar corresponding to No. 7 on the right side of the lower jaw is completed is output.
- the identification result by the identification device 100 is output as scan information to the server device 500 arranged in the dental laboratory and the management center together with the three-dimensional data used in the identification process.
- the scanner system 10 is arranged in each of a plurality of local A to C.
- the local A and the local B are dental clinics, and an operator or a dental assistant who is the user 1 in the clinic of the dental clinic uses the scanner system 10 to generate a three-dimensional image including the teeth of the patient who is the subject 2. Get the data.
- the local C is a dental university, and in the dental university, the teacher or the student who is the user 1 acquires the three-dimensional data in the oral cavity of the subject who is the target person 2.
- the scan information (three-dimensional data, identification result) acquired in each of the local areas A to C is output via the network 5 to the server apparatus 500 located in the local D dental laboratory and management center.
- a dental technician or the like creates a prosthesis or the like for compensating for the missing part of the tooth of the subject 2 based on the scan information acquired from each of the local areas A to C.
- the server device 500 accumulates and stores the scan information acquired from each of the local A to C, and holds it as big data.
- the server device 500 is not limited to being placed in a management center different from the local one in the dental clinic, but may be placed locally.
- the server device 500 may be arranged in any one of the locals A to C.
- a plurality of identification devices 100 may be arranged in one local, and further, a server device 500 capable of communicating with the plurality of identification devices 100 may be arranged in the one local.
- the server device 500 may be realized in the form of a cloud service.
- the scan information held in the dental laboratory may be transmitted to the management center via the network 5, or the removable disk 550 such as a CD (Compact Disc) and a USB (Universal Serial Bus) memory. May be sent to the management center via.
- CD Compact Disc
- USB Universal Serial Bus
- the scan information may be sent to the management center from each of the local AC through the removable disk 550 without going through the network 5. Also, the scan information may be sent to each other between the local A to local C via the network 5 or the removable disk 550.
- the identification device 100 of each of the local ACs holds an estimation model by itself, and identifies the type of tooth using the estimation model held by each individual during the identification processing.
- the identification device 100 of each of the local A to C learns its own estimation model by its own learning process to generate a learned model.
- the server device 500 also holds the estimation model.
- the server device 500 learns the estimation model by a learning process using the identification device 100 of each local A to C and the scan information acquired from the dental laboratory to generate a learned model, and the local model of each local A to C is learned.
- the learned model is distributed to the identification device 100.
- both the identification devices 100 of the local A to C and the server device 500 execute the learning process, but only the identification devices 100 of the local A to C execute the learning process.
- only the server device 500 may execute the learning process.
- the estimation model (learned model) held by the identification devices 100 of the local ACs is common to the identification devices 100 of the local ACs. Be converted.
- the server device 500 may have the function of the identification processing in the identification device 100. For example, each local A to C transmits the acquired three-dimensional data to the server apparatus 500, and the server apparatus 500 identifies the tooth type in each based on the respective three-dimensional data received from each local AC. The result may be calculated. Then, the server device 500 may transmit each identification result to each of the local ACs, and each of the local ACs may output the identification result received from the server device 500 to a display or the like. In this way, each local A to C and the server device 500 may be configured in the form of a cloud service. In this way, as long as the server device 500 holds the estimation model (learned model), each local A to C can obtain the identification result without holding the estimation model (learned model). it can.
- the type of tooth is automatically identified based on the three-dimensional data acquired by the three-dimensional scanner 200 using the AI of the identification device 100. It By using the AI, it is possible to find the tooth characteristics obtained from the knowledge of the user 1. Further, it is also possible to find out the tooth features that cannot be extracted by the user 1, so that the user 1 can accurately identify the tooth type without relying on his or her own knowledge.
- FIG. 3 is a schematic diagram showing a hardware configuration of the identification device 100 according to the present embodiment.
- the identification device 100 may be realized by a general-purpose computer or a computer dedicated to the scanner system 10, for example.
- the identification device 100 includes a scanner interface 102, a display interface 103, a speaker interface 104, a peripheral device interface 105, a network controller 106, and a media reading device 107 as main hardware elements.
- the scanner interface 102 is an interface for connecting the three-dimensional scanner 200, and realizes data input/output between the identification device 100 and the three-dimensional scanner 200.
- the display interface 103 is an interface for connecting the display 300, and realizes input/output of data between the identification device 100 and the display 300.
- the display 300 is composed of, for example, an LCD (Liquid Crystal Display) or an organic ELD (Electroluminescence) display.
- the speaker interface 104 is an interface for connecting the speaker 400, and realizes input/output of data between the identification device 100 and the speaker 400.
- the peripheral device interface 105 is an interface for connecting peripheral devices such as a keyboard 601 and a mouse 602, and realizes data input/output between the identification device 100 and the peripheral devices.
- the network controller 106 exchanges data with each of the devices arranged in the dental laboratory, the server device 500 arranged in the management center, and the other identification devices 100 arranged locally through the network 5. Send and receive.
- the network controller 106 supports any communication method such as Ethernet (registered trademark), wireless LAN (Local Area Network), and Bluetooth (registered trademark).
- the media reading device 107 reads various data such as scan information stored in the removable disk 550.
- the PC display 108 is a display dedicated to the identification device 100.
- the PC display 108 is composed of, for example, an LCD or an organic EL display. Although the PC display 108 is separate from the display 300 in the present embodiment, it may be shared with the display 300.
- the memory 109 provides a storage area for temporarily storing a program code, a work memory, etc. when the arithmetic unit 130 executes an arbitrary program.
- the memory 109 is composed of a volatile memory device such as DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory).
- the storage 110 provides a storage area for storing various data necessary for identification processing and learning processing.
- the storage 110 is composed of a non-volatile memory device such as a hard disk or SSD (Solid State Drive).
- the storage 110 includes scan information 112, an estimation model 114 (learned model 114a), a learning data set 116, color classification data 118, profile data 119, an identification program 120, a learning program 121, and It stores the OS (Operating System) 127.
- the scan information 112 includes the three-dimensional data 122 acquired by the three-dimensional scanner 200 and the identification result 124 by the identification processing executed based on the three-dimensional data 122.
- the identification result 124 is stored in the storage 110 in association with the three-dimensional data 122 used in the identification process.
- the learning data set 116 is a group of learning data used for the learning process of the estimation model 114.
- the color classification data 118 is data used for generating the learning data set 116 and learning processing.
- the profile data 119 is attribute information related to the target person 2 and is data (for example, medical record information) in which profiles of the target person 2 such as age, sex, race, height, weight, and place of residence are summarized. is there.
- the identification program 120 is a program for executing identification processing.
- the learning program 121 is a program for executing the learning process of the estimation model 114, and a part thereof includes a program for executing the identification process.
- the arithmetic unit 130 is an arithmetic entity that executes various programs such as identification processing and learning processing by executing various programs, and is an example of a computer.
- the arithmetic unit 130 is composed of, for example, a CPU (Central Processing Unit) 132, an FPGA (Field-Programmable Gate Array) 134, and a GPU (Graphics Processing Unit) 136.
- the arithmetic unit 130 may be configured by at least one of the CPU 132, the FPGA 134, and the GPU 136, or may be configured by the CPU 132 and the FPGA 134, the FPGA 134 and the GPU 136, the CPU 132 and the GPU 136, or the CPU 132, the FPGA 134, and the GPU 136. May be done.
- the arithmetic device 130 may also be referred to as a processing circuit.
- FIG. 4 is a schematic diagram showing the hardware configuration of the server device 500 according to this embodiment.
- the server device 500 may be realized by, for example, a general-purpose computer or a computer dedicated to the scanner system 10.
- the server device 500 has, as main hardware elements, a display interface 503, a peripheral device interface 505, a network controller 506, a media reading device 507, a memory 509, a storage 510, and an operation. And a device 530.
- the display interface 503 is an interface for connecting the display 350, and realizes data input/output between the server device 500 and the display 350.
- the display 350 is composed of, for example, an LCD or an organic ELD display.
- the peripheral device interface 505 is an interface for connecting peripheral devices such as a keyboard 651 and a mouse 652, and realizes data input/output between the server device 500 and the peripheral devices.
- the network controller 506 transmits/receives data to/from each of the identification device 100 arranged locally and the device arranged in the dental laboratory via the network 5.
- the network controller 506 may support any communication method such as Ethernet (registered trademark), wireless LAN, and Bluetooth (registered trademark).
- the media reading device 507 reads various data such as scan information stored in the removable disk 550.
- the memory 509 provides a storage area for temporarily storing a program code, a work memory, etc. when the arithmetic unit 530 executes an arbitrary program.
- the memory 509 is composed of, for example, a volatile memory device such as DRAM or SRAM.
- the storage 510 provides a storage area for storing various data necessary for learning processing and the like.
- the storage 510 is composed of, for example, a non-volatile memory device such as a hard disk or SSD.
- the storage 510 stores scan information 512, an estimation model 514 (learned model 514a), a learning data set 516, color classification data 518, profile data 519, a learning program 521, and an OS 527.
- the scan information 512 includes the three-dimensional data 522 acquired from the identification device 100 and the dental laboratory which are locally arranged via the network 5, and the identification result 524 by the identification process executed based on the three-dimensional data 522. ..
- the identification result 524 is stored in the storage 510 in association with the three-dimensional data 522 used in the identification process.
- the learning data set 516 is a group of learning data used for the learning process of the estimation model 514.
- the color classification data 518 is data used for the generation and learning processing of the learning data set 516.
- the profile data 519 is attribute information about the target person 2 and is data (for example, medical record information) in which profiles of the target person 2 such as age, sex, race, height, weight, and place of residence are summarized. ..
- the learning program 521 is a program for executing the learning process of the estimation model 514, and a part thereof includes a program for executing the identification process.
- estimation model 514 (learned model 514a) is transmitted to the local identification device 100, so that the identification device 100 holds the estimation model 114 (learned model 114a).
- the arithmetic unit 530 is an arithmetic entity that executes various processes such as learning by executing various programs, and is an example of a computer.
- the arithmetic unit 530 includes, for example, a CPU 532, an FPGA 534, a GPU 536, and the like.
- the arithmetic unit 530 may be composed of at least one of the CPU 532, the FPGA 534, and the GPU 536, or may be composed of the CPU 532 and the FPGA 534, the FPGA 534 and the GPU 536, the CPU 532 and the GPU 536, or the CPU 532, the FPGA 534, and the GPU 536. May be done.
- the arithmetic device 530 may be referred to as an arithmetic circuit.
- FIG. 5 is a schematic diagram showing the functional configuration of the identification device 100 according to the present embodiment.
- FIG. 6 is a schematic diagram for explaining the identification processing by the identification device 100 according to the present embodiment.
- FIG. 7 is a schematic diagram showing an example of a tooth to be identified in the identification processing according to the present embodiment. In FIG. 7, the tooth to be scanned by the three-dimensional scanner 200 is represented by a diagram.
- the identification device 100 has an input unit 1102, a profile acquisition unit 1119, an identification unit 1130, and an output unit 1103 as functional units related to identification processing. Each of these functions is realized by the arithmetic unit 130 of the identification device 100 executing the OS 127 and the identification program 120.
- the 3D data acquired by the 3D scanner 200 is input to the input unit 1102.
- the profile acquisition unit 1119 acquires the profile data 119 of the target person 2.
- the identification unit 1130 uses the estimation model 114 (learned model 114a) based on the three-dimensional data input to the input unit 1102 and the profile data 119 of the target person 2 acquired by the profile acquisition unit 1119. Perform identification processing to identify the type.
- the estimation model 114 includes a neural network 1142 and parameters 1144 used by the neural network 1142.
- the parameter 1144 includes a weighting coefficient used for calculation by the neural network 1142 and a judgment value used for judgment of discrimination.
- the output unit 1103 outputs the identification result of the identification unit 1130 to the display 300, the speaker 400, and the server device 500.
- the three-dimensional data input to the input unit 1102 includes three-dimensional position information at each tooth point and color information at each tooth point.
- Position information is used in the identification process.
- the position information includes the coordinates of the absolute position in three dimensions based on a predetermined position.
- the position information includes an X-axis (for example, a lateral axis of the tooth), a Y-axis (for example, a longitudinal axis of the tooth), and a Z-axis (for example, the tooth) with the center position at each point of the tooth as an origin.
- the coordinate of the absolute position in each axis is included.
- the position information is not limited to the coordinates of the absolute position in three dimensions based on the predetermined position, and may include the coordinates of the relative position in three dimensions indicating the distance from the adjacent point, for example.
- the obtained three-dimensional image shows the upper lip side portion, the palate side portion, and the incisal edge side.
- the user 1 scans the inside of the oral cavity of the subject 2 so as to include at least the image of the region.
- the teeth to be scanned by the three-dimensional scanner 200 are the maxillary canine and molars
- the three-dimensional image obtained should include at least images of the buccal region, the palate region, and the occlusal region.
- the user 1 scans the inside of the oral cavity of the target person 2.
- the obtained three-dimensional image includes at least images of the lower lip side portion, the lingual side portion, and the incisal side portion.
- the user 1 scans the inside of the oral cavity of the subject 2.
- the teeth to be scanned by the three-dimensional scanner 200 are the lower canine and the molars, the user can make the obtained three-dimensional image include at least images of the buccal region, the lingual region, and the occlusal region. 1 scans the inside of the oral cavity of the subject 2.
- the shape and size of the teeth of the subject 2 differ depending on the type.
- the upper labial surface is generally U-shaped, whereas in the upper canine, the buccal surface is generally pentagonal.
- Each tooth is characteristic in shape and size according to its type, and the identifying unit 1130 uses the estimation model 114 based on the three-dimensional data in which these characteristic shapes and sizes are digitized. The type of tooth corresponding to the three-dimensional data is identified.
- the estimation model 114 includes a neural network 1142.
- the neural network 1142 the position information value included in the three-dimensional data input to the input unit 1102 is input to the input layer. Then, in the neural network 1142, for example, the value of the input position information is multiplied by a weighting coefficient or a predetermined bias is added by the intermediate layer, and a calculation by a predetermined function is performed. The result is compared with the judgment value. Then, in the neural network 1142, the result of the calculation and the determination is output from the output layer as the identification result. In addition, for the calculation and determination by the neural network 1142, any method may be used as long as it can identify the tooth based on the three-dimensional data.
- the intermediate layer has a multi-layer structure, so that processing by deep learning is performed.
- VoxNet, 3D ShapeNets, Multi-View CNN, RotationNet, OctNet, FusionNet, PointNet, PointNet++, SSCNet, and MarrNet are used as the identification program 120 that performs identification processing specialized for three-dimensional images. Etc. are used, but other programs may be used. Moreover, an existing one may be applied to the mechanism of the neural network 1142.
- the identification device 100 estimates the features of each of the plurality of teeth based on the three-dimensional data. It is possible to identify each type of the plurality of teeth based on the respective characteristics of the plurality of extracted teeth by extracting using the neural network 1142 of 114. Further, as shown in FIG. 6, not only the tooth to be identified, but also three-dimensional data including adjacent teeth is input to the identification device 100, so that the neural network 1142 of the estimation model 114 causes the adjacent tooth. The feature of the tooth can be extracted in consideration of the relationship with the shape of the tooth. The identification device 100 can extract not only generally recognized tooth characteristics but also generally unrecognized tooth characteristics, and thereby can accurately identify the tooth type. ..
- the neural network included in the estimation model 514 held by the server device 500 has the same configuration as the neural network 1142 included in the estimation model 114 shown in FIG.
- FIG. 8 is a schematic diagram for explaining the generation of learning data according to this embodiment.
- FIG. 9 is a schematic diagram for explaining an example of the learning data set 116 according to the present embodiment.
- the three-dimensional scanner 200 acquires three-dimensional data (STEP 1).
- the three-dimensional data acquired by the three-dimensional scanner 200 includes three-dimensional position information at each tooth point corresponding to the three-dimensional data and color information (RGB values) at each tooth point.
- RGB values color information
- the three-dimensional image corresponding to the three-dimensional data is grayscaled (STEP 2).
- the grayscale conversion of the three-dimensional image is performed by the user 1 (in this case, a technician of a maker who generates learning data or an operator of a manufacturing factory).
- the three-dimensional image is grayscaled, a three-dimensional image including grayscaled teeth is generated as shown in FIG. 8B.
- the color information (RGB value) at each point of the tooth corresponding to the three-dimensional data is changed to the value corresponding to the gray scale.
- each tooth is color-coded by applying a predetermined color to each tooth included in the three-dimensional image corresponding to the three-dimensional data (STEP 3).
- the color classification data 118 held by the identification device 100 is provided for each site in the oral cavity such as the lower jaw left side, the lower jaw right side, the upper jaw left side, and the upper jaw right side.
- the color classification data 118 corresponding to the left side of the lower jaw is shown.
- a tooth number generally used in the dental field and predetermined color information are assigned to each tooth type.
- the second molar is assigned a tooth number 7 and a color information red.
- the first molar is assigned with tooth number 6 and green as color information.
- tooth number 5 is assigned and blue is assigned as color information.
- the tooth number and the color information are assigned in advance to each tooth type.
- the color of each tooth is applied by User 1 (engineer of the maker, worker of the manufacturing plant, etc.). Specifically, the user 1 identifies the type of each tooth included in the three-dimensional image based on his/her own knowledge, and identifies the color corresponding to the identified type of the tooth with reference to the color classification data 118, Apply the identified color to the image of the tooth.
- the user 1 when the user 1 identifies that the tooth included in the three-dimensional image is the second molar, the user 1 applies red to the image of the tooth.
- the tooth included in the three-dimensional image is identified as the first molar, green is applied to the image of the tooth.
- the predetermined color is applied to each tooth included in the three-dimensional image, the predetermined color is applied to each tooth as shown in FIGS. 8(c) and 9(d).
- a three-dimensional image is generated. For easy understanding, each color is hatched in the drawings.
- the color information (RGB value) at each point of the tooth corresponding to the three-dimensional data is changed to the value corresponding to the color applied to each tooth according to the color classification of each tooth. For example, for each position coordinate of the second molar applied to red, the color information (RGB value) is "2550,000", and for each position coordinate of the first molar applied to green, The color information (RGB value) is "000255000”, and the color information (RGB value) is "00000255" for each position coordinate of the second premolar coated in blue. That is, predetermined color information (RGB value) is associated with each tooth point corresponding to the three-dimensional data.
- the three-dimensional data comes to include position information and color information corresponding to the applied color. Used as learning data. That is, in the learning data according to the present embodiment, the color information corresponding to the tooth type is associated (labeled) with the position information referred to in the identification process. Furthermore, color information is associated with the three-dimensional data so that the ranges of the plurality of teeth corresponding to the three-dimensional data can be specified. Specifically, the same color information is associated with each position information corresponding to each tooth. A group of such learning data is held in the identification device 100 as a learning data set 116.
- the user 1 when the learning data is generated, the user 1 applies many colors to each tooth included in the three-dimensional image and labels the correct answer data, which has many advantages. For example, when labeling is performed using only letters or symbols, the user 1 has difficulty in recognizing the range of each tooth, but when labeling is performed by color coding, the user 1 identifies the tooth to be labeled and the tooth adjacent to the tooth. It is possible to easily recognize the boundary between the teeth and the boundary between the tooth and the gingiva to be labeled by applying the color. Further, the user 1 applies the color while checking the three-dimensional image from various angles at the time of labeling. Even when the angle of the viewpoint is changed, to what extent the application is completed for the tooth during the labeling work. Will be easier to recognize.
- the user 1 manually applies a color to each tooth included in the three-dimensional image based on his/her own knowledge, but it is also possible to supplement a part of the operation with software. ..
- the boundary between the tooth to be labeled and the tooth adjacent to the tooth, and the boundary between the tooth to be labeled and the gingiva may be specified by edge detection. It is possible to extract only the tooth to be labeled.
- the generation of the learning data set 116 shown in FIGS. 8 and 9 is also applicable to the generation of the learning data set 516 held by the server device 500.
- the learning data set 116 illustrated in FIG. 9 may be applied to the learning data set 516 held by the server device 500, or the color classification data 118 illustrated in FIG. 9 may be color classified by the server device 500. It may be applied to the data 518.
- FIG. 10 is a schematic diagram for explaining generation of the learned model 114a based on the learning data set 116 according to the present embodiment.
- the learning data set 116 can be classified into categories based on the profile of the target person 2 who is the scan target when the learning data set 116 is generated. For example, age (minors, active generation, elderly), gender (male, female), race (Asian, Western, African), height (less than 150 cm, 150 or more), weight (less than 50 kg, 50 kg) It is possible to assign the learning data set generated from the three-dimensional data including the teeth of the relevant subject 2 to each of the above) and the place of residence (resident in Japan, living outside Japan).
- the stratification of each category can be set as appropriate. For example, regarding the age, more detailed information is provided for each predetermined age difference (every 3 years in this case), specifically, 0 to 3 years old, 4 years old to 6 years old, 7 years old to 9 years old, and so on. Can be stratified.
- the identification device 100 generates a learned model 114a by learning the estimation model 114 using a plurality of learning data sets 116a to 116o that can be classified for each category. Although the learning data may overlap depending on how the categories are classified, if the learning data overlaps, the estimation model 114 may be trained using only one of the learning data. ..
- the shape of a tooth has different characteristics depending on its genetics or living environment such as age, sex, race, height, weight, and place of residence.
- an adult permanent tooth is generally larger than a child's milk tooth, and their shapes are different from each other.
- male teeth are larger than female teeth, and their shapes are different.
- European teeth tend to have sharp tips so that hard meat or bread can be easily bitten, whereas Japanese teeth have sharp tips so that soft rice or vegetables can be easily ground. Tends to be smooth. For this reason, if the learning process is executed based on the profile data as in the present embodiment, it is possible to generate a learned model that can identify the tooth type in consideration of the inheritance or the living environment.
- the generation of the learned model 114a shown in FIG. 10 can be applied to the generation of the learned model 514a held by the server device 500.
- the learning data sets 116a to 116o shown in FIG. 10 may be applied to the learning data set 516 held by the server apparatus 500, or the estimation model 114 shown in FIG. 10 may be estimated by the server apparatus 500. It may be applied to the model 514.
- FIG. 11 is a flowchart for explaining an example of the learning process executed by the identification device 100 according to the present embodiment. Each step shown in FIG. 11 is realized by the arithmetic unit 130 of the identification apparatus 100 executing the OS 127 and the learning program 121.
- the identification device 100 selects learning data to be used for learning from the learning data set 116 (S2). Specifically, the identification device 100 selects one or a plurality of pieces of learning data from the learning data set 116 included in the learning data set group shown in FIG. 10.
- the identification device 100 is not limited to automatically selecting the learning data, and may use the learning data selected by the user 1 for the learning process.
- the identification device 100 inputs the position information of the three-dimensional data included in the selected learning data and the profile data of the target person 2 who is the scan target when generating the learning data to the estimation model 114 (S4). ). At this time, the correct answer data labeled as the three-dimensional data is not input to the identification device 100.
- the identification device 100 executes an identification process of identifying the type of the tooth using the estimation model 114 based on the tooth feature corresponding to the three-dimensional data (S6). In the identification processing, the identification device 100 identifies the type of the tooth using the estimation model 114 based on the profile data in addition to the three-dimensional data.
- the identification device 100 updates the parameter 1144 of the estimation model 114 based on the error between the identification result of the tooth type identified by the identification process and the correct answer data corresponding to the learning data used in the learning process (S8).
- the identification device 100 estimates the color information corresponding to the specific tooth as a result of the identification based on the position information of the specific tooth.
- the identification device 100 compares the color information (correct answer data) corresponding to the specific tooth included in the learning data with the color information estimated by itself, and if they match, maintains the parameter 1144 of the estimation model 114. If the answer is incorrect, the parameter 1144 of the estimation model 114 is updated so that the two match.
- the identification device 100 estimates the color information corresponding to the specific tooth as a result of the identification based on the position information of the specific tooth, and based on the color classification data 118, the type of the tooth and the tooth corresponding to the color information. Specify the number (correct answer data).
- the identification device 100 determines the tooth type and tooth number (correct answer data) assigned to the color information corresponding to the specific tooth included in the learning data, and the tooth type and tooth number estimated by itself.
- the parameters 1144 of the estimation model 114 are maintained if they are compared with each other, and the parameters 1144 of the estimation model 114 are updated so that they match each other if they are incorrect.
- the identification device 100 determines whether or not learning is performed based on all the learning data (S10). If the identification device 100 has not learned based on all the learning data (NO in S10), the identification device 100 returns to the process of S2.
- the identification device 100 learns based on all the learning data (YES in S10), the learned estimation model 114 is stored as the learned model 114a (S12), and this processing ends.
- the identification device 100 identifies tooth information (color information, tooth name, tooth number, etc.) corresponding to the tooth type associated with the three-dimensional data included in the learning data as correct data.
- the learned model 114a can be generated by learning the estimation model 114 based on the identification result of the tooth type using the three-dimensional data by the processing.
- the identification device 100 learns the estimation model 114 in consideration of the profile data in addition to the learning data in the learning process, and thus can generate the learned model 114a in consideration of the profile of the subject 2.
- FIG. 12 is a flowchart for explaining an example of the learning process executed by server device 500 according to the present embodiment. Each step shown in FIG. 12 is realized by the arithmetic unit 530 of the server apparatus 500 executing the OS 527 and the learning program 521.
- the server device 500 selects the learning data used for learning from the learning data set (S502).
- the learning data may be generated using big data accumulated and stored by the server device 500.
- the server device 500 uses the three-dimensional data included in the scan information acquired from the identification devices 100 and the dental laboratory of each of the local A to C to generate learning data, and the generated learning data. May be used to execute the learning process.
- the server device 500 is not limited to automatically selecting the learning data, and may use the learning data selected by the user 1 for the learning process.
- the server device 500 inputs the three-dimensional data (positional information) included in the selected learning data and the profile data of the target person 2 who is the scan target when generating the learning data to the estimation model 514 ( S504). At this time, the correct answer data labeled as the three-dimensional data is not input to the server device 500.
- the server device 500 executes the identification process for identifying the type of the tooth using the estimation model 514 based on the tooth feature corresponding to the three-dimensional data (S506). In the identification process, the server device 500 identifies the type of the tooth using the estimation model 514 based on the profile data in addition to the three-dimensional data.
- the server device 500 updates the parameters of the estimation model 514 based on the error between the identification result of the tooth type identified by the identification process and the correct answer data corresponding to the learning data used for learning (S508).
- the server device 500 estimates the color information corresponding to the specific tooth as a result of the identification based on the position information of the specific tooth.
- the server device 500 compares the color information (correct answer data) corresponding to the specific tooth included in the learning data set with the color information estimated by itself, and maintains the parameters of the estimation model 514 if they match. If the answer is incorrect, the parameters of the estimation model 514 are updated so that the two match.
- the server device 500 estimates the color information corresponding to the specific tooth as a result of the identification based on the position information of the specific tooth, and based on the color classification data 518, the type or tooth of the tooth corresponding to the color information. Specify the number (correct answer data).
- the server device 500 stores the tooth type and tooth number (correct answer data) assigned to the color information corresponding to the specific tooth included in the learning data set, and the tooth type and tooth number estimated by itself. And the parameters of the estimation model 514 are maintained if they match, while the parameters of the estimation model 514 are updated so that they match if they are incorrect.
- the server device 500 determines whether or not learning has been performed based on all learning data (S510). If the server device 500 has not learned all the learning data (NO in S510), the process returns to S502.
- the server device 500 when the server device 500 has learned based on all the learning data (YES in S510), the learned estimation model 514 is stored as the learned model 514a (S512). After that, the server device 500 transmits the generated learned model 514a to each local identification device 100 (S514), and ends this processing.
- the server device 500 uses the tooth information (color information, tooth name, tooth number) corresponding to the tooth type associated with the three-dimensional data included in the learning data as correct data, and performs the identification process.
- the learned model 514a can be generated by learning the estimation model 514 based on the identification result of the tooth type using the three-dimensional data.
- the server device 500 learns the estimation model 514 in consideration of the profile data in addition to the learning data, so that the learned model 514a in consideration of the profile of the subject 2 can be generated.
- the server device 500 uses the three-dimensional data included in the scan information acquired from the identification devices 100 and the dental laboratory as the learning data used in the learning process, the identification device 100.
- the learning process can be executed based on a larger amount of learning data than the learning process executed for each time, and the learned model 514a that can identify the tooth type with higher accuracy can be generated. ..
- FIG. 13 is a flowchart for explaining an example of a service providing process executed by identification device 100 according to the present embodiment. Each step illustrated in FIG. 13 is realized by the arithmetic unit 130 of the identification device 100 executing the OS 127 and the identification program 120.
- the identification device 100 determines whether or not the start condition of the service providing process is satisfied (S42).
- the start condition may be satisfied, for example, when the power of the three-dimensional scanner 200 is turned on, or when the mode is switched to a mode corresponding to the service providing process after the power of the three-dimensional scanner 200 is turned on. You may.
- the start condition may be satisfied when the start switch is operated after an icon (for example, AI assist icon) corresponding to the service providing process is operated and the icon is in a blinking state.
- the start condition may be satisfied when a certain amount of three-dimensional data is acquired. The starting condition may be satisfied if any action is performed on the three-dimensional scanner 200.
- the identification device 100 determines whether three-dimensional data has been input (S44). For example, the identification device 100 determines whether or not a sufficient amount of three-dimensional data has been input to perform the identification process. If a sufficient amount of three-dimensional data has not been input (NO in S44), the identification device 100 repeats the process of S44.
- the identification device 100 determines whether the profile data of the target person 2 is input by the user 1 (S46). When the profile data is not input (NO in S46), the identification device 100 inputs the three-dimensional data (positional information) into the learned model 114a (S48). On the other hand, when the profile data is input (YES in S46), the identification device 100 inputs the three-dimensional data (positional information) and the profile data into the learned model 114a (S50).
- the learned model used at this time is not limited to the learned model 114a generated by the identification device 100 in the learning process shown in FIG. 11, and the learned model generated by the server device 500 in the learning process shown in FIG. It may be 514a.
- the identification device 100 executes the identification process for identifying the type of the tooth using the learned model 114a based on the feature of the tooth corresponding to the three-dimensional data (S52).
- the identification device 100 identifies the tooth type using the learned model 114a based on the profile data in addition to the three-dimensional data. In this case, it is possible to identify the tooth type more accurately than to identify the tooth type using the learned model 114a based on only the three-dimensional data.
- the identification device 100 outputs the identification result obtained by the identification process to the display 300, the speaker 400, the server device 500 and the like (S54), and ends this process.
- the identification device 100 identifies the type of the tooth using the learned model 114a based on the tooth feature corresponding to the input three-dimensional data, and therefore the type of the tooth depends on the knowledge of the user himself. It is possible to identify the type of tooth more accurately than to identify.
- the identification device 100 identifies the tooth type in consideration of the profile data in addition to the input three-dimensional data in the identification processing, the tooth type can be identified more accurately.
- the present embodiment includes the following disclosures.
- the identification device 100 includes an input unit 1102 to which three-dimensional data including teeth is input, and an estimation model 114 (learned model 114a) including three-dimensional data including tooth features input from the input unit 1102 and a neural network 1142.
- the estimation model 114 includes an identification unit 1130 that identifies the tooth type based on the above, and an output unit 1103 that outputs the identification result by the identification unit 1130, and the estimation model 114 includes the tooth corresponding to the tooth type associated with the three-dimensional data. Learning is performed based on the information and the identification result of the tooth type using the three-dimensional data.
- the user 1 can identify the type of the tooth by inputting the three-dimensional data including the tooth into the estimation model 114 (learned model 114a) including the neural network 1142, and thus the user's own It is possible to identify the tooth type more accurately than to rely on the knowledge to identify the tooth type.
- the learning of the estimation model 114 may be realized by learning the estimation model 514 executed by the server device 500.
- At least three-dimensional data corresponding to a plurality of teeth and gums adjacent to each other in the oral cavity are input to the input unit 1102, and the identification unit 1130 calculates the plurality of data based on the three-dimensional data including the respective features of the plurality of teeth. Identify each type of tooth.
- the user 1 inputs the three-dimensional data corresponding to a plurality of adjacent teeth and gums in the oral cavity into the estimation model 114 (learned model 114a) including the neural network 1142, thereby Since each type can be identified, it is possible to identify the type of tooth more accurately and smoothly than when each type of tooth is identified based on the knowledge of the user himself. Further, the user 1 can extract the tooth feature by the estimation model 114 including the neural network 1142 in consideration of the relationship with the shape of the adjacent tooth, and thus can accurately identify the tooth type.
- the three-dimensional data includes three-dimensional position information on each of a plurality of points forming a tooth corresponding to the three-dimensional data.
- the user 1 inputs the three-dimensional position information at each of the plurality of points forming the tooth corresponding to the three-dimensional data into the estimation model 114 (learned model 114a) including the neural network 1142, It is possible to identify the type of the tooth.
- the position information includes absolute position coordinates with reference to a predetermined position.
- the user 1 uses the estimation model 114 (learned already) including the neural network 1142 to calculate the coordinates of the absolute position based on the predetermined position as the three-dimensional position information at each point of the tooth corresponding to the three-dimensional data.
- the type of the tooth can be identified.
- the three-dimensional image corresponding to the three-dimensional data is a region on the upper lip side and a palate side.
- the teeth corresponding to the three-dimensional data input to the input unit 1102 include the maxillary canine and molars
- the three-dimensional image corresponding to the three-dimensional image is a cheek.
- the tooth corresponding to the three-dimensional data input to the input unit 1102 is an incisor of the lower jaw including at least images of the side portion, the palate side portion, and the occlusal portion
- the tertiary corresponding to the three-dimensional data The original image includes at least images of the lower lip side portion, the lingual side portion, and the incisal side portion, and when the teeth corresponding to the three-dimensional data input to the input unit 1102 are the lower canine and molar teeth
- the three-dimensional image corresponding to the three-dimensional data includes at least images of the buccal region, the lingual region, and the occlusal region.
- the user 1 uses the estimation model 114 (learned model 114a) including the neural network 1142 for each of the upper incisor, the upper canine and molars, the lower incisor, the lower canine and molars.
- the type of can be identified.
- the output unit 1103 outputs the identification result by the identification unit 1130 to the display 300, and the display 300 displays the image, the character, the number, the icon, and the image corresponding to the identification result by the identification unit 1130. Display at least one of the symbols.
- the image corresponding to the identification result by the estimation model 114 (learned model 114a) including the neural network 1142 is displayed on the display 300, so that the user 1 can intuitively recognize the identification result, which is convenient.
- the property is improved.
- the output unit 1103 outputs the identification result by the identification unit 1130 to the speaker 400, and the speaker 400 outputs the sound corresponding to the identification result by the identification unit 1130.
- the voice corresponding to the identification result by the estimation model 114 (learned model 114a) including the neural network 1142 is output from the speaker 400, so that the user 1 can intuitively recognize the identification result, which is convenient.
- the property is improved.
- the output unit 1103 outputs the identification result by the identification unit 1130 to the server device 500, and the server device 500 accumulates and stores the identification result by the identification unit 1130.
- the server device 500 since the server device 500 accumulates and stores the identification result to form big data, the user 1 causes the server device 500 to perform a learning process using such big data, for example. Thus, it is possible to generate a learned model that can more accurately identify the tooth type.
- the estimation model 114 includes at least one of a weighting coefficient and a determination value as the parameter 1144 used by the neural network 1142, and the estimation model 114 includes the tooth information and the identification result by the identification unit 1130. Learning is performed by updating the parameter 1144 based on
- the user 1 can generate the learned model 114a that can more accurately identify the tooth type by updating the parameter 1144 of the estimation model 114.
- the tooth information includes at least one of color, letters, numbers, and symbols associated with the type of tooth corresponding to the three-dimensional data.
- the user 1 can generate the learned model 114a that can more accurately identify the tooth type based on the color, the letters, the numbers, the symbols, and the like associated with the tooth type. ..
- the tooth information is associated with the three-dimensional data so that the range of each of the plurality of teeth corresponding to the three-dimensional data can be specified.
- the user 1 can specify the range of each of the plurality of teeth based on the tooth information, which improves the convenience during labeling.
- the tooth information is associated with each of a plurality of points forming the tooth corresponding to the three-dimensional data.
- the tooth information is associated with each of the plurality of points forming the tooth corresponding to the three-dimensional data, so that the user 1 can associate the tooth information with the tooth in detail, which is convenient at the time of labeling. Is improved.
- the estimation model is learned based on the tooth information and the identification result by the identification unit 1130, as well as the attribute information about the target person 2 having a tooth.
- the user 1 can learn the estimation model 114 based on the attribute information about the target person 2 in addition to the learning data, and thus can generate the learned model in consideration of the target person 2's attribute information. it can.
- the attribute information includes at least one of the age, sex, race, height, weight, and place of residence of the target person.
- the scanner system 10 uses a three-dimensional camera to acquire three-dimensional data including teeth and a three-dimensional scanner 200, and based on the three-dimensional data including the tooth characteristics acquired by the three-dimensional scanner 200, determines the type of the tooth.
- the identification device 100 includes an identification device 100 for identification, and the identification device 100 includes an input unit 1102 to which three-dimensional data is input, and three-dimensional data including tooth features input from the input unit 1102 and an estimation model 114 including a neural network 1142.
- the estimation model 114 includes an identification unit 1130 for identifying the type of the tooth based on the (learned model 114a) and an output unit 1103 for outputting the identification result by the identification unit 1130, and the estimation model 114 includes the teeth associated with the three-dimensional data. Is learned based on the tooth information corresponding to the tooth type and the identification result of the tooth type using the three-dimensional data.
- the user 1 can identify the type of the tooth by inputting the three-dimensional data including the tooth into the estimation model 114 (learned model 114a) including the neural network 1142, and thus the user's own It is possible to identify the tooth type more accurately than to rely on the knowledge to identify the tooth type.
- the identification method is a step of inputting three-dimensional data including teeth (S48, S50) and a step of identifying the tooth type based on the estimation model 114 including the three-dimensional data including tooth characteristics and the neural network 1142.
- the estimation model 114 includes (S52) and a step (S54) of outputting the identification result of the identification step, and uses the tooth information corresponding to the tooth type associated with the three-dimensional data and the three-dimensional data. The learning is performed based on the identification result of the type of the tooth in question.
- the user 1 can identify the type of the tooth by inputting the three-dimensional data including the tooth into the estimation model 114 (learned model 114a) including the neural network 1142, and thus the user's own It is possible to identify the tooth type more accurately than to rely on the knowledge to identify the tooth type.
- the identification program 120 is based on the step (S48, S50) of inputting the three-dimensional data including the tooth to the arithmetic device 130 and the estimation model 114 including the three-dimensional data including the tooth characteristic and the neural network 1142.
- the step of identifying the tooth type (S52) and the step of outputting the identification result of the identifying step (S54) are executed, and the estimation model 114 sets the tooth information corresponding to the tooth type associated with the three-dimensional data. And the result of identifying the type of tooth using the three-dimensional data.
- the user 1 can identify the type of the tooth by inputting the three-dimensional data including the tooth into the estimation model 114 (learned model 114a) including the neural network 1142, and thus the user's own It is possible to identify the tooth type more accurately than to rely on the knowledge to identify the tooth type.
- FIG. 14 is a flowchart for explaining an example of a service providing process executed by the identification device 100a according to the modification. Since the processing of S42 to S54 shown in FIG. 14 is the same as the processing of S42 to S54 shown in FIG. 13, only the processing after S56 will be described in FIG.
- the identification device 100a executes the service provision learning process after outputting the identification result through the processes of S42 to S54. Specifically, the identification device 100a determines whether or not the correct answer data for error correction is input after S54 (S56). For example, when the type of tooth that is the identification result output in S54 is different from the type of tooth that was actually the scan target, the identification device 100a allows the user 1 to determine the type of tooth that was actually the scan target. By inputting, it is determined whether or not the error is corrected.
- the identification device 100a When the correct answer data for error correction is not input (NO in S56), the identification device 100a ends this process. On the other hand, when the correct answer data for error correction is input (YES in S56), the identification device 100a gives a reward based on the identification result and the correct answer data (S58).
- the identification device 100a gives a minus point having a small value if the tooth output as the identification result and the tooth input as the correct answer data are adjacent to each other, and if both are separated, the Give big negative points. In this way, the identification device 100a gives rewards of different values according to the dissociation degree between the identification result and the correct answer data.
- the reward is not limited to minus points, and may be plus points.
- the identification device 100a updates the parameter 1144 of the learned model 114a based on the given reward (S60). For example, the identification device 100a updates the parameter 1144 of the learned model 114a so that the negative point given as the reward approaches 0. Then, the identification device 100a ends the present process.
- the identification device 100a according to the modification executes the learning process also in the service providing process, the accuracy of the identification process improves as the user 1 uses it, and the tooth type is identified more accurately. be able to.
- the identification device 100 trains the estimation model 114 using a learning data set group including a plurality of learning data sets 116a to 116o classified into each category.
- a learning data set group including a plurality of learning data sets 116a to 116o classified into each category.
- the identification device 100b uses each of the plurality of learning data sets classified into each category as a category.
- a learned model for each category may be generated by learning the estimation model 114 by using each model.
- FIG. 15 is a schematic diagram for explaining generation of a learned model based on a learning data set according to the modification.
- the learning data set 116 is classified and held in each category based on the profile of the target person 2 who is the scan target when the learning data set 116 is generated. For example, learning data sets are assigned to six categories based on age (minors, active generations, seniors) and gender (male, female).
- the identification device 100b generates the learned models 114p to 114u for each category by learning the estimation model 114 by using each of the plurality of learning data sets 116p to 116u classified for each category for each category.
- the identification device 100b can generate a plurality of learned models 114p to 114u classified into each category, and therefore a more detailed analysis according to the profile of the target person 2 makes it more accurate.
- the type of tooth can be identified well.
- the generation of the learned models 114p to 114u shown in FIG. 15 can be applied to the generation of the learned model 514a held by the server device 500.
- the learning data sets 116p to 116u shown in FIG. 15 may be applied to the learning data set 516 held by the server apparatus 500, or the learned models 114p to 114u shown in FIG. You may apply to the learned model 514a hold
- FIG. 16 is a flowchart for explaining an example of a service providing process executed by the identification device 100b according to the modification. Each step shown in FIG. 16 is realized by the arithmetic unit 130 of the identification device 100b executing the OS 127 and the identification program 120.
- the identification device 100b determines whether or not the start condition of the service providing process is satisfied (S142). Since the start condition is the same as the start condition shown in FIG. 13, the description thereof will be omitted.
- the identification device 100b ends this process if the start condition is not satisfied (NO in S142). On the other hand, when the start condition is satisfied (YES in S142), the identification device 100b determines whether three-dimensional data has been acquired (S144). For example, the identification device 100b determines whether or not a sufficient amount of three-dimensional data has been acquired to execute the identification process. If the identification device 100b has not acquired a sufficient amount of three-dimensional data (NO in S144), the processing of S144 is repeated.
- the identification device 100b acquires a sufficient amount of three-dimensional data (YES in S144)
- the identification device 100b acquires the profile data of the target person 2 input by the user 1 (S146).
- the identification device 100b selects the learned model corresponding to the profile data from the learned model group shown in FIG. 15 (S148). For example, if the target person 2 is an elderly woman, the identification device 100b selects the learned model 114u.
- the identification device 100b inputs the three-dimensional data (positional information) into the learned model (S150).
- the identification device 100b performs an identification process for identifying the type of the tooth using the learned model based on the feature of the tooth corresponding to the three-dimensional data (S152).
- the identification device 100b outputs the identification result obtained by the identification process to the display 300, the speaker 400, the server device 500, and the like (S154), and ends this process.
- the identification device 100b can perform the identification process by using the learned model that is most suitable for the profile of the target person 2, and thus a more detailed analysis according to the profile of the target person 2 can be performed.
- the tooth type can be identified more accurately.
- the identification device 100 identifies the type of tooth by the identification process. However, considering that the learned model is generated based on the learning data set in consideration of the profile of the subject 2 as shown in FIGS. 10 and 15, three-dimensional data is input to the learned model in the identification processing. By doing so, the profile of the owner of the tooth may be output as the identification result based on the characteristics of the tooth corresponding to the three-dimensional data. By doing so, it is possible to specify the profile of the target person 2 whose identity is unknown discovered in a disaster or a case from the three-dimensional data including the tooth.
- the identification device 100 updates the parameters 1144 of the estimation model 114 by the learning process, but the invention is not limited to updating the parameters 1144, and the neural network 1142 is updated by the learning process ( For example, the algorithm of the neural network 1142 is updated).
- the server device 500 updates the parameters of the estimation model 514 by the learning process, the invention is not limited to updating the parameters, and the neural network is updated by the learning process (for example, , The neural network algorithm is updated).
- FIG. 17 is a schematic diagram for explaining an example of a learning data set according to the modification.
- the identification device 100c according to the modification learns the estimation model 114 by inputting the actual color information of the tooth to the estimation model 114 in addition to the position information included in the three-dimensional data acquired by the three-dimensional scanner 200. You may.
- the learning data set includes position information that is input data to the estimation model 114 and color information that is correct answer data and that has been color-coded and associated with the tooth type.
- position information that is input data to the estimation model 114
- color information that is correct answer data and that has been color-coded and associated with the tooth type.
- color information of teeth before color division may be included.
- the learned model 114a is generated in consideration of the actual color information of the tooth by inputting the color information of the tooth before color division into the estimation model 114 in addition to the position information. May be.
- the learning data set in addition to the position information that is the input data to the estimation model 114 and the color information after the color classification associated with the tooth type that is the correct answer data, as shown in FIG. Normal line information that can be calculated based on the position information may be included. Then, in the learning process, the learned model 114a may be generated in consideration of the normal information by inputting the normal information in addition to the position information to the estimation model 114.
- Normal information can be calculated as follows, for example.
- one of the plurality of points forming the tooth is focused on, and the normal line of the point of interest is generated based on the plurality of points belonging to a predetermined range in the vicinity of the point of interest.
- the normal line of the attention point can be generated by using the principal component analysis for a plurality of points belonging to a predetermined range near the attention point.
- Principal component analysis can generally be performed by calculating the variance-covariance matrix.
- the eigenvector may be calculated and the principal component direction may be generated as the normal line of the target point. Since a method of generating a normal line to a certain point in the point group is known, other generally known techniques may be used.
- the identification device can also learn which side of the tooth formed by each point is the surface at each of the plurality of points forming the tooth. ..
- the identification device can learn the features of the shape such as the depression based on only a small number of point groups that belong to a predetermined range near the target point.
- the learning data set may include both the color information and the normal information of the tooth before being color-coded, or may include only one of them.
- FIG. 18 is a flowchart for explaining an example of a service providing process executed by the identification device 100c according to the modification.
- the identification device 100c additionally executes the process of S245, unlike the service providing process performed by the identification device 100 shown in FIG. That is, after the three-dimensional data is input (YES in S44), the identification device 100c generates normal lines at a plurality of points forming the tooth based on the position information included in the input three-dimensional data (S245). ).
- the input three-dimensional data includes the color information of the tooth before being color-coded in addition to the position information.
- the identification device 100c determines that the profile data is not input (NO in S46)
- the normal information is input to the learned model 114a in addition to the three-dimensional data (position information, color information) (S248).
- the identification device 100c determines that the profile data is input (YES in S46)
- the normal information is input to the learned model 114a in addition to the three-dimensional data (position information, color information) and the profile data ( S250).
- the identification device 100c executes an identification process for identifying the type of tooth using the learned model (S52).
- the identification device 100c further determines the tooth type based on the color information of the tooth before being color-coded and the normal line generated for each of the plurality of points that configure the tooth corresponding to the three-dimensional data. May be identified. Note that the identification device 100c may receive the color information of the tooth before being color-coded but not the normal line information. Alternatively, the normal line information may be input to the identification device 100c, but the color information of the tooth before color division may not be input.
- the identification device 100c can identify the tooth type based on the color information of the tooth before color classification and/or the normal line generated for each of the plurality of points, and thus the tooth type can be more accurately determined. Can be identified.
- 1 user, 2 target person, 5 network, 10 scanner system 100, 100a, 100b identification device, 102 scanner interface, 103, 503 display interface, 104 speaker interface, 105, 505 peripheral device interface, 106, 506 network controller, 107 , 507 media reader, 108 PC display, 109,509 memory, 110,510 storage, 112,512 scan information, 114,514 estimation model, 114a, 514a learned model, 116,516 learning data set, 118,518 Color classification data, 119,519 profile data, 120 identification program, 121,521 learning program, 122,522 three-dimensional data, 124,524 identification result, 127,527 OS, 130,530 arithmetic unit, 200 three-dimensional scanner , 300, 350 display, 400 speaker, 500 server device, 550 removable disk, 601,651 keyboard, 602,652 mouse, 1102 input unit, 1103 output unit, 1119 profile acquisition unit, 1130 identification unit, 1130 identification unit, 1142 neural network, 1144 parameters ..
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Physical Education & Sports Medicine (AREA)
Abstract
識別装置(100)は、歯牙を含む三次元データが入力される入力部(1102)と、入力部(1102)から入力された歯牙の特徴を含む三次元データおよびニューラルネットワーク(1142)を含む推定モデル(114)に基づき、当該歯牙の種類を識別する識別部(1130)と、識別部(1130)による識別結果を出力する出力部(1103)とを備える。
Description
本発明は、識別装置、当該識別装置を備えるスキャナシステム、識別方法、および識別用プログラムに関する。
従来から、歯科分野において、補綴物などをコンピュータ上でデジタル設計するために、歯牙の三次元形状を取得する三次元カメラを内蔵した三次元スキャナが公知である。たとえば、特許文献1には、三次元カメラを用いて歯牙を撮像することで、歯牙の形状を記録する技術が開示されている。歯科医師などの術者は、特許文献1に開示された三次元カメラを用いることで、撮像対象となった歯牙の三次元形状を記録することができ、さらに記録された歯牙の三次元形状が示された三次元画像を確認しながら、自身の知見によって当該歯牙の種類を識別することができる。
このように、従来から、術者は、三次元カメラによって取得された歯牙を含む三次元画像に基づき、自身の知見によって当該歯牙の種類を識別していたが、知見のレベルは術者ごとに異なるため、術者の知見のレベルに応じて識別結果の精度がばらつくという問題があった。たとえば、中切歯と側切歯、犬歯と第一小臼歯、第一小臼歯と第二小臼歯、第二小臼歯と第一大臼歯、第一台臼歯と第二大臼歯など、形状が類似する歯牙同士では特に識別精度は高くない。
本発明は、このような問題を解決するためになされたものであり、精度良く歯牙の種類を識別することができる識別装置、当該識別装置を備えるスキャナシステム、識別方法、および識別用プログラムを提供することを目的とする。
本発明に従えば、歯牙の種類を識別する識別装置が提供される。識別装置は、歯牙を含む三次元データが入力される入力部と、入力部から入力された歯牙の特徴を含む三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別する識別部と、識別部による識別結果を出力する出力部とを備える。
本発明に従えば、歯牙の形状情報を取得するスキャナシステムが提供される。スキャナシステムは、三次元カメラを用いて歯牙を含む三次元データを取得する三次元スキャナと、三次元スキャナによって取得された歯牙の特徴を含む三次元データに基づき、当該歯牙の種類を識別する識別装置とを備え、識別装置は、三次元データが入力される入力部と、入力部から入力された歯牙の特徴を含む三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別する識別部と、識別部による識別結果を出力する出力部とを含む。
本発明に従えば、歯牙の種類を識別する識別方法が提供される。識別方法は、歯牙を含む三次元データが入力されるステップと、歯牙の特徴を含む三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別するステップと、識別するステップによる識別結果を出力するステップとを含む。
本発明に従えば、歯牙の種類を識別する識別用プログラムが提供される。識別用プログラムは、コンピュータに、歯牙を含む三次元データが入力されるステップと、歯牙の特徴を含む三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別するステップと、識別するステップによる識別結果を出力するステップとを実行させる。
本発明によれば、歯牙を含む三次元データに基づいて、精度良く歯牙の種類を識別することができる。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
[適用例]
図1および図2を参照しながら、本実施の形態に係る識別装置100の適用例を説明する。図1は、本実施の形態に係る識別装置100の適用例を示す模式図である。図2は、本実施の形態に係るシステムの全体構成を示す模式図である。
図1および図2を参照しながら、本実施の形態に係る識別装置100の適用例を説明する。図1は、本実施の形態に係る識別装置100の適用例を示す模式図である。図2は、本実施の形態に係るシステムの全体構成を示す模式図である。
図1に示すように、ユーザ1は、スキャナシステム10を用いることで、対象者2が有する歯牙を含む三次元形状のデータ(以下、「三次元データ」とも称する)を取得することができる。なお、「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、スキャナシステム10を用いる者であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、スキャナシステム10の対象となる者であればいずれであってもよい。
本実施の形態に係るスキャナシステム10は、三次元スキャナ200と、識別装置100と、ディスプレイ300と、スピーカ400とを備える。三次元スキャナ200は、内蔵された三次元カメラによってスキャン対象の三次元データを取得する。具体的には、三次元スキャナ200は、口腔内をスキャンすることで、三次元データとして、スキャン対象の歯牙を構成する複数の点のそれぞれの位置情報(縦方向,横方向,高さ方向の各軸の座標)を、光学センサなどを用いて取得する。識別装置100は、三次元スキャナ200によって取得された三次元データに基づき三次元画像を生成し、生成した三次元画像をディスプレイ300に表示する。
たとえば、ユーザ1は、対象者2の歯牙の欠損部分を補う補綴物などをコンピュータ上でデジタル設計するために、三次元スキャナ200によって対象者2の口腔内を撮像することで、歯牙を含む口腔内の三次元データを取得する。ユーザ1が口腔内を撮像するごとに三次元データが順次取得され、口腔内の三次元画像がディスプレイ300に表示される。ユーザ1は、ディスプレイ300に表示された三次元画像を確認しながら三次元データの不足部分を重点的にスキャンしていく。このとき、ユーザ1は、三次元スキャナ200によって取得された歯牙を含む三次元データが可視化された三次元画像に基づき、自身の知見によってスキャン中またはスキャンが完了した歯牙の種類を識別する。しかし、知見のレベルはユーザ1ごとに異なるため、ユーザ1の知見に頼っていると識別結果の精度がばらつくことがあった。
そこで、本実施の形態に係るスキャナシステム10は、識別装置100が有するAI(人工知能:Artificial Intelligence)を利用して、三次元スキャナ200によって取得された三次元データに基づき歯牙の種類を自動的に識別する処理を実行するように構成されている。なお、識別装置100による歯牙の種類を識別する処理を「識別処理」とも称する。
なお、「歯牙の種類」は、上顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、上顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯といったような各歯牙の種類を意味する。
具体的には、ユーザ1が三次元スキャナ200を用いて対象者2の口腔内の歯牙をスキャンすると、歯牙を含む三次元データが識別装置100に入力される。識別装置100は、入力された歯牙の特徴を含む三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別する識別処理を実行する。
「推定モデル」は、ニューラルネットワークと当該ニューラルネットワークによって用いられるパラメータとを含み、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習されることで最適化(調整)される。具体的には、推定モデルは、歯牙を含む三次元データが入力されると、当該三次元データに基づきニューラルネットワークによって歯牙の特徴を抽出し、抽出した歯牙の特徴に基づき歯牙の種類を推定する。そして、推定モデルは、自身が推定した歯牙の種類と、入力された三次元データに関連付けられた歯牙の種類(歯牙情報)とに基づき、両者が一致すればパラメータを更新しない一方で、両者が一致しなければ両者が一致するようにパラメータを更新することで、パラメータを最適化する。このように、推定モデルは、入力データである三次元データと、正解データである歯牙の種類(歯牙情報)とを含む教師データを利用して、パラメータが最適化されることで学習される。
なお、このような推定モデルを学習する処理を「学習処理」とも称する。また、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。
「歯牙情報」は、上顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、上顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯といったような各歯牙の名称を含む。また、「歯牙情報」は、中切歯に割り当てられた1番、側切歯に割り当てられた2番、犬歯に割り当てられた3番、第1小臼歯に割り当てられた4番、第2小臼歯に割り当てられた5番、第1大臼歯に割り当てられた6番、第2大臼歯に割り当てられた7番、第3大臼歯に割り当てられた8番といったような各歯牙に割り当てられた番号(たとえば、歯科分野において一般的に用いられている歯牙の番号)を含む。その他、「歯牙情報」は、各歯牙に割り当てられた色の情報を含んでいてもよいし、各歯牙に割り当てられた記号の情報を含んでいてもよい。
識別装置100によって学習済モデルを用いて識別処理が実行されると、その識別結果が、ディスプレイ300、およびスピーカ400に出力される。
ディスプレイ300は、識別結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか1つを表示する。たとえば、ディスプレイ300は、三次元スキャナ200によって下顎右側の7番に対応する第2大臼歯のスキャンが完了した後において、識別装置100による歯牙の識別結果を利用して、「右下7番のスキャンが完了しました。」というように、下顎右側の7番に対応する第2大臼歯のスキャンが完了した旨の画像を表示する。
スピーカ400は、識別結果に対応する音声を出力する。たとえば、スピーカ400は、三次元スキャナ200によって下顎右側の7番に対応する第2大臼歯のスキャンが完了した後において、識別装置100による歯牙の識別結果を利用して、「右下7番完了」というように、下顎右側の7番に対応する第2大臼歯のスキャンが完了した旨の音声を出力する。
さらに、識別装置100による識別結果は、識別処理時に用いられた三次元データとともに、スキャン情報として歯科技工所および管理センターに配置されたサーバ装置500に出力される。
たとえば、図2に示すように、スキャナシステム10は、複数のローカルA~Cのそれぞれに配置されている。たとえば、ローカルAおよびローカルBは歯科医院であり、当該歯科医院の院内において、ユーザ1である術者や歯科助手は、スキャナシステム10を利用して対象者2である患者の歯牙を含む三次元データを取得する。また、ローカルCは歯科大学であり、当該歯科大学において、ユーザ1である先生や生徒は、対象者2である被験者の口腔内の三次元データを取得する。ローカルA~Cのそれぞれで取得されたスキャン情報(三次元データ,識別結果)は、ネットワーク5を介して、ローカルDである歯科技工所および管理センターに配置されたサーバ装置500に出力される。
歯科技工所においては、歯科技工士などが、ローカルA~Cのそれぞれから取得したスキャン情報に基づき、対象者2の歯牙の欠損部分を補う補綴物などを作成する。管理センターにおいては、サーバ装置500が、ローカルA~Cのそれぞれから取得したスキャン情報を蓄積して記憶し、ビッグデータとして保持する。
なお、サーバ装置500は、歯科医院にローカルとは異なる管理センターに配置されるものに限らず、ローカル内に配置されてもよい。たとえば、ローカルA~Cのうちのいずれかのローカル内にサーバ装置500が配置されてもよい。また、1つのローカル内に複数の識別装置100が配置されてもよく、さらに、当該1つのローカル内に当該複数の識別装置100と通信可能なサーバ装置500が配置されてもよい。また、サーバ装置500は、クラウドサービスの形態で実現されてもよい。
歯科技工所においては、ローカルA~Cのように、様々な所からスキャン情報が集約される。このため、歯科技工所で保持されているスキャン情報は、ネットワーク5を介して管理センターに送信されてもよいし、あるいは、CD(Compact Disc)およびUSB(Universal Serial Bus)メモリなどのリムーバブルディスク550を介して管理センターに送られてもよい。
なお、ネットワーク5を介さずに、ローカルA~Cのそれぞれからも、リムーバブルディスク550を介してスキャン情報が管理センターに送られてもよい。また、ローカルA~Cのそれぞれの間においても、ネットワーク5またはリムーバブルディスク550を介してスキャン情報を互いに送り合ってもよい。
各ローカルA~Cの識別装置100は、各自で推定モデルを保持しており、識別処理時に各自が保持する推定モデルを使用して歯牙の種類を識別する。各ローカルA~Cの識別装置100は、各自の学習処理によって各自の推定モデルを学習することで、学習済モデルを生成する。さらに、本実施の形態においては、サーバ装置500も推定モデルを保持している。サーバ装置500は、各ローカルA~Cの識別装置100および歯科技工所から取得したスキャン情報を用いた学習処理によって推定モデルを学習することで、学習済モデルを生成し、各ローカルA~Cの識別装置100に当該学習済モデルを配布する。なお、本実施の形態においては、各ローカルA~Cの識別装置100およびサーバ装置500のいずれも学習処理を実行する形態であるが、各ローカルA~Cの識別装置100のみが学習処理を実行する形態、あるいはサーバ装置500のみが学習処理を実行する形態であってもよい。なお、サーバ装置500のみが学習処理を実行する形態である場合、各ローカルA~Cの識別装置100が保持する推定モデル(学習済モデル)は、各ローカルA~Cの識別装置100間で共通化される。
また、サーバ装置500が識別装置100における識別処理の機能を有していてもよい。たとえば、各ローカルA~Cは、取得した三次元データをサーバ装置500に送信し、サーバ装置500は、各ローカルA~Cから受信したそれぞれの三次元データに基づき、それぞれにおける歯牙の種類の識別結果を算出してもよい。そして、サーバ装置500は、それぞれの識別結果を各ローカルA~Cに送信し、各ローカルA~Cは、サーバ装置500から受信した識別結果をディスプレイなどに出力してもよい。このように、各ローカルA~Cとサーバ装置500とがクラウドサービスの形態で構成されてもよい。このようにすれば、サーバ装置500が推定モデル(学習済モデル)を保持してさえいれば、各ローカルA~Cは、推定モデル(学習済モデル)を保持することなく識別結果を得ることができる。
このように、本実施の形態に係るスキャナシステム10によれば、識別装置100が有するAIを利用して、三次元スキャナ200によって取得された三次元データに基づき歯牙の種類が自動的に識別される。AIを利用することで、ユーザ1の知見により得られた歯牙の特徴を見出すことができる。また、ユーザ1では抽出できない歯牙の特徴を見出すこともでき、これにより、ユーザ1は、自身の知見に頼ることなく、精度良く歯牙の種類を識別することができる。
[識別装置のハードウェア構成]
図3を参照しながら、本実施の形態に係る識別装置100のハードウェア構成の一例を説明する。図3は、本実施の形態に係る識別装置100のハードウェア構成を示す模式図である。識別装置100は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム10専用のコンピュータで実現されてもよい。
図3を参照しながら、本実施の形態に係る識別装置100のハードウェア構成の一例を説明する。図3は、本実施の形態に係る識別装置100のハードウェア構成を示す模式図である。識別装置100は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム10専用のコンピュータで実現されてもよい。
図3に示すように、識別装置100は、主なハードウェア要素として、スキャナインターフェース102と、ディスプレイインターフェース103と、スピーカインターフェース104と、周辺機器インターフェース105と、ネットワークコントローラ106と、メディア読取装置107と、PCディスプレイ108と、メモリ109と、ストレージ110と、演算装置130とを備える。
スキャナインターフェース102は、三次元スキャナ200を接続するためのインターフェースであり、識別装置100と三次元スキャナ200との間のデータの入出力を実現する。
ディスプレイインターフェース103は、ディスプレイ300を接続するためのインターフェースであり、識別装置100とディスプレイ300との間のデータの入出力を実現する。ディスプレイ300は、たとえば、LCD(Liquid Crystal Display)または有機ELD(Electroluminescence)ディスプレイなどで構成される。
スピーカインターフェース104は、スピーカ400を接続するためのインターフェースであり、識別装置100とスピーカ400との間のデータの入出力を実現する。
周辺機器インターフェース105は、キーボード601およびマウス602などの周辺機器を接続するためのインターフェースであり、識別装置100と周辺機器との間のデータの入出力を実現する。
ネットワークコントローラ106は、ネットワーク5を介して、歯科技工所に配置された装置、管理センターに配置されたサーバ装置500、および他のローカルに配置された他の識別装置100のそれぞれとの間でデータを送受信する。ネットワークコントローラ106は、たとえば、イーサネット(登録商標)、無線LAN(Local Area Network)、Bluetooth(登録商標)などの任意の通信方式に対応する。
メディア読取装置107は、リムーバブルディスク550に格納されているスキャン情報などの各種データを読み出す。
PCディスプレイ108は、識別装置100専用のディスプレイである。PCディスプレイ108は、たとえば、LCDまたは有機ELディスプレイなどで構成される。なお、本実施の形態においては、PCディスプレイ108は、ディスプレイ300と別体であるが、ディスプレイ300と共通化されてもよい。
メモリ109は、演算装置130が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ109は、たとえば、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などの揮発性メモリデバイスで構成される。
ストレージ110は、識別処理および学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ110は、たとえば、ハードディスクまたはSSD(Solid State Drive)などの不揮発性メモリデバイスで構成される。
ストレージ110は、スキャン情報112と、推定モデル114(学習済モデル114a)と、学習用データセット116と、色分類データ118と、プロファイルデータ119と、識別用プログラム120と、学習用プログラム121と、OS(Operating System)127とを格納する。
スキャン情報112は、三次元スキャナ200によって取得された三次元データ122と、当該三次元データ122に基づき実行された識別処理による識別結果124とを含む。識別結果124は、識別処理に用いられた三次元データ122に関連付けられてストレージ110に格納される。学習用データセット116は、推定モデル114の学習処理に用いられる一群の学習用データである。色分類データ118は、学習用データセット116の生成および学習処理に用いられるデータである。プロファイルデータ119は、対象者2に関する属性情報であって、当該対象者2の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ(たとえば、カルテの情報)である。識別用プログラム120は、識別処理を実行するためのプログラムである。学習用プログラム121は、推定モデル114の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。
演算装置130は、各種のプログラムを実行することで、識別処理および学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置130は、たとえば、CPU(Central Processing Unit)132、FPGA(Field-Programmable Gate Array)134、およびGPU(Graphics Processing Unit)136などで構成される。なお、演算装置130は、CPU132、FPGA134、およびGPU136のうちの少なくともいずれか1つで構成されてもよいし、CPU132とFPGA134、FPGA134とGPU136、CPU132とGPU136、あるいはCPU132、FPGA134、およびGPU136から構成されてもよい。また、演算装置130は、演算回路(processing circuitry)と称されてもよい。
[サーバ装置のハードウェア構成]
図4を参照しながら、本実施の形態に係るサーバ装置500のハードウェア構成の一例を説明する。図4は、本実施の形態に係るサーバ装置500のハードウェア構成を示す模式図である。サーバ装置500は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム10専用のコンピュータで実現されてもよい。
図4を参照しながら、本実施の形態に係るサーバ装置500のハードウェア構成の一例を説明する。図4は、本実施の形態に係るサーバ装置500のハードウェア構成を示す模式図である。サーバ装置500は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム10専用のコンピュータで実現されてもよい。
図4に示すように、サーバ装置500は、主なハードウェア要素として、ディスプレイインターフェース503と、周辺機器インターフェース505と、ネットワークコントローラ506と、メディア読取装置507と、メモリ509と、ストレージ510と、演算装置530とを備える。
ディスプレイインターフェース503は、ディスプレイ350を接続するためのインターフェースであり、サーバ装置500とディスプレイ350との間のデータの入出力を実現する。ディスプレイ350は、たとえば、LCDまたは有機ELDディスプレイなどで構成される。
周辺機器インターフェース505は、キーボード651およびマウス652などの周辺機器を接続するためのインターフェースであり、サーバ装置500と周辺機器との間のデータの入出力を実現する。
ネットワークコントローラ506は、ネットワーク5を介して、ローカルに配置された識別装置100、および歯科技工所に配置された装置のそれぞれとの間でデータを送受信する。ネットワークコントローラ506は、たとえば、イーサネット(登録商標)、無線LAN、Bluetooth(登録商標)などの任意の通信方式に対応してもよい。
メディア読取装置507は、リムーバブルディスク550に格納されているスキャン情報などの各種データを読み出す。
メモリ509は、演算装置530が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ509は、たとえば、DRAMまたはSRAMなどの揮発性メモリデバイスで構成される。
ストレージ510は、学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ510は、たとえば、ハードディスクまたはSSDなどの不揮発性メモリデバイスで構成される。
ストレージ510は、スキャン情報512と、推定モデル514(学習済モデル514a)と、学習用データセット516と、色分類データ518と、プロファイルデータ519と、学習用プログラム521と、OS527とを格納する。
スキャン情報512は、ネットワーク5を介してローカルに配置された識別装置100および歯科技工所から取得した三次元データ522と、当該三次元データ522に基づき実行された識別処理による識別結果524とを含む。識別結果524は、識別処理に用いられた三次元データ522に関連付けられてストレージ510に格納される。学習用データセット516は、推定モデル514の学習処理に用いられる一群の学習用データである。色分類データ518は、学習用データセット516の生成および学習処理に用いられるデータである。プロファイルデータ519は、対象者2に関する属性情報であって、対象者2の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ(たとえば、カルテの情報)である。学習用プログラム521は、推定モデル514の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。
なお、推定モデル514(学習済モデル514a)は、ローカルの識別装置100に送信されることで、識別装置100によって、推定モデル114(学習済モデル114a)として保持される。
演算装置530は、各種のプログラムを実行することで、学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置530は、たとえば、CPU532、FPGA534、およびGPU536などで構成される。なお、演算装置530は、CPU532、FPGA534、およびGPU536のうちの少なくともいずれか1つで構成されてもよいし、CPU532とFPGA534、FPGA534とGPU536、CPU532とGPU536、あるいはCPU532、FPGA534、およびGPU536から構成されてもよい。また、演算装置530は、演算回路(processing circuitry)と称されてもよい。
[識別装置による識別処理]
図5~図7を参照しながら、本実施の形態に係る識別装置100による識別処理の一例を説明する。図5は、本実施の形態に係る識別装置100の機能構成を示す模式図である。図6は、本実施の形態に係る識別装置100による識別処理を説明するための模式図である。図7は、本実施の形態に係る識別処理における識別対象となる歯牙の一例を示す模式図である。なお、図7においては、三次元スキャナ200のスキャン対象となる歯牙が線図によって表されている。
図5~図7を参照しながら、本実施の形態に係る識別装置100による識別処理の一例を説明する。図5は、本実施の形態に係る識別装置100の機能構成を示す模式図である。図6は、本実施の形態に係る識別装置100による識別処理を説明するための模式図である。図7は、本実施の形態に係る識別処理における識別対象となる歯牙の一例を示す模式図である。なお、図7においては、三次元スキャナ200のスキャン対象となる歯牙が線図によって表されている。
図5に示すように、識別装置100は、識別処理に係る機能部として、入力部1102と、プロファイル取得部1119と、識別部1130と、出力部1103とを有する。これらの各機能は、識別装置100の演算装置130がOS127および識別用プログラム120を実行することで実現される。
入力部1102には、三次元スキャナ200によって取得された三次元データが入力される。プロファイル取得部1119は、対象者2のプロファイルデータ119を取得する。識別部1130は、入力部1102に入力された三次元データと、プロファイル取得部1119によって取得された対象者2のプロファイルデータ119とに基づき、推定モデル114(学習済モデル114a)を用いて歯牙の種類を識別する識別処理を実行する。
推定モデル114は、ニューラルネットワーク1142と、当該ニューラルネットワーク1142によって用いられるパラメータ1144とを含む。パラメータ1144は、ニューラルネットワーク1142による計算に用いられる重み付け係数と、識別の判定に用いられる判定値とを含む。出力部1103は、識別部1130による識別結果を、ディスプレイ300、スピーカ400、およびサーバ装置500に出力する。
ここで、図6に示すように、入力部1102に入力される三次元データには、歯牙の各点における三次元の位置情報と、歯牙の各点における色情報とが含まれる。識別処理においては、位置情報が用いられる。位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標を含む。たとえば、位置情報は、歯牙の各点における中心位置を原点として、X軸(たとえば、歯牙の横方向の軸)、Y軸(たとえば、歯牙の縦方向の軸)、およびZ軸(たとえば、歯牙の高さ方向の軸)の各軸における絶対位置の座標を含む。なお、位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標に限らず、たとえば、隣接する点からの距離を示す三次元における相対位置の座標を含んでいてもよい。
ここで、図7に示すように、三次元スキャナ200のスキャン対象となる歯牙が上顎の切歯である場合、得られる三次元画像が、上唇側の部位、口蓋側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ1によって対象者2の口腔内がスキャンされる。また、三次元スキャナ200のスキャン対象となる歯牙が上顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、口蓋側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ1によって対象者2の口腔内がスキャンされる。三次元スキャナ200のスキャン対象となる歯牙が下顎の切歯である場合、得られる三次元画像が、下唇側の部位、舌側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ1によって対象者2の口腔内がスキャンされる。三次元スキャナ200のスキャン対象となる歯牙が下顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、舌側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ1によって対象者2の口腔内がスキャンされる。
一般的に、対象者2の歯牙は、その種類によって形状および大きさが異なる。たとえば、上顎の切歯の場合、上唇側の面は一般的にU字形であるのに対して、上顎の犬歯の場合、頬側の面は一般的に五角形である。各歯牙は、形状および大きさがその種類に応じて特徴的であり、識別部1130は、これらの特徴的な形状および大きさが数値化された三次元データに基づき、推定モデル114を用いて当該三次元データに対応する歯牙の種類を識別する。
図6に示すように、推定モデル114は、ニューラルネットワーク1142を含む。ニューラルネットワーク1142においては、入力部1102に入力された三次元データに含まれる位置情報の値が入力層に入力される。そして、ニューラルネットワーク1142においては、たとえば、中間層によって、入力された位置情報の値に対して重み付け係数が乗算されたり所定のバイアスが加算されたりするとともに所定の関数による計算が行われ、その計算結果が判定値と比較される。そして、ニューラルネットワーク1142においては、その計算および判定の結果が識別結果として出力層から出力される。なお、ニューラルネットワーク1142による計算および判定については、三次元データに基づき歯牙を識別できるものであれば、いずれの手法が用いられてもよい。
推定モデル114のニューラルネットワーク1142においては、中間層が多層構造になることで、ディープラーニングによる処理が行われる。本実施の形態においては、3次元画像に特化した識別処理を行う識別用プログラム120として、たとえば、VoxNet、3D ShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、およびMarrNetなどが用いられるが、その他のプログラムが用いられてもよい。また、ニューラルネットワーク1142の仕組みには既存のものが適用されてもよい。
このような構成において、識別装置100は、複数の歯牙が含まれる三次元画像に対応する三次元データが入力されると、当該三次元データに基づいて、複数の歯牙のそれぞれの特徴を推定モデル114のニューラルネットワーク1142を用いて抽出し、抽出した複数の歯牙のそれぞれの特徴に基づき、当該複数の歯牙のそれぞれの種類を識別することができる。また、図6に示すように、識別対象となる歯牙に限らず、隣接する歯牙を含む三次元データについても識別装置100に入力されることで、推定モデル114のニューラルネットワーク1142は、隣接する歯牙の形状との関係も考慮して歯牙の特徴を抽出することができる。識別装置100は、一般的に認識されている歯牙の特徴に限らず、一般的に認識されていない歯牙の特徴についても抽出することができ、それによって精度良く歯牙の種類を識別することができる。
なお、サーバ装置500が保持する推定モデル514に含まれるニューラルネットワークは、図6に示した推定モデル114に含まれるニューラルネットワーク1142と同様の構成を有する。
[学習用データの生成]
図8および図9を参照しながら、学習用データセット116の生成の一例を説明する。図8は、本実施の形態に係る学習用データの生成を説明するための模式図である。図9は、本実施の形態に係る学習用データセット116の一例を説明するための模式図である。
図8および図9を参照しながら、学習用データセット116の生成の一例を説明する。図8は、本実施の形態に係る学習用データの生成を説明するための模式図である。図9は、本実施の形態に係る学習用データセット116の一例を説明するための模式図である。
図8に示すように、まず、三次元スキャナ200によって三次元データが取得される(STEP1)。三次元スキャナ200によって取得された三次元データには、当該三次元データに対応する歯牙の各点における三次元の位置情報と、歯牙の各点における色情報(RGB値)とが含まれる。三次元スキャナ200によって取得された三次元データに基づき三次元画像が生成されると、図8(a)に示すように実際の色が付された歯牙を含む三次元画像が生成される。
次に、後述する各歯牙の色分け処理の準備として、ノイズ除去処理が行われる。たとえば、本実施の形態においては、三次元データに対応する3次元画像がグレースケール化される(STEP2)。3次元画像のグレースケール化は、ユーザ1(この場合、学習用データを生成するメーカの技術者または製造工場の作業者など)によって行われる。三次元画像がグレースケール化されると、図8(b)に示すようにグレースケール化された歯牙を含む三次元画像が生成される。また、三次元画像のグレースケール化に応じて、三次元データに対応する歯牙の各点における色情報(RGB値)がグレースケールに対応する値に変更される。
次に、三次元データに対応する三次元画像に含まれる各歯牙に対して予め定められた色が塗布されることで各歯牙が色分けされる(STEP3)。たとえば、図9に示すように、識別装置100が保持する色分類データ118は、下顎左側、下顎右側、上顎左側、および上顎右側といったように口腔内の各部位ごとに設けられている。図9においては、下顎左側に対応する色分類データ118が示されている。各色分類データ118においては、歯牙の種類ごとに、歯科分野において一般的に用いられている歯牙の番号と、予め定められた色情報とが割り当てられている。
たとえば、第二大臼歯は、歯牙の番号として7番が割り当てられ、色情報として赤色が割り当てられている。第一大臼歯は、歯牙の番号として6番が割り当てられ、色情報として緑色が割り当てられている。第二小臼歯は、歯牙の番号として5番が割り当てられ、色情報として青色が割り当てられている。このように、各色分類データ118においては、各歯牙の種類に対して歯牙の番号および色情報が予め割り当てられている。
各歯牙に対する色の塗布は、ユーザ1(メーカの技術者または製造工場の作業者など)によって行われる。具体的には、ユーザ1は、自身の知見に基づき三次元画像に含まれる各歯牙の種類を識別し、識別した歯牙の種類に対応する色を、色分類データ118を参照しながら特定し、特定した色を当該歯牙の画像に塗布する。
たとえば、ユーザ1は、三次元画像に含まれる歯牙が第二大臼歯であると識別すると、当該歯牙の画像に赤色を塗布する。また、三次元画像に含まれる歯牙が第一大臼歯であると識別すると、当該歯牙の画像に緑色を塗布する。三次元画像に含まれる各歯牙に対して予め定められた色が塗布されると、図8(c)および図9(d)に示すように各歯牙に対して予め定められた色が塗布された三次元画像が生成される。なお、分かり易いように、図面上では各色がハッチングで表されている。
また、各歯牙の色分けに応じて、三次元データに対応する歯牙の各点における色情報(RGB値)が各歯牙に塗布された色に対応する値に変更される。たとえば、赤色に塗布された第二大臼歯の各位置座標に対しては、色情報(RGB値)が“255000000”となり、緑色に塗布された第一大臼歯の各位置座標に対しては、色情報(RGB値)が“000255000”となり、青色に塗布された第二小臼歯の各位置座標に対しては、色情報(RGB値)が“00000255”となる。つまり、三次元データに対応する歯牙の各点に対して、予め定められた色情報(RGB値)が関連付けられる。
各歯牙に対して予め定められた色情報が関連付けられると、三次元データには、位置情報と、塗布された色に対応する色情報とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、本実施の形態に係る学習用データにおいては、識別処理で参照される位置情報に対して、歯牙の種類に対応する色情報が関連付けられる(ラベリングされる)。さらに、三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに色情報が関連付けられる。具体的には、各歯牙に対応する位置情報ごとに、同じ色情報が関連付けられる。このような学習用データの集まりが学習用データセット116として、識別装置100に保持される。
このように、学習用データを生成する際に、ユーザ1が三次元画像に含まれる各歯牙に色を塗布して正解データをラベリングすることにおいては、多くの利点がある。たとえば、単なる文字または記号を用いてラベリングした場合、ユーザ1は、各歯牙の範囲を認識し難いが、色分けによってラベリングした場合、ユーザ1は、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を色の塗布によって容易に認識することができる。また、ユーザ1は、ラベリング時に様々な角度から三次元画像を確認しながら色を塗布するが、視点の角度を変更した場合でも、ラベリング作業中の歯牙に対してどの範囲まで塗布が完了したのかを認識し易くなる。
なお、本実施の形態においては、ユーザ1が自身の知見に基づき手作業で三次元画像に含まれる各歯牙に色を塗布しているが、一部の作業をソフトウェアで補うことも可能である。たとえば、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を、エッジ検出によって特定してもよく、このようにすれば、ラベリング対象である歯牙のみを抽出することができる。
なお、図8および図9に示す学習用データセット116の生成は、サーバ装置500が保持する学習用データセット516の生成についても適用可能である。たとえば、図9に示す学習用データセット116を、サーバ装置500が保持する学習用データセット516に適用してもよいし、図9に示す色分類データ118を、サーバ装置500が保持する色分類データ518に適用してもよい。
[学習済モデルの生成]
図10を参照しながら、学習済モデル114aの生成の一例を説明する。図10は、本実施の形態に係る学習用データセット116に基づく学習済モデル114aの生成を説明するための模式図である。
図10を参照しながら、学習済モデル114aの生成の一例を説明する。図10は、本実施の形態に係る学習用データセット116に基づく学習済モデル114aの生成を説明するための模式図である。
図10に示すように、学習用データセット116は、当該学習用データセット116を生成する際にスキャン対象となった対象者2のプロファイルに基づきカテゴリごとに分類することができる。たとえば、年齢(未成年者,現役世代,高齢者)、性別(男性,女性)、人種(アジア人,欧米人,アフリカ系)、身長(150cm未満,150以上)、体重(50kg未満,50kg以上)、および居住地(日本在住,日本以外に在住)のそれぞれに対して、該当する対象者2の歯牙を含む三次元データから生成された学習用データセットを割り当てることができる。なお、各カテゴリの層別は、適宜設定可能である。たとえば、年齢に関しては、所定の年齢差ごと(この場合は3歳ごと)、具体的には、0歳~3歳、4歳~6歳、7歳~9歳、…といったように、より詳細に層別することができる。
識別装置100は、カテゴリごとに分類することができる複数の学習用データセット116a~116oを用いて推定モデル114を学習させることで、学習済モデル114aを生成する。なお、学習用データは、カテゴリの分類の仕方によっては重複することがあるが、学習用データが重複する場合には、いずれかの学習用データのみを用いて推定モデル114を学習させればよい。
一般的に歯牙の形状は、年齢、性別、人種、身長、体重、および居住地など、遺伝または生活環境などに依存してその特徴が異なる。たとえば、一般的に、大人の永久歯は、子供の乳歯よりも大きく、両者でその形状が異なる。また、一般的に、男性の歯牙は、女性の歯牙よりも大きく、両者でその形状が異なる。また、一般的に、欧米人の歯牙は、硬い肉やパンを噛み切り易いように先端が尖る傾向があるのに対して、日本人の歯牙は、柔らかい米や野菜をすり潰し易いように先端が滑らかになる傾向がある。このため、本実施の形態のように、プロファイルデータに基づき学習処理を実行すれば、遺伝または生活環境などを考慮して歯牙の種類を識別することができる学習済モデルを生成することができる。
なお、図10に示す学習済モデル114aの生成は、サーバ装置500が保持する学習済モデル514aの生成についても適用可能である。たとえば、図10に示す学習用データセット116a~116oを、サーバ装置500が保持する学習用データセット516に適用してもよいし、図10に示す推定モデル114を、サーバ装置500が保持する推定モデル514に適用してもよい。
[識別装置の学習処理]
図11を参照しながら、識別装置100が実行する学習処理について説明する。図11は、本実施の形態に係る識別装置100が実行する学習処理の一例を説明するためのフローチャートである。図11に示す各ステップは、識別装置100の演算装置130がOS127および学習用プログラム121を実行することで実現される。
図11を参照しながら、識別装置100が実行する学習処理について説明する。図11は、本実施の形態に係る識別装置100が実行する学習処理の一例を説明するためのフローチャートである。図11に示す各ステップは、識別装置100の演算装置130がOS127および学習用プログラム121を実行することで実現される。
図11に示すように、識別装置100は、学習用データセット116の中から、学習に用いる学習用データを選択する(S2)。具体的には、識別装置100は、図10に示す学習用データセット群に含まれる学習用データセット116の中から、一または複数の学習用データを選択する。なお、識別装置100は、学習用データを自動で選択するものに限らず、ユーザ1が選択した学習用データを学習処理に用いてもよい。
識別装置100は、選択した学習用データに含まれる三次元データの位置情報、および当該学習用データを生成する際にスキャン対象となった対象者2のプロファイルデータを推定モデル114に入力する(S4)。このとき、識別装置100には、三次元データにラベリングされた正解データは入力されない。識別装置100は、三次元データに対応する歯牙の特徴に基づき、推定モデル114を用いて当該歯牙の種類を識別する識別処理を実行する(S6)。識別処理において、識別装置100は、三次元データに加えてプロファイルデータに基づき、推定モデル114を用いて当該歯牙の種類を識別する。
識別装置100は、識別処理によって識別した歯牙の種類の識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル114のパラメータ1144を更新する(S8)。
たとえば、識別装置100は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定する。識別装置100は、学習用データに含まれる当該特定の歯牙に対応する色情報(正解データ)と、自身が推定した色情報とを比較し、一致すれば推定モデル114のパラメータ1144を維持する一方で、不正解であれば両者が一致するように推定モデル114のパラメータ1144を更新する。
あるいは、識別装置100は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ118に基づき当該色情報に対応する歯牙の種類や歯牙の番号(正解データ)を特定する。識別装置100は、学習用データに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号(正解データ)と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル114のパラメータ1144を維持する一方で、不正解であれば両者が一致するように推定モデル114のパラメータ1144を更新する。
次に、識別装置100は、全ての学習用データに基づき学習したか否かを判定する(S10)。識別装置100は、全ての学習用データに基づき学習していない場合(S10でNO)、S2の処理に戻る。
一方、識別装置100は、全ての学習用データに基づき学習した場合(S10でYES)、学習済みの推定モデル114を学習済モデル114aとして記憶し(S12)、本処理を終了する。
このように、識別装置100は、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する歯牙情報(色情報、歯牙の名称、または歯牙の番号など)を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、推定モデル114を学習することで、学習済モデル114aを生成することができる。
さらに、識別装置100は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル114を学習するため、対象者2のプロファイルを考慮した学習済モデル114aを生成することができる。
[サーバ装置の学習処理]
図12を参照しながら、サーバ装置500が実行する学習処理について説明する。図12は、本実施の形態に係るサーバ装置500が実行する学習処理の一例を説明するためのフローチャートである。図12に示す各ステップは、サーバ装置500の演算装置530がOS527および学習用プログラム521を実行することで実現される。
図12を参照しながら、サーバ装置500が実行する学習処理について説明する。図12は、本実施の形態に係るサーバ装置500が実行する学習処理の一例を説明するためのフローチャートである。図12に示す各ステップは、サーバ装置500の演算装置530がOS527および学習用プログラム521を実行することで実現される。
図12に示すように、サーバ装置500は、学習用データセットの中から、学習に用いる学習用データを選択する(S502)。ここで、学習用データは、サーバ装置500によって蓄積して記憶されたビッグデータを利用して生成されたものであってもよい。たとえば、サーバ装置500は、各ローカルA~Cの識別装置100および歯科技工所から取得したスキャン情報に含まれる三次元データを利用して学習用データを生成しておき、生成した当該学習用データを用いて学習処理を実行してもよい。なお、サーバ装置500は、学習用データを自動で選択するものに限らず、ユーザ1が選択した学習用データを学習処理に用いてもよい。
サーバ装置500は、選択した学習用データに含まれる三次元データ(位置情報)、および当該学習用データを生成する際にスキャン対象となった対象者2のプロファイルデータを推定モデル514に入力する(S504)。このとき、サーバ装置500には、三次元データにラベリングされた正解データは入力されない。サーバ装置500は、三次元データに対応する歯牙の特徴に基づき、推定モデル514を用いて当該歯牙の種類を識別する識別処理を実行する(S506)。識別処理において、サーバ装置500は、三次元データに加えてプロファイルデータに基づき、推定モデル514を用いて当該歯牙の種類を識別する。
サーバ装置500は、識別処理によって識別した歯牙の種類の識別結果と、学習に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル514のパラメータを更新する(S508)。
たとえば、サーバ装置500は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定する。サーバ装置500は、学習用データセットに含まれる当該特定の歯牙に対応する色情報(正解データ)と、自身が推定した色情報とを比較し、一致すれば推定モデル514のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル514のパラメータを更新する。
あるいは、サーバ装置500は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ518に基づき当該色情報に対応する歯牙の種類や歯牙の番号(正解データ)を特定する。サーバ装置500は、学習用データセットに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号(正解データ)と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル514のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル514のパラメータを更新する。
次に、サーバ装置500は、全ての学習用データに基づき学習したか否かを判定する(S510)。サーバ装置500は、全ての学習用データに基づき学習していない場合(S510でNO)、S502の処理に戻る。
一方、サーバ装置500は、全ての学習用データに基づき学習した場合(S510でYES)、学習済みの推定モデル514を学習済モデル514aとして記憶する(S512)。その後、サーバ装置500は、生成した学習済モデル514aを各ローカルの識別装置100に送信し(S514)、本処理を終了する。
このように、サーバ装置500は、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する歯牙情報(色情報,歯牙の名称,歯牙の番号)を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、推定モデル514を学習することで、学習済モデル514aを生成することができる。
また、サーバ装置500は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル514を学習するため、対象者2のプロファイルを考慮した学習済モデル514aを生成することができる。
さらに、サーバ装置500は、学習処理に用いる学習用データとして、各ローカルA~Cの識別装置100および歯科技工所から取得したスキャン情報に含まれる三次元データを利用しているため、識別装置100ごとに実行される学習処理よりも、より多くの学習用データに基づいて学習処理を実行することができ、より精度良く歯牙の種類を識別することができる学習済モデル514aを生成することができる。
[識別装置のサービス提供処理]
図13を参照しながら、識別装置100が実行するサービス提供処理について説明する。図13は、本実施の形態に係る識別装置100が実行するサービス提供処理の一例を説明するためのフローチャートである。図13に示す各ステップは、識別装置100の演算装置130がOS127および識別用プログラム120を実行することで実現される。
図13を参照しながら、識別装置100が実行するサービス提供処理について説明する。図13は、本実施の形態に係る識別装置100が実行するサービス提供処理の一例を説明するためのフローチャートである。図13に示す各ステップは、識別装置100の演算装置130がOS127および識別用プログラム120を実行することで実現される。
図13に示すように、識別装置100は、サービス提供処理の開始条件が成立したか否かを判定する(S42)。開始条件は、たとえば、三次元スキャナ200の電源を立ち上げたときに成立してもよいし、三次元スキャナ200の電源を立ち上げた後にサービス提供処理に対応するモードに切り替えられたときに成立してもよい。あるいは、開始条件は、サービス提供処理に対応するアイコン(たとえば、AIアシストアイコン)が操作されてアイコンが点滅状態になった後に開始スイッチが操作されたときに成立してもよい。また、開始条件は、一定量の三次元データが取得されたときに成立してもよい。開始条件は、三次元スキャナ200に対して何らかのアクションが行われたときに成立するものであればよい。
識別装置100は、開始条件が成立していない場合(S42でNO)、本処理を終了する。一方、識別装置100は、開始条件が成立した場合(S42でYES)、三次元データが入力されたか否かを判定する(S44)。たとえば、識別装置100は、識別処理を実行するのに十分な量の三次元データが入力されたか否かを判定する。識別装置100は、十分な量の三次元データが入力されていない場合(S44でNO)、S44の処理を繰り返す。
一方、識別装置100は、十分な量の三次元データが入力された場合(S44でYES)、ユーザ1によって対象者2のプロファイルデータが入力されたか否かを判定する(S46)。識別装置100は、プロファイルデータが入力されていない場合(S46でNO)、三次元データ(位置情報)を学習済モデル114aに入力する(S48)。一方、識別装置100は、プロファイルデータが入力された場合(S46でYES)、三次元データ(位置情報)およびプロファイルデータを学習済モデル114aに入力する(S50)。なお、このとき使用する学習済モデルは、図11に示す学習処理で識別装置100によって生成された学習済モデル114aに限らず、図12に示す学習処理でサーバ装置500によって生成された学習済モデル514aであってもよい。
S48およびS50の後、識別装置100は、三次元データに対応する歯牙の特徴に基づき、学習済モデル114aを用いて当該歯牙の種類を識別する識別処理を実行する(S52)。このとき、S50でプロファイルデータが学習済モデル114aに入力されていた場合、識別装置100は、三次元データに加えてプロファイルデータに基づき、学習済モデル114aを用いて当該歯牙の種類を識別する。この場合、三次元データのみに基づき学習済モデル114aを用いて歯牙の種類を識別するよりも、より精度良く歯牙の種類を識別することができる。
その後、識別装置100は、識別処理によって得られた識別結果を、ディスプレイ300、スピーカ400、およびサーバ装置500などに出力し(S54)、本処理を終了する。
このように、識別装置100は、入力された三次元データに対応する歯牙の特徴に基づき、学習済モデル114aを用いて当該歯牙の種類を識別するため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。
さらに、識別装置100は、識別処理において、入力された三次元データに加えてプロファイルデータを考慮して歯牙の種類を識別するため、より精度良く歯牙の種類を識別することができる。
[主な構成]
以上のように、本実施の形態では以下のような開示を含む。
以上のように、本実施の形態では以下のような開示を含む。
識別装置100は、歯牙を含む三次元データが入力される入力部1102と、入力部1102から入力された歯牙の特徴を含む三次元データおよびニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)に基づき、当該歯牙の種類を識別する識別部1130と、識別部1130による識別結果を出力する出力部1103とを備え、推定モデル114は、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習される。
これにより、ユーザ1は、歯牙を含む三次元データを、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。
なお、推定モデル114の学習は、サーバ装置500によって実行される推定モデル514の学習によって実現されるものであってもよい。
入力部1102には、少なくとも、口腔内において隣接する複数の歯牙および歯肉に対応する三次元データが入力され、識別部1130は、複数の歯牙のそれぞれの特徴を含む三次元データに基づき、当該複数の歯牙のそれぞれの種類を識別する。
これにより、ユーザ1は、口腔内において隣接する複数の歯牙および歯肉に対応する三次元データを、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)に入力することで、当該複数の歯牙のそれぞれの種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を1つ1つ識別するよりも、精度良くかつスムーズに歯牙の種類を識別することができる。さらに、ユーザ1は、隣接する歯牙の形状との関係も考慮してニューラルネットワーク1142を含む推定モデル114によって歯牙の特徴を抽出させることができるため、精度良く歯牙の種類を識別することができる。
図6に示すように、三次元データは、当該三次元データに対応する歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む。
これにより、ユーザ1は、三次元データに対応する歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)に入力することで、当該歯牙の種類を識別することができる。
図6に示すように、位置情報は、予め定められた位置を基準とした絶対位置の座標を含む。
これにより、ユーザ1は、三次元データに対応する歯牙の各点における三次元の位置情報として予め定められた位置を基準とした絶対位置の座標を、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)に入力することで、当該歯牙の種類を識別することができる。
図7に示すように、入力部1102に入力された三次元データに対応する歯牙が上顎の切歯である場合、当該三次元データに対応する三次元画像は、上唇側の部位、口蓋側の部位、および切縁側の部位の画像を少なくとも含み、入力部1102に入力された三次元データに対応する歯牙が上顎の犬歯および臼歯である場合、当該三次元データに対応する三次元画像は、頬側の部位、口蓋側の部位、および咬合する部位の画像を少なくとも含み、入力部1102に入力された三次元データに対応する歯牙が下顎の切歯である場合、当該三次元データに対応する三次元画像は、下唇側の部位、舌側の部位、および切縁側の部位の画像を少なくとも含み、入力部1102に入力された三次元データに対応する歯牙が下顎の犬歯および臼歯である場合、当該三次元データに対応する三次元画像は、頬側の部位、舌側の部位、および咬合する部位の画像を少なくとも含む。
これにより、ユーザ1は、上顎の切歯、上顎の犬歯および臼歯、下顎の切歯、下顎の犬歯および臼歯のそれぞれについて、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)を用いて歯牙の種類を識別することができる。
図1および図5に示すように、出力部1103は、識別部1130による識別結果をディスプレイ300に出力し、ディスプレイ300は、識別部1130による識別結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか1つを表示する。
これにより、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)による識別結果に対応する画像がディスプレイ300に表示されるため、ユーザ1は、直感的に識別結果を認識することができ、利便性が向上する。
図1および図5に示すように、出力部1103は、識別部1130による識別結果をスピーカ400に出力し、スピーカ400は、識別部1130による識別結果に対応する音声を出力する。
これにより、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)による識別結果に対応する音声がスピーカ400から出力されるため、ユーザ1は、直感的に識別結果を認識することができ、利便性が向上する。
図1および図5に示すように、出力部1103は、識別部1130による識別結果をサーバ装置500に出力し、サーバ装置500は、識別部1130による識別結果を蓄積して記憶する。
これにより、サーバ装置500によって識別結果が蓄積して記憶されることでビッグデータが形成されるため、ユーザ1は、たとえば、このようなビッグデータを用いて学習処理をサーバ装置500に実行させることで、より精度良く歯牙の種類を識別することができる学習済モデルを生成することができる。
図5に示すように、推定モデル114は、ニューラルネットワーク1142によって用いられるパラメータ1144として、重み付け係数および判定値の少なくともいずれか1つを含み、推定モデル114は、歯牙情報と識別部1130による識別結果とに基づきパラメータ1144が更新されることで学習される。
これにより、ユーザ1は、推定モデル114のパラメータ1144を更新することで、より精度良く歯牙の種類を識別することができる学習済モデル114aを生成することができる。
図9に示すように、歯牙情報は、三次元データに対応する歯牙の種類に対応付けられた色、文字、数字、および記号のうちの少なくともいずれか1つの情報を含む。
これにより、ユーザ1は、歯牙の種類に対応付けられた色、文字、数字、および記号などに基づいて、より精度良く歯牙の種類を識別することができる学習済モデル114aを生成することができる。
図9に示すように、歯牙情報は、三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに関連付けられる。
これにより、ユーザ1は、歯牙情報によって、複数の歯牙のそれぞれの範囲を特定することができるため、ラベリング時の利便性が向上する。
図9に示すように、歯牙情報は、三次元データに対応する歯牙を構成する複数の点のそれぞれに関連付けられる。
これにより、三次元データに対応する歯牙を構成する複数の点のそれぞれに対して歯牙情報が関連付けられるため、ユーザ1は、歯牙に対して細かく歯牙情報を関連付けることができ、ラベリング時の利便性が向上する。
推定モデルは、歯牙情報および識別部1130による識別結果に加えて、歯牙を有する対象者2に関する属性情報に基づき、学習される。
これにより、ユーザ1は、学習用データに加えて対象者2に関する属性情報に基づいて推定モデル114を学習させることができるため、対象者2の属性情報を考慮した学習済モデルを生成することができる。
図10に示すように、属性情報は、対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか1つの情報を含む。
これにより、ユーザ1は、学習用データに加えて、対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか1つに基づいて推定モデル114を学習させることができるため、これら対象者2のプロファイルを考慮した学習済モデル114aを生成することができる。
スキャナシステム10は、三次元カメラを用いて歯牙を含む三次元データを取得する三次元スキャナ200と、三次元スキャナ200によって取得された歯牙の特徴を含む三次元データに基づき、当該歯牙の種類を識別する識別装置100とを備え、識別装置100は、三次元データが入力される入力部1102と、入力部1102から入力された歯牙の特徴を含む三次元データおよびニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)に基づき、当該歯牙の種類を識別する識別部1130と、識別部1130による識別結果を出力する出力部1103とを含み、推定モデル114は、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習される。
これにより、ユーザ1は、歯牙を含む三次元データを、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。
識別方法は、歯牙を含む三次元データが入力されるステップ(S48,S50)と、歯牙の特徴を含む三次元データおよびニューラルネットワーク1142を含む推定モデル114に基づき、当該歯牙の種類を識別するステップ(S52)と、識別するステップによる識別結果を出力するステップ(S54)とを含み、推定モデル114は、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習される。
これにより、ユーザ1は、歯牙を含む三次元データを、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。
識別用プログラム120は、演算装置130に、歯牙を含む三次元データが入力されるステップ(S48,S50)と、歯牙の特徴を含む三次元データおよびニューラルネットワーク1142を含む推定モデル114に基づき、当該歯牙の種類を識別するステップ(S52)と、識別するステップによる識別結果を出力するステップ(S54)とを実行させ、推定モデル114は、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習される。
これにより、ユーザ1は、歯牙を含む三次元データを、ニューラルネットワーク1142を含む推定モデル114(学習済モデル114a)に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。
[変形例]
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。
(サービス提供処理時学習処理)
本実施の形態に係る識別装置100は、図13に示すように、サービス提供処理において学習処理を実行するものではないが、図14に示すように、変形例に係る識別装置100aは、サービス提供処理において学習処理を実行するものであってもよい。図14は、変形例に係る識別装置100aが実行するサービス提供処理の一例を説明するためのフローチャートである。なお、図14に示すS42~S54の処理は、図13に示すS42~S54の処理と同じであるため、図14においては、S56以降の処理についてのみ説明する。
本実施の形態に係る識別装置100は、図13に示すように、サービス提供処理において学習処理を実行するものではないが、図14に示すように、変形例に係る識別装置100aは、サービス提供処理において学習処理を実行するものであってもよい。図14は、変形例に係る識別装置100aが実行するサービス提供処理の一例を説明するためのフローチャートである。なお、図14に示すS42~S54の処理は、図13に示すS42~S54の処理と同じであるため、図14においては、S56以降の処理についてのみ説明する。
図14に示すように、識別装置100aは、S42~S54の処理によって識別結果を出力した後、サービス提供時学習処理を実行する。具体的には、識別装置100aは、S54の後、誤り訂正のための正解データが入力されたか否かを判定する(S56)。たとえば、識別装置100aは、S54において出力された識別結果である歯牙の種類が、実際にスキャン対象であった歯牙の種類と異なる場合において、実際にスキャン対象であった歯牙の種類をユーザ1が入力することで誤りを訂正したか否かを判定する。
識別装置100aは、誤り訂正のための正解データが入力されなかった場合(S56でNO)、本処理を終了する。一方、識別装置100aは、誤り訂正のための正解データが入力された場合(S56でYES)、識別結果と正解データとに基づき報酬を付与する(S58)。
たとえば、識別結果と正解データとの解離度が小さければ小さいほど、付与する報酬として値の小さいマイナスポイントを与え、両者の解離度が大きければ大きいほど、付与する報酬として値の大きいマイナスポイントを与えればよい。具体的には、識別装置100aは、識別結果として出力した歯牙と、正解データとして入力された歯牙とが隣接していれば、値の小さいマイナスポイントを与え、両者が離れていれば、値の大きいマイナスポイントを与える。このように、識別装置100aは、識別結果と正解データとの解離度に応じて異なる値の報酬を付与する。なお、報酬はマイナスポイントに限らず、プラスポイントであってもよい。
識別装置100aは、付与した報酬に基づき、学習済モデル114aのパラメータ1144を更新する(S60)。たとえば、識別装置100aは、報酬として付与したマイナスポイントが0に近づくように学習済モデル114aのパラメータ1144を更新する。その後、識別装置100aは、本処理を終了する。
このように、変形例に係る識別装置100aは、サービス提供処理においても学習処理を実行するため、ユーザ1が使用すればするほど識別処理の精度が向上し、より精度良く歯牙の種類を識別することができる。
(カテゴリごとの学習済モデルの生成)
本実施の形態に係る識別装置100は、図10に示すように、カテゴリごとに分類された複数の学習用データセット116a~116oが含まれる学習用データセット群を用いて推定モデル114を学習させることで、1つの学習済モデル114aを生成するものであったが、図15に示すように、変形例に係る識別装置100bは、カテゴリごとに分類された複数の学習用データセットのそれぞれをカテゴリごとに用いて推定モデル114を学習させることで、カテゴリごとの学習済モデルを生成してもよい。図15は、変形例に係る学習用データセットに基づく学習済モデルの生成を説明するための模式図である。
本実施の形態に係る識別装置100は、図10に示すように、カテゴリごとに分類された複数の学習用データセット116a~116oが含まれる学習用データセット群を用いて推定モデル114を学習させることで、1つの学習済モデル114aを生成するものであったが、図15に示すように、変形例に係る識別装置100bは、カテゴリごとに分類された複数の学習用データセットのそれぞれをカテゴリごとに用いて推定モデル114を学習させることで、カテゴリごとの学習済モデルを生成してもよい。図15は、変形例に係る学習用データセットに基づく学習済モデルの生成を説明するための模式図である。
図15に示すように、学習用データセット116は、当該学習用データセット116を生成する際にスキャン対象となった対象者2のプロファイルに基づきカテゴリごとに分類されて保持される。たとえば、年齢(未成年者,現役世代,高齢者)、および性別(男性,女性)に基づき、6個のカテゴリに対して、学習用データセットが割り当てられる。
識別装置100bは、カテゴリごとに分類された複数の学習用データセット116p~116uのそれぞれをカテゴリごとに用いて推定モデル114を学習させることで、カテゴリごとの学習済モデル114p~114uを生成する。
このように、変形例に係る識別装置100bは、カテゴリごとに分類された複数の学習済モデル114p~114uを生成することができるため、対象者2のプロファイルに応じたより詳細な分析によって、より精度良く歯牙の種類を識別することができる。
なお、図15に示す学習済モデル114p~114uの生成は、サーバ装置500が保持する学習済モデル514aの生成についても適用可能である。たとえば、図15に示す学習用データセット116p~116uを、サーバ装置500が保持する学習用データセット516に適用してもよいし、図15に示す学習済モデル114p~114uを、サーバ装置500が保持する学習済モデル514aに適用してもよい。
(カテゴリごとの学習済モデルを用いたサービス提供処理)
図16を参照しながら、カテゴリごとの学習済モデル114p~114uを用いて識別装置100が実行するサービス提供処理について説明する。図16は、変形例に係る識別装置100bが実行するサービス提供処理の一例を説明するためのフローチャートである。図16に示す各ステップは、識別装置100bの演算装置130がOS127および識別用プログラム120を実行することで実現される。
図16を参照しながら、カテゴリごとの学習済モデル114p~114uを用いて識別装置100が実行するサービス提供処理について説明する。図16は、変形例に係る識別装置100bが実行するサービス提供処理の一例を説明するためのフローチャートである。図16に示す各ステップは、識別装置100bの演算装置130がOS127および識別用プログラム120を実行することで実現される。
図16に示すように、識別装置100bは、サービス提供処理の開始条件が成立したか否かを判定する(S142)。開始条件は、図13で示した開始条件と同じであるため、その説明を省略する。
識別装置100bは、開始条件が成立していない場合(S142でNO)、本処理を終了する。一方、識別装置100bは、開始条件が成立した場合(S142でYES)、三次元データを取得したか否かを判定する(S144)。たとえば、識別装置100bは、識別処理を実行するのに十分な量の三次元データを取得したか否かを判定する。識別装置100bは、十分な量の三次元データを取得していない場合(S144でNO)、S144の処理を繰り返す。
一方、識別装置100bは、十分な量の三次元データを取得した場合(S144でYES)、ユーザ1によって入力された対象者2のプロファイルデータを取得する(S146)。その後、識別装置100bは、図15に示す学習済モデル群の中からプロファイルデータに対応する学習済モデルを選択する(S148)。たとえば、対象者2が高齢者の女性であれば、識別装置100bは、学習済モデル114uを選択する。
その後、識別装置100bは、三次元データ(位置情報)を学習済モデルに入力する(S150)。識別装置100bは、三次元データに対応する歯牙の特徴に基づき、学習済モデルを用いて当該歯牙の種類を識別する識別処理を実行する(S152)。
その後、識別装置100bは、識別処理によって得られた識別結果を、ディスプレイ300、スピーカ400、およびサーバ装置500などに出力し(S154)、本処理を終了する。
このように、変形例に係る識別装置100bは、対象者2のプロファイルに最も適した学習済モデルを用いて識別処理を実行することができるため、対象者2のプロファイルに応じたより詳細な分析によって、より精度良く歯牙の種類を識別することができる。
(プロファイルの出力)
本実施の形態に係る識別装置100は、識別処理によって、歯牙の種類を識別するものであった。しかし、図10および図15に示すように、対象者2のプロファイルを考慮した学習用データセットに基づき学習済モデルが生成されることに鑑みると、識別処理において三次元データが学習済モデルに入力されることで、当該三次元データに対応する歯牙の特徴に基づき、当該歯牙の所有者のプロファイルが識別結果として出力されてもよい。このようにすれば、災害や事件などで発見された身元不明の対象者2について、歯牙を含む三次元データからプロファイルを特定することができる。
本実施の形態に係る識別装置100は、識別処理によって、歯牙の種類を識別するものであった。しかし、図10および図15に示すように、対象者2のプロファイルを考慮した学習用データセットに基づき学習済モデルが生成されることに鑑みると、識別処理において三次元データが学習済モデルに入力されることで、当該三次元データに対応する歯牙の特徴に基づき、当該歯牙の所有者のプロファイルが識別結果として出力されてもよい。このようにすれば、災害や事件などで発見された身元不明の対象者2について、歯牙を含む三次元データからプロファイルを特定することができる。
(学習処理)
本実施の形態に係る識別装置100は、学習処理によって推定モデル114のパラメータ1144を更新するものであったが、パラメータ1144を更新するものに限らず、学習処理によってニューラルネットワーク1142が更新される(たとえば、ニューラルネットワーク1142のアルゴリズムが更新される)ものであってもよい。また、本実施の形態に係るサーバ装置500は、学習処理によって推定モデル514のパラメータを更新するものであったが、パラメータを更新するものに限らず、学習処理によってニューラルネットワークが更新される(たとえば、ニューラルネットワークのアルゴリズムが更新される)ものであってもよい。
本実施の形態に係る識別装置100は、学習処理によって推定モデル114のパラメータ1144を更新するものであったが、パラメータ1144を更新するものに限らず、学習処理によってニューラルネットワーク1142が更新される(たとえば、ニューラルネットワーク1142のアルゴリズムが更新される)ものであってもよい。また、本実施の形態に係るサーバ装置500は、学習処理によって推定モデル514のパラメータを更新するものであったが、パラメータを更新するものに限らず、学習処理によってニューラルネットワークが更新される(たとえば、ニューラルネットワークのアルゴリズムが更新される)ものであってもよい。
(法線および/または色情報を用いた識別)
図17は、変形例に係る学習用データセットの一例を説明するための模式図である。変形例に係る識別装置100cは、三次元スキャナ200によって取得された三次元データに含まれる位置情報に加えて、歯牙の実際の色情報を推定モデル114に入力することで、推定モデル114を学習してもよい。
図17は、変形例に係る学習用データセットの一例を説明するための模式図である。変形例に係る識別装置100cは、三次元スキャナ200によって取得された三次元データに含まれる位置情報に加えて、歯牙の実際の色情報を推定モデル114に入力することで、推定モデル114を学習してもよい。
たとえば、図9を用いて説明したように、学習用データセットには、推定モデル114に対する入力データである位置情報と、正解データである歯牙の種類に対応付けられた色分け後の色情報とが含まれているが、これに加えて、図17に示すように、色分け前の歯牙の色情報が含まれてもよい。そして、学習処理においては、推定モデル114に対して位置情報に加えて色分け前の歯牙の色情報が入力されることで、歯牙の実際の色情報も考慮して、学習済モデル114aが生成されてもよい。
さらに、学習用データセットには、推定モデル114に対する入力データである位置情報と、正解データである歯牙の種類に対応付けられた色分け後の色情報とに加えて、図17に示すように、位置情報に基づき算出可能な法線情報が含まれてもよい。そして、学習処理においては、推定モデル114に対して位置情報に加えて法線情報が入力されることで、法線情報も考慮して、学習済モデル114aが生成されてもよい。
法線情報は、たとえば、以下のようにして算出することができる。たとえば、歯牙を構成する複数の点のうち、一の点に注目し、その注目点の近傍の所定範囲内に属する複数の点に基づいて、注目点の法線を生成する。具体的には、注目点の法線は、注目点の近傍の所定範囲内に属する複数の点に対し、主成分分析を用いて生成することができる。主成分分析は、一般的に、分散共分散行列を計算することで実施することができる。この分散共分散行列の計算において固有ベクトルを計算し、主成分方向を注目点の法線として生成すればよい。なお、点群におけるある点に対する法線の生成方法は公知であるため、一般的に知られているその他の技術を用いてもよい。
このように、学習用データセットに法線情報を加えることで、歯牙を構成する複数の点のそれぞれにおいて、各点が構成する歯牙のどちら側が表面なのかについても識別装置が学習することができる。また、注目点の近傍の所定範囲内に属する少数の点群のみに基づいて窪みなどの形状の特徴を識別装置が学習することができる。
なお、学習用データセットには、色分け前の歯牙の色情報と法線情報との両方が含まれてもよいし、一方のみが含まれてもよい。
次に、色分け前の歯牙の色情報および法線情報を含む学習用データセットに基づき学習された学習済モデルを用いて識別処理を実行するサービス提供処理について、図18を参照しながら説明する。図18は、変形例に係る識別装置100cが実行するサービス提供処理の一例を説明するためのフローチャートである。
図18に示すように、変形例に係る識別装置100cは、図13に示した識別装置100が実行するサービス提供処理と異なり、S245の処理を追加で実行する。すなわち、識別装置100cは、三次元データが入力された後(S44でYES)、入力された三次元データに含まれる位置情報に基づき、歯牙を構成する複数の点における法線を生成する(S245)。なお、入力された三次元データには、位置情報に加えて色分け前の歯牙の色情報が含まれている。
その後、識別装置100cは、プロファイルデータが入力されていないと判定した場合(S46でNO)、三次元データ(位置情報,色情報)に加えて法線情報を学習済モデル114aに入力する(S248)。一方、識別装置100cは、プロファイルデータが入力されたと判定した場合(S46でYES)、三次元データ(位置情報,色情報)およびプロファイルデータに加えて法線情報を学習済モデル114aに入力する(S250)。そして、S248およびS250の後、識別装置100cは、学習済モデルを用いて歯牙の種類を識別する識別処理を実行する(S52)。
このように、変形例に係る識別装置100cは、色分け前の歯牙の色情報、および三次元データに対応する歯牙を構成する複数の点のそれぞれについて生成された法線にさらに基づき、歯牙の種類を識別してもよい。なお、識別装置100cには、色分け前の歯牙の色情報が入力される一方で、法線情報が入力されない場合であってもよい。あるいは、識別装置100cには、法線情報が入力される一方で、色分け前の歯牙の色情報が入力されない場合であってもよい。
このように、識別装置100cは、色分け前の歯牙の色情報、および/または複数の点のそれぞれについて生成された法線に基づき歯牙の種類を識別することができるため、より精度良く歯牙の種類を識別することができる。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。
1 ユーザ、2 対象者、5 ネットワーク、10 スキャナシステム、100,100a,100b 識別装置、102 スキャナインターフェース、103,503 ディスプレイインターフェース、104 スピーカインターフェース、105,505 周辺機器インターフェース、106,506 ネットワークコントローラ、107,507 メディア読取装置、108 PCディスプレイ、109,509 メモリ、110,510 ストレージ、112,512 スキャン情報、114,514 推定モデル、114a,514a 学習済モデル、116,516 学習用データセット、118,518 色分類データ、119,519 プロファイルデータ、120 識別用プログラム、121,521 学習用プログラム、122,522 三次元データ、124,524 識別結果、127,527 OS、130,530 演算装置、200 三次元スキャナ、300,350 ディスプレイ、400 スピーカ、500 サーバ装置、550 リムーバブルディスク、601,651 キーボード、602,652 マウス、1102 入力部、1103 出力部、1119 プロファイル取得部、1130 識別部、1142 ニューラルネットワーク、1144 パラメータ。
Claims (19)
- 歯牙の種類を識別する識別装置であって、
歯牙を含む三次元データが入力される入力部と、
前記入力部から入力された歯牙の特徴を含む前記三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別する識別部と、
前記識別部による識別結果を出力する出力部とを備える、識別装置。 - 前記推定モデルは、前記三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習されたものである、請求項1に記載の識別装置。
- 前記入力部には、少なくとも、口腔内において隣接する複数の歯牙および歯肉に対応する前記三次元データが入力され、
前記識別部は、複数の歯牙のそれぞれの特徴を含む前記三次元データに基づき、当該複数の歯牙のそれぞれの種類を識別する、請求項1または請求項2に記載の識別装置。 - 前記三次元データは、当該三次元データに対応する歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む、請求項1~請求項3のいずれか1項に記載の識別装置。
- 前記位置情報は、予め定められた位置を基準とした絶対位置の座標を含む、請求項4に記載の識別装置。
- 前記三次元データに対応する歯牙を構成する複数の点のそれぞれについて生成された法線にさらに基づき、歯牙の種類を識別する、請求項1~請求項5のいずれか1項に記載の識別装置。
- 前記入力部に入力された前記三次元データに対応する歯牙が上顎の切歯である場合、当該三次元データに対応する三次元画像は、上唇側の部位、口蓋側の部位、および切縁側の部位の画像を少なくとも含み、
前記入力部に入力された前記三次元データに対応する歯牙が上顎の犬歯および臼歯である場合、当該三次元データに対応する三次元画像は、頬側の部位、口蓋側の部位、および咬合する部位の画像を少なくとも含み、
前記入力部に入力された前記三次元データに対応する歯牙が下顎の切歯である場合、当該三次元データに対応する三次元画像は、下唇側の部位、舌側の部位、および切縁側の部位の画像を少なくとも含み、
前記入力部に入力された前記三次元データに対応する歯牙が下顎の犬歯および臼歯である場合、当該三次元データに対応する三次元画像は、頬側の部位、舌側の部位、および咬合する部位の画像を少なくとも含む、請求項1~請求項6のいずれか1項に記載の識別装置。 - 前記出力部は、前記識別部による識別結果を表示部に出力し、
前記表示部は、前記識別部による識別結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか1つを表示する、請求項1~請求項7のいずれか1項に記載の識別装置。 - 前記出力部は、前記識別部による識別結果を音声出力部に出力し、
前記音声出力部は、前記識別部による識別結果に対応する音声を出力する、請求項1~請求項8のいずれか1項に記載の識別装置。 - 前記出力部は、前記識別部による識別結果をサーバ装置に出力し、
前記サーバ装置は、前記識別部による識別結果を蓄積して記憶する、請求項1~請求項9のいずれか1項に記載の識別装置。 - 前記推定モデルは、前記ニューラルネットワークによって用いられるパラメータとして、重み付け係数および判定値の少なくともいずれか1つを含み、
前記推定モデルは、前記歯牙情報と前記識別部による識別結果とに基づき前記パラメータが更新されることで学習される、請求項2に記載の識別装置。 - 前記歯牙情報は、前記三次元データに対応する歯牙の種類に対応付けられた色、文字、数字、および記号のうちの少なくともいずれか1つの情報を含む、請求項2または請求項11のいずれか1項に記載の識別装置。
- 前記歯牙情報は、前記三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに関連付けられる、請求項2、請求項11、および請求項12のいずれか1項に記載の識別装置。
- 前記歯牙情報は、前記三次元データに対応する歯牙を構成する複数の点のそれぞれに関連付けられる、請求項2、請求項11、請求項12、および請求項13のいずれか1項に記載の識別装置。
- 前記推定モデルは、前記歯牙情報および前記識別部による識別結果に加えて、歯牙を有する対象者に関する属性情報に基づき、学習される、請求項2、請求項11、請求項12、請求項13、および請求項14のいずれか1項に記載の識別装置。
- 前記属性情報は、前記対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか1つの情報を含む、請求項15に記載の識別装置。
- 歯牙の形状情報を取得するスキャナシステムであって、
三次元カメラを用いて歯牙を含む三次元データを取得する三次元スキャナと、
前記三次元スキャナによって取得された歯牙の特徴を含む前記三次元データに基づき、当該歯牙の種類を識別する識別装置とを備え、
前記識別装置は、
前記三次元データが入力される入力部と、
前記入力部から入力された歯牙の特徴を含む前記三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別する識別部と、
前記識別部による識別結果を出力する出力部とを含む、スキャナシステム。 - 歯牙の種類を識別する識別方法であって、
歯牙を含む三次元データが入力されるステップと、
歯牙の特徴を含む前記三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別するステップと、
前記識別するステップによる識別結果を出力するステップとを含む、識別方法。 - 歯牙の種類を識別する識別用プログラムであって、
前記識別用プログラムは、コンピュータに、
歯牙を含む三次元データが入力されるステップと、
歯牙の特徴を含む前記三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別するステップと、
前記識別するステップによる識別結果を出力するステップとを実行させる、識別用プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19901206.3A EP3901901A4 (en) | 2018-12-17 | 2019-12-12 | IDENTIFICATION DEVICE, SCANNING SYSTEM, IDENTIFICATION METHOD AND IDENTIFICATION PROGRAM |
CN201980082816.4A CN113194872B (zh) | 2018-12-17 | 2019-12-12 | 识别装置、扫描仪***以及识别方法 |
US17/415,263 US12002271B2 (en) | 2018-12-17 | 2019-12-12 | Identification device, scanner system, and identification method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018235628A JP6650996B1 (ja) | 2018-12-17 | 2018-12-17 | 識別装置、スキャナシステム、識別方法、および識別用プログラム |
JP2018-235628 | 2018-12-17 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/415,263 A-371-Of-International US12002271B2 (en) | 2018-12-17 | 2019-12-12 | Identification device, scanner system, and identification method |
US18/645,796 Continuation US20240273925A1 (en) | 2018-12-17 | 2024-04-25 | Identification device, scanner system, and identification method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020129799A1 true WO2020129799A1 (ja) | 2020-06-25 |
Family
ID=69568313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/048650 WO2020129799A1 (ja) | 2018-12-17 | 2019-12-12 | 識別装置、スキャナシステム、識別方法、および識別用プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US12002271B2 (ja) |
EP (1) | EP3901901A4 (ja) |
JP (1) | JP6650996B1 (ja) |
CN (1) | CN113194872B (ja) |
WO (1) | WO2020129799A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538433A (zh) * | 2021-09-17 | 2021-10-22 | 海门市创睿机械有限公司 | 基于人工智能的机械铸件缺陷检测方法及*** |
JP2022012198A (ja) * | 2020-07-01 | 2022-01-17 | 株式会社モリタ製作所 | 識別装置、スキャナシステム、識別方法、および識別用プログラム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7220569B2 (ja) * | 2019-01-08 | 2023-02-10 | 株式会社モリタ製作所 | 撮像支援装置、スキャナシステム、および撮像支援方法 |
CN113223140A (zh) * | 2020-01-20 | 2021-08-06 | 杭州朝厚信息科技有限公司 | 利用人工神经网络生成牙科正畸治疗效果的图像的方法 |
JP7398983B2 (ja) | 2020-03-02 | 2023-12-15 | 株式会社クレスコ | 情報処理装置、情報処理方法及び情報処理プログラム |
CN111700698B (zh) * | 2020-05-14 | 2022-07-08 | 先临三维科技股份有限公司 | 齿科扫描方法、装置、***和计算机可读存储介质 |
JP7324735B2 (ja) * | 2020-07-01 | 2023-08-10 | 株式会社モリタ製作所 | 識別装置、スキャナシステム、識別方法、および識別用プログラム |
JP7227188B2 (ja) * | 2020-07-01 | 2023-02-21 | 株式会社モリタ製作所 | 識別装置、識別システム、識別方法、および識別用プログラム |
JP7178016B2 (ja) * | 2021-03-01 | 2022-11-25 | アイテック株式会社 | 画像処理装置及びその画像処理方法 |
JP7507135B2 (ja) | 2021-10-14 | 2024-06-27 | 株式会社モリタ製作所 | 推定装置、推定方法、および推定プログラム |
JP7469351B2 (ja) | 2022-03-25 | 2024-04-16 | 株式会社モリタ製作所 | 識別装置、識別方法、および識別プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000074635A (ja) | 1998-06-30 | 2000-03-14 | Sirona Dental Syst Gmbh | 三角測量法によって所定の物体の表面構造を記録するための3次元カメラおよび方法 |
WO2016143022A1 (ja) * | 2015-03-09 | 2016-09-15 | 富士通株式会社 | 歯冠情報取得プログラム、情報処理装置、及び歯冠情報取得方法 |
US20170169562A1 (en) * | 2015-12-10 | 2017-06-15 | 3M Innovative Properties Company | Method for automatic tooth type recognition from 3d scans |
JP2017213060A (ja) * | 2016-05-30 | 2017-12-07 | 富士通株式会社 | 歯の種類判定プログラム、歯冠位置判定装置及びその方法 |
US20180061054A1 (en) * | 2016-08-29 | 2018-03-01 | CephX Technologies Ltd. | Automated Cephalometric Analysis Using Machine Learning |
JP2018063707A (ja) * | 2016-10-13 | 2018-04-19 | メディア株式会社 | 画像分析システム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7605817B2 (en) | 2005-11-09 | 2009-10-20 | 3M Innovative Properties Company | Determining camera motion |
US20080172386A1 (en) | 2007-01-17 | 2008-07-17 | Ammar Hany H | Automated dental identification system |
US9168778B2 (en) * | 2012-07-25 | 2015-10-27 | Brian P. Trava | Dental-based identification system |
JP5781667B1 (ja) * | 2014-05-28 | 2015-09-24 | 株式会社モリタ製作所 | 根管治療用装置 |
CN104867148B (zh) * | 2015-04-22 | 2018-08-10 | 北京爱普力思健康科技有限公司 | 预定种类物体图像的获取方法、装置及口腔远程诊断*** |
CN106228550B (zh) * | 2016-07-19 | 2019-04-30 | 上海爱圣美科技有限公司 | 一种三维牙齿模型中牙冠部分的识别方法 |
US11291532B2 (en) * | 2016-07-27 | 2022-04-05 | James R. Glidewell Dental Ceramics, Inc. | Dental CAD automation using deep learning |
CN106504331B (zh) | 2016-09-27 | 2021-05-18 | 西安科技大学 | 基于三维模型检索的牙齿建模方法 |
US10483004B2 (en) | 2016-09-29 | 2019-11-19 | Disney Enterprises, Inc. | Model-based teeth reconstruction |
CA3053487A1 (en) * | 2017-02-22 | 2018-08-30 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks |
ES2959203T3 (es) | 2017-03-17 | 2024-02-21 | Nobel Biocare Services Ag | Sistema y método de mapeo automático de arco dental |
US10613515B2 (en) * | 2017-03-31 | 2020-04-07 | Align Technology, Inc. | Orthodontic appliances including at least partially un-erupted teeth and method of forming them |
WO2018232299A1 (en) * | 2017-06-16 | 2018-12-20 | Align Technology, Inc. | Automatic detection of tooth type and eruption status |
US20180368954A1 (en) * | 2017-06-21 | 2018-12-27 | SmileDirectClub LLC | Dental impression kit and methods therefor |
EP3462373A1 (en) * | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
CN108491850B (zh) * | 2018-03-27 | 2020-04-10 | 北京正齐口腔医疗技术有限公司 | 三维牙齿网格模型的特征点自动提取方法及装置 |
CN112105315B (zh) * | 2018-05-08 | 2023-04-18 | 阿莱恩技术有限公司 | 基于扫描的自动异位牙齿检测 |
US20210290070A1 (en) * | 2020-03-19 | 2021-09-23 | International Business Machines Corporation | Smart toothbrush that tracks and removes dental plaque |
WO2022109500A1 (en) * | 2020-11-23 | 2022-05-27 | Align Technology, Inc. | Automatic segmentation of dental cbct scans |
-
2018
- 2018-12-17 JP JP2018235628A patent/JP6650996B1/ja active Active
-
2019
- 2019-12-12 WO PCT/JP2019/048650 patent/WO2020129799A1/ja unknown
- 2019-12-12 EP EP19901206.3A patent/EP3901901A4/en active Pending
- 2019-12-12 US US17/415,263 patent/US12002271B2/en active Active
- 2019-12-12 CN CN201980082816.4A patent/CN113194872B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000074635A (ja) | 1998-06-30 | 2000-03-14 | Sirona Dental Syst Gmbh | 三角測量法によって所定の物体の表面構造を記録するための3次元カメラおよび方法 |
WO2016143022A1 (ja) * | 2015-03-09 | 2016-09-15 | 富士通株式会社 | 歯冠情報取得プログラム、情報処理装置、及び歯冠情報取得方法 |
US20170169562A1 (en) * | 2015-12-10 | 2017-06-15 | 3M Innovative Properties Company | Method for automatic tooth type recognition from 3d scans |
JP2017213060A (ja) * | 2016-05-30 | 2017-12-07 | 富士通株式会社 | 歯の種類判定プログラム、歯冠位置判定装置及びその方法 |
US20180061054A1 (en) * | 2016-08-29 | 2018-03-01 | CephX Technologies Ltd. | Automated Cephalometric Analysis Using Machine Learning |
JP2018063707A (ja) * | 2016-10-13 | 2018-04-19 | メディア株式会社 | 画像分析システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3901901A4 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022012198A (ja) * | 2020-07-01 | 2022-01-17 | 株式会社モリタ製作所 | 識別装置、スキャナシステム、識別方法、および識別用プログラム |
JP7267974B2 (ja) | 2020-07-01 | 2023-05-02 | 株式会社モリタ製作所 | 識別装置、スキャナシステム、識別方法、および識別用プログラム |
CN113538433A (zh) * | 2021-09-17 | 2021-10-22 | 海门市创睿机械有限公司 | 基于人工智能的机械铸件缺陷检测方法及*** |
CN113538433B (zh) * | 2021-09-17 | 2021-11-26 | 海门市创睿机械有限公司 | 基于人工智能的机械铸件缺陷检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
US20220058372A1 (en) | 2022-02-24 |
JP6650996B1 (ja) | 2020-02-19 |
CN113194872A (zh) | 2021-07-30 |
CN113194872B (zh) | 2023-06-30 |
EP3901901A1 (en) | 2021-10-27 |
EP3901901A4 (en) | 2022-08-31 |
US12002271B2 (en) | 2024-06-04 |
JP2020096691A (ja) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020129799A1 (ja) | 識別装置、スキャナシステム、識別方法、および識別用プログラム | |
US20220218449A1 (en) | Dental cad automation using deep learning | |
JP7220569B2 (ja) | 撮像支援装置、スキャナシステム、および撮像支援方法 | |
JP2019162426A (ja) | ディープラーニングを用いた歯科用cadの自動化 | |
JP7398512B2 (ja) | データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム | |
JP6831433B2 (ja) | 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム | |
JP6831432B2 (ja) | 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム | |
JP6831431B2 (ja) | 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム | |
JP6900445B2 (ja) | 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム | |
JP7227188B2 (ja) | 識別装置、識別システム、識別方法、および識別用プログラム | |
JP7525690B2 (ja) | 識別装置、スキャナシステム、識別方法、および識別用プログラム | |
JP7030076B2 (ja) | データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム | |
JP7265359B2 (ja) | データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム | |
JP7195291B2 (ja) | データ処理装置、データ処理システム、データ処理方法、およびデータ処理用プログラム | |
US20240273925A1 (en) | Identification device, scanner system, and identification method | |
JP7267974B2 (ja) | 識別装置、スキャナシステム、識別方法、および識別用プログラム | |
JP7405809B2 (ja) | 推定装置、推定方法、および推定プログラム | |
JP7195466B2 (ja) | データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム | |
JP2023058939A (ja) | 推定装置、推定方法、および推定プログラム | |
CN117769721A (zh) | 用于获取牙弓模型的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19901206 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019901206 Country of ref document: EP Effective date: 20210719 |