JP6900445B2 - Identification device, tooth type identification system, identification method, and identification program - Google Patents

Identification device, tooth type identification system, identification method, and identification program Download PDF

Info

Publication number
JP6900445B2
JP6900445B2 JP2019190003A JP2019190003A JP6900445B2 JP 6900445 B2 JP6900445 B2 JP 6900445B2 JP 2019190003 A JP2019190003 A JP 2019190003A JP 2019190003 A JP2019190003 A JP 2019190003A JP 6900445 B2 JP6900445 B2 JP 6900445B2
Authority
JP
Japan
Prior art keywords
tooth
identification
dimensional data
data
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019190003A
Other languages
Japanese (ja)
Other versions
JP2020096799A (en
Inventor
橋本　学
橋本　　学
亮佑 鍛治
亮佑 鍛治
巳貴則 西村
巳貴則 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
J Morita Manufaturing Corp
Original Assignee
J Morita Manufaturing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018235628A external-priority patent/JP6650996B1/en
Application filed by J Morita Manufaturing Corp filed Critical J Morita Manufaturing Corp
Priority to JP2019190003A priority Critical patent/JP6900445B2/en
Publication of JP2020096799A publication Critical patent/JP2020096799A/en
Application granted granted Critical
Publication of JP6900445B2 publication Critical patent/JP6900445B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Description

本発明は、識別装置、当該識別装置を備える歯牙種類識別システム、識別方法、および識別用プログラムに関する。 The present invention relates to an identification device, a tooth type identification system including the identification device, an identification method, and an identification program.

従来から、歯科分野において、補綴物などをコンピュータ上でデジタル設計するために、歯牙の三次元形状を取得する三次元カメラを内蔵した三次元スキャナが公知である。たとえば、特許文献１には、三次元カメラを用いて歯牙を撮像することで、歯牙の形状を記録する技術が開示されている。歯科医師などの術者は、特許文献１に開示された三次元カメラを用いることで、撮像対象となった歯牙の三次元形状を記録することができ、さらに記録された歯牙の三次元形状が示された三次元画像を確認しながら、自身の知見によって当該歯牙の種類を識別することができる。 Conventionally, in the field of dentistry, a three-dimensional scanner having a built-in three-dimensional camera that acquires a three-dimensional shape of a tooth has been known in order to digitally design a prosthesis or the like on a computer. For example, Patent Document 1 discloses a technique for recording the shape of a tooth by photographing the tooth with a three-dimensional camera. A surgeon such as a dentist can record the three-dimensional shape of the tooth to be imaged by using the three-dimensional camera disclosed in Patent Document 1, and further, the recorded three-dimensional shape of the tooth can be recorded. While checking the shown three-dimensional image, it is possible to identify the type of the tooth based on its own knowledge.

特開２０００−７４６３５号公報Japanese Unexamined Patent Publication No. 2000-74635

このように、従来から、術者は、三次元カメラによって取得された歯牙を含む三次元画像に基づき、自身の知見によって当該歯牙の種類を識別していたが、知見のレベルは術者ごとに異なるため、術者の知見のレベルに応じて識別結果の精度がばらつくという問題があった。たとえば、中切歯と側切歯、犬歯と第一小臼歯、第一小臼歯と第二小臼歯、第二小臼歯と第一大臼歯、第一台臼歯と第二大臼歯など、形状が類似する歯牙同士では特に識別精度は高くない。 In this way, conventionally, the surgeon has identified the type of the tooth based on his / her own knowledge based on the three-dimensional image including the tooth acquired by the three-dimensional camera, but the level of knowledge is different for each surgeon. Since they are different, there is a problem that the accuracy of the identification result varies depending on the level of knowledge of the operator. For example, middle premolars and lateral premolars, canines and first premolars, first premolars and second premolars, second premolars and first premolars, first premolars and second premolars, etc. The discrimination accuracy is not particularly high between similar teeth.

本発明は、このような問題を解決するためになされたものであり、精度良く歯牙の種類を識別することができる識別装置、当該識別装置を備える歯牙種類識別システム、識別方法、および識別用プログラムを提供することを目的とする。 The present invention has been made to solve such a problem, and is an identification device capable of accurately identifying a tooth type, a tooth type identification system including the identification device, an identification method, and an identification program. The purpose is to provide.

本発明に従えば、歯牙の種類を識別する識別装置が提供される。識別装置は、歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力される入力部と、歯牙を有する者に関する属性情報を含む属性データを取得する取得部と、入力部から入力された三次元データおよび取得部によって取得された属性データと、当該三次元データおよび当該属性データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、当該歯牙の種類を識別する識別部と、識別部による識別結果を出力する出力部とを備える。 According to the present invention, an identification device for identifying the type of tooth is provided. The identification device includes an input unit for inputting three-dimensional data including three-dimensional position information at each of a plurality of points constituting the tooth, an acquisition unit for acquiring attribute data including attribute information regarding a person having a tooth, and an acquisition unit. and attribute data acquired by the three-dimensional data and the acquired unit inputted from the input unit, based on the estimated model including a neural network for estimating the type of tooth based on the three-dimensional data and the attribute data, the tooth obtaining a type identifying unit configured to identify, and an output unit for outputting the identification result by the identifying unit Bei.

本発明に従えば、歯牙の種類を識別する歯牙種類識別システムが提供される。歯牙種類識別システムは、三次元カメラを用いて歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得する三次元スキャナと、三次元スキャナによって取得された三次元データに基づき、当該歯牙の種類を識別する識別装置とを備え、識別装置は、三次元スキャナによって取得された三次元データが入力される入力部と、歯牙を有する者に関する属性情報を含む属性データを取得する取得部と、入力部から入力された三次元データおよび取得部によって取得された属性データと、当該三次元データおよび当該属性データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、当該歯牙の種類を識別する識別部と、識別部による識別結果を出力する出力部とを含む。 According to the present invention, a tooth type identification system for identifying a tooth type is provided. The tooth type identification system uses a three-dimensional camera to acquire three-dimensional data including three-dimensional position information at each of a plurality of points constituting the tooth, and three-dimensional data acquired by the three-dimensional scanner. Based on the above, the identification device is provided with an identification device for identifying the type of the tooth, and the identification device inputs an input unit into which the three-dimensional data acquired by the three-dimensional scanner is input and attribute data including attribute information regarding a person having a tooth. An estimation model including an acquisition unit to be acquired, three-dimensional data input from the input unit, attribute data acquired by the acquisition unit, and a neural network for estimating the tooth type based on the three-dimensional data and the attribute data. Based on the above, the identification unit that identifies the type of the tooth and the output unit that outputs the identification result by the identification unit are included.

本発明に従えば、コンピュータによる歯牙の種類を識別する識別方法が提供される。識別方法は、歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、歯牙を有する者に関する属性情報を含む属性データを取得するステップと、入力されるステップによって入力された三次元データおよび取得するステップによって取得された属性データと、当該三次元データおよび当該属性データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、当該歯牙の種類を識別するステップと、識別するステップによる識別結果を出力するステップとを含む。 According to the present invention, there is provided an identification method for identifying a type of tooth by a computer. The identification method is input as a step of inputting three-dimensional data including three-dimensional position information at each of a plurality of points constituting the tooth and a step of acquiring attribute data including attribute information about a person having a tooth. Based on the three-dimensional data input by the step and the attribute data acquired by the step to be acquired, and the estimation model including the three-dimensional data and the neural network for estimating the tooth type based on the attribute data. It includes a step of identifying the type of tooth and a step of outputting an identification result by the identification step.

本発明に従えば、歯牙の種類を識別する識別用プログラムが提供される。識別用プログラムは、コンピュータに、歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、歯牙を有する者に関する属性情報を含む属性データを取得するステップと、入力されるステップによって入力された三次元データおよび取得するステップによって取得された属性データと、当該三次元データおよび当該属性データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、当該歯牙の種類を識別するステップと、識別するステップによる識別結果を出力するステップとを実行させる。 According to the present invention, an identification program for identifying the type of tooth is provided. The identification program is a step of inputting three-dimensional data including three-dimensional position information at each of a plurality of points constituting the tooth into a computer and a step of acquiring attribute data including attribute information about a person having a tooth. And an estimation model including the three-dimensional data input by the input step, the attribute data acquired by the acquisition step, and the neural network for estimating the tooth type based on the three-dimensional data and the attribute data. Based on the above, the step of identifying the type of the tooth and the step of outputting the identification result by the identification step are executed.

本発明によれば、歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに基づいて、精度良く歯牙の種類を識別することができる。 According to the present invention, it is possible to accurately identify the type of tooth based on three-dimensional data including three-dimensional position information at each of a plurality of points constituting the tooth.

本実施の形態に係る識別装置の適用例を示す模式図である。It is a schematic diagram which shows the application example of the identification apparatus which concerns on this embodiment. 本実施の形態に係るシステムの全体構成を示す模式図である。It is a schematic diagram which shows the whole structure of the system which concerns on this Embodiment. 本実施の形態に係る識別装置のハードウェア構成を示す模式図である。It is a schematic diagram which shows the hardware configuration of the identification apparatus which concerns on this embodiment. 本実施の形態に係るサーバ装置のハードウェア構成を示す模式図である。It is a schematic diagram which shows the hardware configuration of the server apparatus which concerns on this embodiment. 本実施の形態に係る識別装置の機能構成を示す模式図である。It is a schematic diagram which shows the functional structure of the identification device which concerns on this embodiment. 本実施の形態に係る識別装置による識別処理を説明するための模式図である。It is a schematic diagram for demonstrating the identification process by the identification apparatus which concerns on this embodiment. 本実施の形態に係る識別処理における識別対象となる歯牙の一例を示す模式図である。It is a schematic diagram which shows an example of the tooth to be identified in the identification process which concerns on this embodiment. 本実施の形態に係る学習用データの生成を説明するための模式図である。It is a schematic diagram for demonstrating the generation of learning data which concerns on this Embodiment. 本実施の形態に係る学習用データセットの一例を説明するための模式図である。It is a schematic diagram for demonstrating an example of the learning data set which concerns on this Embodiment. 本実施の形態に係る学習用データセットに基づく学習済モデルの生成を説明するための模式図である。It is a schematic diagram for demonstrating the generation of the trained model based on the learning data set which concerns on this embodiment. 本実施の形態に係る識別装置が実行する学習処理の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the learning process executed by the identification apparatus which concerns on this embodiment. 本実施の形態に係るサーバ装置が実行する学習処理の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the learning process executed by the server apparatus which concerns on this embodiment. 本実施の形態に係る識別装置が実行するサービス提供処理の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the service provision process executed by the identification apparatus which concerns on this Embodiment. 変形例に係る識別装置が実行するサービス提供処理の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the service provision process executed by the identification apparatus which concerns on a modification. 変形例に係る学習用データセットに基づく学習済モデルの生成を説明するための模式図である。It is a schematic diagram for demonstrating the generation of the trained model based on the training data set which concerns on a modification. 変形例に係る識別装置が実行するサービス提供処理の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the service provision process executed by the identification apparatus which concerns on a modification. 変形例に係る学習用データセットの一例を説明するための模式図である。It is a schematic diagram for demonstrating an example of a learning data set which concerns on a modification. 変形例に係る識別装置が実行するサービス提供処理の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the service provision process executed by the identification apparatus which concerns on a modification.

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals and the description thereof will not be repeated.

［適用例］
図１および図２を参照しながら、本実施の形態に係る識別装置１００の適用例を説明する。図１は、本実施の形態に係る識別装置１００の適用例を示す模式図である。図２は、本実施の形態に係るシステムの全体構成を示す模式図である。 [Application example]
An application example of the identification device 100 according to the present embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is a schematic view showing an application example of the identification device 100 according to the present embodiment. FIG. 2 is a schematic diagram showing the overall configuration of the system according to the present embodiment.

図１に示すように、ユーザ１は、スキャナシステム１０を用いることで、対象者２が有する歯牙を含む三次元形状のデータ（以下、「三次元データ」とも称する）を取得することができる。なお、「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、スキャナシステム１０を用いる者であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、スキャナシステム１０の対象となる者であればいずれであってもよい。 As shown in FIG. 1, the user 1 can acquire three-dimensional shape data (hereinafter, also referred to as “three-dimensional data”) including teeth possessed by the subject 2 by using the scanner system 10. The "user" is any person who uses the scanner system 10, such as a surgeon such as a dentist, a dental assistant, a teacher or student at a dental school, a dental technician, a technician at a manufacturer, or a worker at a manufacturing factory. It may be. The "subject" may be any person who is the target of the scanner system 10, such as a patient in a dental clinic or a subject in a dental school.

本実施の形態に係るスキャナシステム１０は、三次元スキャナ２００と、識別装置１００と、ディスプレイ３００と、スピーカ４００とを備える。三次元スキャナ２００は、内蔵された三次元カメラによってスキャン対象の三次元データを取得する。具体的には、三次元スキャナ２００は、口腔内をスキャンすることで、三次元データとして、スキャン対象の歯牙を構成する複数の点のそれぞれの位置情報（縦方向，横方向，高さ方向の各軸の座標）を、光学センサなどを用いて取得する。識別装置１００は、三次元スキャナ２００によって取得された三次元データに基づき三次元画像を生成し、生成した三次元画像をディスプレイ３００に表示する。 The scanner system 10 according to the present embodiment includes a three-dimensional scanner 200, an identification device 100, a display 300, and a speaker 400. The three-dimensional scanner 200 acquires three-dimensional data to be scanned by a built-in three-dimensional camera. Specifically, the three-dimensional scanner 200 scans the inside of the oral cavity, and as three-dimensional data, position information (longitudinal direction, horizontal direction, height direction) of each of a plurality of points constituting the tooth to be scanned. The coordinates of each axis) are acquired using an optical sensor or the like. The identification device 100 generates a three-dimensional image based on the three-dimensional data acquired by the three-dimensional scanner 200, and displays the generated three-dimensional image on the display 300.

たとえば、ユーザ１は、対象者２の歯牙の欠損部分を補う補綴物などをコンピュータ上でデジタル設計するために、三次元スキャナ２００によって対象者２の口腔内を撮像することで、歯牙を含む口腔内の三次元データを取得する。ユーザ１が口腔内を撮像するごとに三次元データが順次取得され、口腔内の三次元画像がディスプレイ３００に表示される。ユーザ１は、ディスプレイ３００に表示された三次元画像を確認しながら三次元データの不足部分を重点的にスキャンしていく。このとき、ユーザ１は、三次元スキャナ２００によって取得された歯牙を含む三次元データが可視化された三次元画像に基づき、自身の知見によってスキャン中またはスキャンが完了した歯牙の種類を識別する。しかし、知見のレベルはユーザ１ごとに異なるため、ユーザ１の知見に頼っていると識別結果の精度がばらつくことがあった。 For example, the user 1 uses a three-dimensional scanner 200 to image the inside of the oral cavity of the subject 2 in order to digitally design a prosthesis or the like for compensating for the missing portion of the tooth of the subject 2, so that the oral cavity including the teeth is included. Get the 3D data in. Each time the user 1 takes an image of the oral cavity, three-dimensional data is sequentially acquired, and the three-dimensional image of the oral cavity is displayed on the display 300. The user 1 focuses on scanning the missing portion of the three-dimensional data while checking the three-dimensional image displayed on the display 300. At this time, the user 1 identifies the type of tooth being scanned or scanned based on his / her own knowledge based on the three-dimensional image obtained by visualizing the three-dimensional data including the tooth acquired by the three-dimensional scanner 200. However, since the level of knowledge differs for each user 1, the accuracy of the identification result may vary if the knowledge of the user 1 is relied on.

そこで、本実施の形態に係るスキャナシステム１０は、識別装置１００が有するＡＩ（人工知能：Artificial Intelligence）を利用して、三次元スキャナ２００によって取得
された三次元データに基づき歯牙の種類を自動的に識別する処理を実行するように構成されている。なお、識別装置１００による歯牙の種類を識別する処理を「識別処理」とも称する。 Therefore, the scanner system 10 according to the present embodiment automatically selects the type of tooth based on the three-dimensional data acquired by the three-dimensional scanner 200 by using the AI (artificial intelligence) possessed by the identification device 100. It is configured to perform the process of identifying. The process of identifying the type of tooth by the identification device 100 is also referred to as "identification process".

なお、「歯牙の種類」は、上顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、上顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯といったような各歯牙の種類を意味する。 The "types of teeth" are the middle incisor, lateral incision, dog tooth, first premolar, second premolar, first premolar, second premolar, third premolar, and left upper jaw. Middle premolars, lateral premolars, dog teeth, first premolars, second premolars, first premolars, second premolars, and third premolars, right premolars, lateral premolars, dog teeth, 1st premolar, 2nd premolar, 1st premolar, 2nd premolar, and 3rd premolar, left middle premolar, lateral premolar, dog tooth, 1st premolar, 2nd premolar, 1st It means the type of each tooth such as 1 premolar, 2nd premolar, and 3rd premolar.

具体的には、ユーザ１が三次元スキャナ２００を用いて対象者２の口腔内の歯牙をスキ
ャンすると、歯牙を含む三次元データが識別装置１００に入力される。識別装置１００は、入力された歯牙の特徴を含む三次元データおよびニューラルネットワークを含む推定モデルに基づき、当該歯牙の種類を識別する識別処理を実行する。 Specifically, when the user 1 scans the teeth in the oral cavity of the subject 2 using the three-dimensional scanner 200, the three-dimensional data including the teeth is input to the identification device 100. The identification device 100 executes an identification process for identifying the type of tooth based on an estimation model including three-dimensional data including input tooth characteristics and a neural network.

「推定モデル」は、ニューラルネットワークと当該ニューラルネットワークによって用いられるパラメータとを含み、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習されることで最適化（調整）される。具体的には、推定モデルは、歯牙を含む三次元データが入力されると、当該三次元データに基づきニューラルネットワークによって歯牙の特徴を抽出し、抽出した歯牙の特徴に基づき歯牙の種類を推定する。そして、推定モデルは、自身が推定した歯牙の種類と、入力された三次元データに関連付けられた歯牙の種類（歯牙情報）とに基づき、両者が一致すればパラメータを更新しない一方で、両者が一致しなければ両者が一致するようにパラメータを更新することで、パラメータを最適化する。このように、推定モデルは、入力データである三次元データと、正解データである歯牙の種類（歯牙情報）とを含む教師データを利用して、パラメータが最適化されることで学習される。 The "estimation model" includes a neural network and parameters used by the neural network, tooth information corresponding to the tooth type associated with the three-dimensional data, and identification of the tooth type using the three-dimensional data. It is optimized (adjusted) by learning based on the result. Specifically, when three-dimensional data including teeth is input, the estimation model extracts tooth characteristics by a neural network based on the three-dimensional data and estimates the tooth type based on the extracted tooth characteristics. .. Then, the estimation model is based on the tooth type estimated by itself and the tooth type (tooth information) associated with the input three-dimensional data, and if both match, the parameters are not updated, while both of them If they do not match, the parameters are optimized by updating the parameters so that they match. In this way, the estimation model is learned by optimizing the parameters using the teacher data including the three-dimensional data which is the input data and the tooth type (tooth information) which is the correct answer data.

なお、このような推定モデルを学習する処理を「学習処理」とも称する。また、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。 The process of learning such an estimation model is also referred to as "learning process". In addition, the estimation model optimized by the learning process is also referred to as a "trained model" in particular. That is, in the present embodiment, the pre-learned estimation model and the trained estimation model are collectively referred to as an "estimation model", while the trained estimation model is also referred to as a "trained model".

「歯牙情報」は、上顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、上顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯といったような各歯牙の名称を含む。また、「歯牙情報」は、中切歯に割り当てられた１番、側切歯に割り当てられた２番、犬歯に割り当てられた３番、第１小臼歯に割り当てられた４番、第２小臼歯に割り当てられた５番、第１大臼歯に割り当てられた６番、第２大臼歯に割り当てられた７番、第３大臼歯に割り当てられた８番といったような各歯牙に割り当てられた番号（たとえば、歯科分野において一般的に用いられている歯牙の番号）を含む。その他、「歯牙情報」は、各歯牙に割り当てられた色の情報を含んでいてもよいし、各歯牙に割り当てられた記号の情報を含んでいてもよい。 "Tooth information" includes middle premolars on the right side of the upper jaw, lateral cut teeth, dog teeth, first premolars, second premolars, first premolars, second premolars, and third premolars, middle premolars on the left side of the upper jaw. Teeth, lateral cuts, dog teeth, first premolars, second premolars, first premolars, second premolars, and third premolars, right middle premolars, lateral premolars, dog teeth, first premolars Premolars, 2nd premolars, 1st premolars, 2nd premolars, and 3rd premolars, left middle premolars, lateral premolars, dog teeth, 1st premolars, 2nd premolars, 1st premolars Includes the name of each tooth, such as, 2nd premolar, and 3rd premolar. In addition, "tooth information" is No. 1 assigned to the middle incisor, No. 2 assigned to the lateral incisor, No. 3 assigned to the canine, No. 4 assigned to the first premolar, and No. 2 small. Numbers assigned to each tooth, such as number 5 assigned to the molars, number 6 assigned to the first molars, number 7 assigned to the second molars, number 8 assigned to the third molars, etc. Includes (eg, tooth numbers commonly used in the dental field). In addition, the "tooth information" may include information on the color assigned to each tooth, or may include information on the symbol assigned to each tooth.

識別装置１００によって学習済モデルを用いて識別処理が実行されると、その識別結果が、ディスプレイ３００、およびスピーカ４００に出力される。 When the identification process is executed by the identification device 100 using the trained model, the identification result is output to the display 300 and the speaker 400.

ディスプレイ３００は、識別結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか１つを表示する。たとえば、ディスプレイ３００は、三次元スキャナ２００によって下顎右側の７番に対応する第２大臼歯のスキャンが完了した後において、識別装置１００による歯牙の識別結果を利用して、「右下７番のスキャンが完了しました。」というように、下顎右側の７番に対応する第２大臼歯のスキャンが完了した旨の画像を表示する。 The display 300 displays at least one of an image, a letter, a number, an icon, and a symbol corresponding to the identification result. For example, the display 300 utilizes the tooth identification result of the identification device 100 after the scanning of the second molar corresponding to the 7th on the right side of the mandible is completed by the 3D scanner 200, and "the 7th on the lower right". An image indicating that the scan of the second molar corresponding to No. 7 on the right side of the mandible has been completed is displayed, such as "Scan completed."

スピーカ４００は、識別結果に対応する音声を出力する。たとえば、スピーカ４００は、三次元スキャナ２００によって下顎右側の７番に対応する第２大臼歯のスキャンが完了した後において、識別装置１００による歯牙の識別結果を利用して、「右下７番完了」というように、下顎右側の７番に対応する第２大臼歯のスキャンが完了した旨の音声を出力する。 The speaker 400 outputs the sound corresponding to the identification result. For example, the speaker 400 uses the tooth identification result of the identification device 100 to "complete the lower right 7th" after the scanning of the second molar corresponding to the 7th on the right side of the mandible is completed by the three-dimensional scanner 200. A voice indicating that the scan of the second molar corresponding to No. 7 on the right side of the mandible has been completed is output.

さらに、識別装置１００による識別結果は、識別処理時に用いられた三次元データとともに、スキャン情報として歯科技工所および管理センターに配置されたサーバ装置５００に出力される。 Further, the identification result by the identification device 100 is output as scan information to the server device 500 arranged in the dental laboratory and the management center together with the three-dimensional data used in the identification process.

たとえば、図２に示すように、スキャナシステム１０は、複数のローカルＡ〜Ｃのそれぞれに配置されている。たとえば、ローカルＡおよびローカルＢは歯科医院であり、当該歯科医院の院内において、ユーザ１である術者や歯科助手は、スキャナシステム１０を利用して対象者２である患者の歯牙を含む三次元データを取得する。また、ローカルＣは歯科大学であり、当該歯科大学において、ユーザ１である先生や生徒は、対象者２である被験者の口腔内の三次元データを取得する。ローカルＡ〜Ｃのそれぞれで取得されたスキャン情報（三次元データ，識別結果）は、ネットワーク５を介して、ローカルＤである歯科技工所および管理センターに配置されたサーバ装置５００に出力される。 For example, as shown in FIG. 2, the scanner system 10 is arranged in each of a plurality of locals A to C. For example, local A and local B are dental clinics, and in the hospital of the dental clinic, the surgeon or dental assistant who is the user 1 uses the scanner system 10 to use the scanner system 10 to perform three-dimensional including the teeth of the patient who is the subject 2. Get the data. Further, the local C is a dental school, and at the dental school, the teacher or the student who is the user 1 acquires the three-dimensional data in the oral cavity of the subject who is the subject 2. The scan information (three-dimensional data, identification result) acquired in each of the locals A to C is output to the server device 500 located in the dental laboratory and the management center, which is the local D, via the network 5.

歯科技工所においては、歯科技工士などが、ローカルＡ〜Ｃのそれぞれから取得したスキャン情報に基づき、対象者２の歯牙の欠損部分を補う補綴物などを作成する。管理センターにおいては、サーバ装置５００が、ローカルＡ〜Ｃのそれぞれから取得したスキャン情報を蓄積して記憶し、ビッグデータとして保持する。 At the dental laboratory, a dental technician or the like creates a prosthesis or the like to supplement the missing part of the tooth of the subject 2 based on the scan information acquired from each of the locals A to C. In the management center, the server device 500 accumulates and stores the scan information acquired from each of the locals A to C, and holds it as big data.

なお、サーバ装置５００は、歯科医院にローカルとは異なる管理センターに配置されるものに限らず、ローカル内に配置されてもよい。たとえば、ローカルＡ〜Ｃのうちのいずれかのローカル内にサーバ装置５００が配置されてもよい。また、１つのローカル内に複数の識別装置１００が配置されてもよく、さらに、当該１つのローカル内に当該複数の識別装置１００と通信可能なサーバ装置５００が配置されてもよい。また、サーバ装置５００は、クラウドサービスの形態で実現されてもよい。 The server device 500 is not limited to the one arranged in the management center different from the local one in the dental clinic, and may be arranged in the local one. For example, the server device 500 may be located in any of the locals A to C. Further, a plurality of identification devices 100 may be arranged in one local, and further, a server device 500 capable of communicating with the plurality of identification devices 100 may be arranged in the one local. Further, the server device 500 may be realized in the form of a cloud service.

歯科技工所においては、ローカルＡ〜Ｃのように、様々な所からスキャン情報が集約される。このため、歯科技工所で保持されているスキャン情報は、ネットワーク５を介して管理センターに送信されてもよいし、あるいは、ＣＤ（Compact Disc）およびＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルディスク５５０を介して管理センターに送られてもよい。 In the dental laboratory, scan information is collected from various places such as locals A to C. Therefore, the scan information held in the dental laboratory may be transmitted to the management center via the network 5, or the removable disk 550 such as a CD (Compact Disc) and a USB (Universal Serial Bus) memory. It may be sent to the management center via.

なお、ネットワーク５を介さずに、ローカルＡ〜Ｃのそれぞれからも、リムーバブルディスク５５０を介してスキャン情報が管理センターに送られてもよい。また、ローカルＡ〜Ｃのそれぞれの間においても、ネットワーク５またはリムーバブルディスク５５０を介してスキャン情報を互いに送り合ってもよい。 Note that scan information may be sent to the management center from each of the locals A to C via the removable disk 550 without going through the network 5. Further, scan information may be sent to each other between the locals A to C via the network 5 or the removable disk 550.

各ローカルＡ〜Ｃの識別装置１００は、各自で推定モデルを保持しており、識別処理時に各自が保持する推定モデルを使用して歯牙の種類を識別する。各ローカルＡ〜Ｃの識別装置１００は、各自の学習処理によって各自の推定モデルを学習することで、学習済モデルを生成する。さらに、本実施の形態においては、サーバ装置５００も推定モデルを保持している。サーバ装置５００は、各ローカルＡ〜Ｃの識別装置１００および歯科技工所から取得したスキャン情報を用いた学習処理によって推定モデルを学習することで、学習済モデルを生成し、各ローカルＡ〜Ｃの識別装置１００に当該学習済モデルを配布する。なお、本実施の形態においては、各ローカルＡ〜Ｃの識別装置１００およびサーバ装置５００のいずれも学習処理を実行する形態であるが、各ローカルＡ〜Ｃの識別装置１００のみが学習処理を実行する形態、あるいはサーバ装置５００のみが学習処理を実行する形態であってもよい。なお、サーバ装置５００のみが学習処理を実行する形態である場合、各ローカルＡ〜Ｃの識別装置１００が保持する推定モデル（学習済モデル）は、各ローカルＡ〜Ｃの識別装置１００間で共通化される。 Each local A to C identification device 100 holds an estimation model by itself, and identifies the type of tooth by using the estimation model held by each person during the identification process. The identification device 100 of each local A to C generates a trained model by learning its own estimation model by its own learning process. Further, in the present embodiment, the server device 500 also holds the estimation model. The server device 500 generates a trained model by learning an estimated model by a learning process using the identification device 100 of each local A to C and the scan information acquired from the dental laboratory, and generates a trained model of each local A to C. The trained model is distributed to the identification device 100. In the present embodiment, both the identification device 100 and the server device 500 of each local A to C execute the learning process, but only the identification device 100 of each local A to C executes the learning process. Or, the learning process may be executed only by the server device 500. When only the server device 500 executes the learning process, the estimation model (learned model) held by the identification devices 100 of each local A to C is common among the identification devices 100 of each local A to C. Be made.

また、サーバ装置５００が識別装置１００における識別処理の機能を有していてもよい。たとえば、各ローカルＡ〜Ｃは、取得した三次元データをサーバ装置５００に送信し、サーバ措置５００は、各ローカルＡ〜Ｃから受信したそれぞれの三次元データに基づき、それぞれにおける歯牙の種類の識別結果を算出してもよい。そして、サーバ装置５００は、それぞれの識別結果を各ローカルＡ〜Ｃに送信し、各ローカルＡ〜Ｃは、サーバ装置５００から受信した識別結果をディスプレイなどに出力してもよい。このように、各ローカルＡ〜Ｃとサーバ装置５００とがクラウドサービスの形態で構成されてもよい。このようにすれば、サーバ装置５００が推定モデル（学習済モデル）を保持してさえいれば、各ローカルＡ〜Ｃは、推定モデル（学習済モデル）を保持することなく識別結果を得ることができる。 Further, the server device 500 may have a function of identification processing in the identification device 100. For example, each local A to C transmits the acquired three-dimensional data to the server device 500, and the server measure 500 identifies the tooth type in each based on the respective three-dimensional data received from each local A to C. The result may be calculated. Then, the server device 500 may transmit each identification result to each local A to C, and each local A to C may output the identification result received from the server device 500 to a display or the like. In this way, each local A to C and the server device 500 may be configured in the form of a cloud service. In this way, as long as the server device 500 holds the estimated model (trained model), each local A to C can obtain the identification result without holding the estimated model (trained model). it can.

このように、本実施の形態に係るスキャナシステム１０によれば、識別装置１００が有するＡＩを利用して、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類が自動的に識別される。ＡＩを利用することで、ユーザ１の知見により得られた歯牙の特徴を見出すことができる。また、ユーザ１では抽出できない歯牙の特徴を見出すこともでき、これにより、ユーザ１は、自身の知見に頼ることなく、精度良く歯牙の種類を識別することができる。 As described above, according to the scanner system 10 according to the present embodiment, the type of tooth is automatically identified based on the three-dimensional data acquired by the three-dimensional scanner 200 by using the AI possessed by the identification device 100. To. By using AI, it is possible to find out the characteristics of the teeth obtained by the knowledge of the user 1. It is also possible to find the characteristics of the tooth that cannot be extracted by the user 1, whereby the user 1 can accurately identify the type of tooth without relying on his / her own knowledge.

［識別装置のハードウェア構成］
図３を参照しながら、本実施の形態に係る識別装置１００のハードウェア構成の一例を説明する。図３は、本実施の形態に係る識別装置１００のハードウェア構成を示す模式図である。識別装置１００は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム１０専用のコンピュータで実現されてもよい。 [Hardware configuration of identification device]
An example of the hardware configuration of the identification device 100 according to the present embodiment will be described with reference to FIG. FIG. 3 is a schematic view showing the hardware configuration of the identification device 100 according to the present embodiment. The identification device 100 may be realized by, for example, a general-purpose computer or a computer dedicated to the scanner system 10.

図３に示すように、識別装置１００は、主なハードウェア要素として、スキャナインターフェース１０２と、ディスプレイインターフェース１０３と、スピーカインターフェース１０４と、周辺機器インターフェース１０５と、ネットワークコントローラ１０６と、メディア読取装置１０７と、ＰＣディスプレイ１０８と、メモリ１０９と、ストレージ１１０と、演算装置１３０とを備える。 As shown in FIG. 3, the identification device 100 includes a scanner interface 102, a display interface 103, a speaker interface 104, a peripheral device interface 105, a network controller 106, and a media reader 107 as main hardware elements. , A PC display 108, a memory 109, a storage 110, and a computing device 130.

スキャナインターフェース１０２は、三次元スキャナ２００を接続するためのインターフェースであり、識別装置１００と三次元スキャナ２００との間のデータの入出力を実現する。 The scanner interface 102 is an interface for connecting the three-dimensional scanner 200, and realizes data input / output between the identification device 100 and the three-dimensional scanner 200.

ディスプレイインターフェース１０３は、ディスプレイ３００を接続するためのインターフェースであり、識別装置１００とディスプレイ３００との間のデータの入出力を実現する。ディスプレイ３００は、たとえば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬＤ（Electroluminescence）ディスプレイなどで構成される。 The display interface 103 is an interface for connecting the display 300, and realizes input / output of data between the identification device 100 and the display 300. The display 300 is composed of, for example, an LCD (Liquid Crystal Display) or an organic ELD (Electroluminescence) display.

スピーカインターフェース１０４は、スピーカ４００を接続するためのインターフェースであり、識別装置１００とスピーカ４００との間のデータの入出力を実現する。 The speaker interface 104 is an interface for connecting the speaker 400, and realizes data input / output between the identification device 100 and the speaker 400.

周辺機器インターフェース１０５は、キーボード６０１およびマウス６０２などの周辺機器を接続するためのインターフェースであり、識別装置１００と周辺機器との間のデータの入出力を実現する。 The peripheral device interface 105 is an interface for connecting peripheral devices such as a keyboard 601 and a mouse 602, and realizes data input / output between the identification device 100 and the peripheral device.

ネットワークコントローラ１０６は、ネットワーク５を介して、歯科技工所に配置された装置、管理センターに配置されたサーバ装置５００、および他のローカルに配置された他の識別装置１００のそれぞれとの間でデータを送受信する。ネットワークコントローラ
１０６は、たとえば、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応する。 The network controller 106 provides data to and from each of the device located in the dental laboratory, the server device 500 located in the management center, and the other locally located identification device 100 via the network 5. To send and receive. The network controller 106 supports any communication method such as Ethernet (registered trademark), wireless LAN (Local Area Network), and Bluetooth (registered trademark).

メディア読取装置１０７は、リムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。 The media reader 107 reads various data such as scan information stored in the removable disk 550.

ＰＣディスプレイ１０８は、識別装置１００専用のディスプレイである。ＰＣディスプレイ１０８は、たとえば、ＬＣＤまたは有機ＥＬディスプレイなどで構成される。なお、本実施の形態においては、ＰＣディスプレイ１０８は、ディスプレイ３００と別体であるが、ディスプレイ３００と共通化されてもよい。 The PC display 108 is a display dedicated to the identification device 100. The PC display 108 is composed of, for example, an LCD or an organic EL display. In the present embodiment, the PC display 108 is separate from the display 300, but may be shared with the display 300.

メモリ１０９は、演算装置１３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ１０９は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。 The memory 109 provides a storage area for temporarily storing a program code, a work memory, or the like when the arithmetic unit 130 executes an arbitrary program. The memory 109 is composed of, for example, a volatile memory device such as a DRAM (Dynamic Random Access Memory) or a SRAM (Static Random Access Memory).

ストレージ１１０は、識別処理および学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ１１０は、たとえば、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。 The storage 110 provides a storage area for storing various data required for identification processing, learning processing, and the like. The storage 110 is composed of, for example, a hard disk or a non-volatile memory device such as an SSD (Solid State Drive).

ストレージ１１０は、スキャン情報１１２と、推定モデル１１４（学習済モデル１１４ａ）と、学習用データセット１１６と、色分類データ１１８と、プロファイルデータ１１９と、識別用プログラム１２０と、学習用プログラム１２１と、ＯＳ（Operating System）１２７とを格納する。 The storage 110 includes scan information 112, an estimation model 114 (learned model 114a), a learning data set 116, color classification data 118, profile data 119, an identification program 120, a learning program 121, and the like. Stores OS (Operating System) 127.

スキャン情報１１２は、三次元スキャナ２００によって取得された三次元データ１２２と、当該三次元データ１２２に基づき実行された識別処理による識別結果１２４とを含む。識別結果１２４は、識別処理に用いられた三次元データ１２２に関連付けられてストレージ１１０に格納される。学習用データセット１１６は、推定モデル１１４の学習処理に用いられる一群の学習用データである。色分類データ１１８は、学習用データセット１１６の生成および学習処理に用いられるデータである。プロファイルデータ１１９は、対象者２に関する属性情報であって、当該対象者２の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ（たとえば、カルテの情報）である。識別用プログラム１２０は、識別処理を実行するためのプログラムである。学習用プログラム１２１は、推定モデル１１４の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。 The scan information 112 includes the three-dimensional data 122 acquired by the three-dimensional scanner 200 and the identification result 124 by the identification process executed based on the three-dimensional data 122. The identification result 124 is stored in the storage 110 in association with the three-dimensional data 122 used in the identification process. The training data set 116 is a group of training data used in the training process of the estimation model 114. The color classification data 118 is data used for generation and training processing of the training data set 116. The profile data 119 is attribute information related to the target person 2, and is data (for example, medical record information) in which profiles such as age, gender, race, height, weight, and place of residence of the target person 2 are summarized. is there. The identification program 120 is a program for executing the identification process. The learning program 121 is a program for executing the learning process of the estimation model 114, and a part of the program includes a program for executing the identification process.

演算装置１３０は、各種のプログラムを実行することで、識別処理および学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置１３０は、たとえば、ＣＰＵ（Central Processing Unit）１３２、ＦＰＧＡ（Field-Programmable Gate Array）１３４、およびＧＰＵ（Graphics Processing Unit）１３６などで構成される。 The arithmetic unit 130 is an arithmetic unit that executes various processes such as identification processing and learning processing by executing various programs, and is an example of a computer. The arithmetic unit 130 is composed of, for example, a CPU (Central Processing Unit) 132, an FPGA (Field-Programmable Gate Array) 134, a GPU (Graphics Processing Unit) 136, and the like.

［サーバ装置のハードウェア構成］
図４を参照しながら、本実施の形態に係るサーバ装置５００のハードウェア構成の一例を説明する。図４は、本実施の形態に係るサーバ装置５００のハードウェア構成を示す模式図である。サーバ装置５００は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム１０専用のコンピュータで実現されてもよい。 [Hardware configuration of server device]
An example of the hardware configuration of the server device 500 according to the present embodiment will be described with reference to FIG. FIG. 4 is a schematic view showing the hardware configuration of the server device 500 according to the present embodiment. The server device 500 may be realized by, for example, a general-purpose computer or a computer dedicated to the scanner system 10.

図４に示すように、サーバ装置５００は、主なハードウェア要素として、ディスプレイ
インターフェース５０３と、周辺機器インターフェース５０５と、ネットワークコントローラ５０６と、メディア読取装置５０７と、メモリ５０９と、ストレージ５１０と、演算装置５３０とを備える。 As shown in FIG. 4, the server device 500 calculates the display interface 503, the peripheral device interface 505, the network controller 506, the media reader 507, the memory 509, the storage 510, and the like as main hardware elements. A device 530 is provided.

ディスプレイインターフェース５０３は、ディスプレイ３５０を接続するためのインターフェースであり、サーバ装置５００とディスプレイ３５０との間のデータの入出力を実現する。ディスプレイ３５０は、たとえば、ＬＣＤまたは有機ＥＬＤディスプレイなどで構成される。 The display interface 503 is an interface for connecting the display 350, and realizes data input / output between the server device 500 and the display 350. The display 350 is composed of, for example, an LCD or an organic ELD display.

周辺機器インターフェース５０５は、キーボード６５１およびマウス６５２などの周辺機器を接続するためのインターフェースであり、サーバ装置５００と周辺機器との間のデータの入出力を実現する。 The peripheral device interface 505 is an interface for connecting peripheral devices such as a keyboard 651 and a mouse 652, and realizes data input / output between the server device 500 and the peripheral devices.

ネットワークコントローラ５０６は、ネットワーク５を介して、ローカルに配置された識別装置１００、および歯科技工所に配置された装置のそれぞれとの間でデータを送受信する。ネットワークコントローラ５０６は、たとえば、イーサネット（登録商標）、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応してもよい。 The network controller 506 transmits / receives data to / from each of the locally arranged identification device 100 and the device arranged in the dental laboratory via the network 5. The network controller 506 may support any communication method such as Ethernet (registered trademark), wireless LAN, and Bluetooth (registered trademark).

メディア読取装置５０７は、リムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。 The media reading device 507 reads various data such as scan information stored in the removable disk 550.

メモリ５０９は、演算装置５３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ５０９は、たとえば、ＤＲＡＭまたはＳＲＡＭなどの揮発性メモリデバイスで構成される。 The memory 509 provides a storage area for temporarily storing a program code, a work memory, or the like when the arithmetic unit 530 executes an arbitrary program. The memory 509 is composed of, for example, a volatile memory device such as DRAM or SRAM.

ストレージ５１０は、学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ５１０は、たとえば、ハードディスクまたはＳＳＤなどの不揮発性メモリデバイスで構成される。 The storage 510 provides a storage area for storing various data required for learning processing and the like. The storage 510 is composed of, for example, a non-volatile memory device such as a hard disk or SSD.

ストレージ５１０は、スキャン情報５１２と、推定モデル５１４（学習済モデル５１４ａ）と、学習用データセット５１６と、色分類データ５１８と、プロファイルデータ５１９と、学習用プログラム５２１と、ＯＳ５２７とを格納する。 The storage 510 stores the scan information 512, the estimation model 514 (learned model 514a), the learning data set 516, the color classification data 518, the profile data 519, the learning program 521, and the OS 527.

スキャン情報５１２は、ネットワーク５を介してローカルに配置された識別装置１００および歯科技工所から取得した三次元データ５２２と、当該三次元データ５２２に基づき実行された識別処理による識別結果５２４とを含む。識別結果５２４は、識別処理に用いられた三次元データ５２２に関連付けられてストレージ５１０に格納される。学習用データセット５１６は、推定モデル５１４の学習処理に用いられる一群の学習用データである。色分類データ５１８は、学習用データセット５１６の生成および学習処理に用いられるデータである。プロファイルデータ５１９は、対象者２に関する属性情報であって、対象者２の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ（たとえば、カルテの情報）である。学習用プログラム５２１は、推定モデル５１４の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。 The scan information 512 includes the three-dimensional data 522 acquired from the identification device 100 and the dental laboratory locally arranged via the network 5, and the identification result 524 by the identification process executed based on the three-dimensional data 522. .. The identification result 524 is stored in the storage 510 in association with the three-dimensional data 522 used in the identification process. The training data set 516 is a group of training data used in the training process of the estimation model 514. The color classification data 518 is data used for generation and learning processing of the training data set 516. The profile data 519 is attribute information regarding the subject 2, and is data (for example, medical record information) in which profiles such as the age, gender, race, height, weight, and place of residence of the subject 2 are summarized. .. The learning program 521 is a program for executing the learning process of the estimation model 514, and a part of the program includes a program for executing the identification process.

なお、推定モデル５１４（学習済モデル５１４ａ）は、ローカルの識別装置１００に送信されることで、識別装置１００によって、推定モデル１１４（学習済モデル１１４ａ）として保持される。 The estimation model 514 (learned model 514a) is transmitted to the local identification device 100, and is held as the estimation model 114 (learned model 114a) by the identification device 100.

演算装置５３０は、各種のプログラムを実行することで、学習処理などの各種の処理を
実行する演算主体であり、コンピュータの一例である。演算装置５３０は、たとえば、ＣＰＵ５３２、ＦＰＧＡ５３４、およびＧＰＵ５３６などで構成される。 The arithmetic unit 530 is an arithmetic unit that executes various processes such as learning processing by executing various programs, and is an example of a computer. The arithmetic unit 530 is composed of, for example, a CPU 532, an FPGA 534, a GPU 536, and the like.

［識別装置による識別処理］
図５〜図７を参照しながら、本実施の形態に係る識別装置１００による識別処理の一例を説明する。図５は、本実施の形態に係る識別装置１００の機能構成を示す模式図である。図６は、本実施の形態に係る識別装置１００による識別処理を説明するための模式図である。図７は、本実施の形態に係る識別処理における識別対象となる歯牙の一例を示す模式図である。なお、図７においては、三次元スキャナ２００のスキャン対象となる歯牙が線図によって表されている。 [Identification processing by identification device]
An example of the identification process by the identification device 100 according to the present embodiment will be described with reference to FIGS. 5 to 7. FIG. 5 is a schematic diagram showing a functional configuration of the identification device 100 according to the present embodiment. FIG. 6 is a schematic diagram for explaining the identification process by the identification device 100 according to the present embodiment. FIG. 7 is a schematic view showing an example of a tooth to be identified in the identification process according to the present embodiment. In FIG. 7, the teeth to be scanned by the three-dimensional scanner 200 are represented by a diagram.

図５に示すように、識別装置１００は、識別処理に係る機能部として、入力部１１０２と、プロファイル取得部１１１９と、識別部１１３０と、出力部１１０３とを有する。これらの各機能は、識別装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。 As shown in FIG. 5, the identification device 100 has an input unit 1102, a profile acquisition unit 1119, an identification unit 1130, and an output unit 1103 as functional units related to the identification process. Each of these functions is realized by the arithmetic unit 130 of the identification device 100 executing the OS 127 and the identification program 120.

入力部１１０２には、三次元スキャナ２００によって取得された三次元データが入力される。プロファイル取得部１１１９は、対象者２のプロファイルデータ１１９を取得する。識別部１１３０は、入力部１１０２に入力された三次元データと、プロファイル取得部１１１９によって取得された対象者２のプロファイルデータ１１９とに基づき、推定モデル１１４（学習済モデル１１４ａ）を用いて歯牙の種類を識別する識別処理を実行する。 The three-dimensional data acquired by the three-dimensional scanner 200 is input to the input unit 1102. The profile acquisition unit 1119 acquires the profile data 119 of the target person 2. The identification unit 1130 uses the estimation model 114 (learned model 114a) of the tooth based on the three-dimensional data input to the input unit 1102 and the profile data 119 of the subject 2 acquired by the profile acquisition unit 1119. Executes identification processing to identify the type.

推定モデル１１４は、ニューラルネットワーク１１４２と、当該ニューラルネットワーク１１４２によって用いられるパラメータ１１４４とを含む。パラメータ１１４４は、ニューラルネットワーク１１４２による計算に用いられる重み付け係数と、識別の判定に用いられる判定値とを含む。出力部１１０３は、識別部１１３０による識別結果を、ディスプレイ３００、スピーカ４００、およびサーバ装置５００に出力する。 The estimation model 114 includes a neural network 1142 and parameters 1144 used by the neural network 1142. The parameter 1144 includes a weighting coefficient used in the calculation by the neural network 1142 and a determination value used in the determination of identification. The output unit 1103 outputs the identification result by the identification unit 1130 to the display 300, the speaker 400, and the server device 500.

ここで、図６に示すように、入力部１１０２に入力される三次元データには、歯牙の各点における三次元の位置情報と、歯牙の各点における色情報とが含まれる。識別処理においては、位置情報が用いられる。位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標を含む。たとえば、位置情報は、歯牙の各点における中心位置を原点として、Ｘ軸（たとえば、歯牙の横方向の軸）、Ｙ軸（たとえば、歯牙の縦方向の軸）、およびＺ軸（たとえば、歯牙の高さ方向の軸）の各軸における絶対位置の座標を含む。なお、位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標に限らず、たとえば、隣接する点からの距離を示す三次元における相対位置の座標を含んでいてもよい。 Here, as shown in FIG. 6, the three-dimensional data input to the input unit 1102 includes three-dimensional position information at each point of the tooth and color information at each point of the tooth. In the identification process, location information is used. The position information includes the coordinates of the absolute position in three dimensions with respect to the predetermined position. For example, the position information originates from the center position at each point of the tooth, and is X-axis (for example, the lateral axis of the tooth), Y-axis (for example, the longitudinal axis of the tooth), and Z-axis (for example, the tooth). Includes the coordinates of the absolute position on each axis of). The position information is not limited to the coordinates of the absolute position in three dimensions based on the predetermined position, and may include, for example, the coordinates of the relative position in three dimensions indicating the distance from the adjacent point.

ここで、図７に示すように、三次元スキャナ２００のスキャン対象となる歯牙が上顎の切歯である場合、得られる三次元画像が、上唇側の部位、口蓋側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。また、三次元スキャナ２００のスキャン対象となる歯牙が上顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、口蓋側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。三次元スキャナ２００のスキャン対象となる歯牙が下顎の切歯である場合、得られる三次元画像が、下唇側の部位、舌側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。三次元スキャナ２００のスキャン対象となる歯牙が下顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、舌側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。 Here, as shown in FIG. 7, when the tooth to be scanned by the three-dimensional scanner 200 is the incisor of the maxilla, the obtained three-dimensional image is the upper lip side part, the palatal side part, and the incisor side. The oral cavity of the subject 2 is scanned by the user 1 so as to include at least an image of the site. Further, when the teeth to be scanned by the three-dimensional scanner 200 are dog teeth and molars of the upper jaw, the obtained three-dimensional image should include at least an image of a buccal part, a palatal side part, and an occlusal part. , The oral cavity of the subject 2 is scanned by the user 1. When the tooth to be scanned by the 3D scanner 200 is a mandibular incisor, the obtained 3D image includes at least an image of the lower labial part, the lingual part, and the incisor side part. The oral cavity of the subject 2 is scanned by the user 1. When the teeth to be scanned by the 3D scanner 200 are the dog teeth and molars of the lower jaw, the user so that the obtained 3D image includes at least an image of the buccal part, the lingual part, and the occlusal part. 1 scans the oral cavity of subject 2.

一般的に、対象者２の歯牙は、その種類によって形状および大きさが異なる。たとえば、上顎の切歯の場合、上唇側の面は一般的にＵ字形であるのに対して、上顎の犬歯の場合、頬側の面は一般的に五角形である。各歯牙は、形状および大きさがその種類に応じて特徴的であり、識別部１１３０は、これらの特徴的な形状および大きさが数値化された三次元データに基づき、推定モデル１１４を用いて当該三次元データに対応する歯牙の種類を識別する。 Generally, the teeth of subject 2 differ in shape and size depending on the type. For example, in the case of upper jaw cut teeth, the upper lip side surface is generally U-shaped, whereas in the case of upper jaw dog teeth, the buccal side surface is generally pentagonal. Each tooth is characteristic in shape and size according to its type, and the identification unit 1130 uses an estimation model 114 based on three-dimensional data in which these characteristic shapes and sizes are quantified. Identify the type of tooth corresponding to the three-dimensional data.

図６に示すように、推定モデル１１４は、ニューラルネットワーク１１４２を含む。ニューラルネットワーク１１４２においては、入力部１１０２に入力された三次元データに含まれる位置情報の値が入力層に入力される。そして、ニューラルネットワーク１１４２においては、たとえば、中間層によって、入力された位置情報の値に対して重み付け係数が乗算されたり所定のバイアスが加算されたりするとともに所定の関数による計算が行われ、その計算結果が判定値と比較される。そして、ニューラルネットワーク１１４２においては、その計算および判定の結果が識別結果として出力層から出力される。なお、ニューラルネットワーク１１４２による計算および判定については、三次元データに基づき歯牙を識別できるものであれば、いずれの手法が用いられてもよい。 As shown in FIG. 6, the estimation model 114 includes a neural network 1142. In the neural network 1142, the value of the position information included in the three-dimensional data input to the input unit 1102 is input to the input layer. Then, in the neural network 1142, for example, the intermediate layer multiplies the input position information value by a weighting coefficient or adds a predetermined bias, and performs a calculation by a predetermined function, and the calculation is performed. The result is compared with the judgment value. Then, in the neural network 1142, the result of the calculation and determination is output from the output layer as the identification result. As for the calculation and determination by the neural network 1142, any method may be used as long as the teeth can be identified based on the three-dimensional data.

推定モデル１１４のニューラルネットワーク１１４２においては、中間層が多層構造になることで、ディープラーニングによる処理が行われる。本実施の形態においては、３次元画像に特化した識別処理を行う識別用プログラム１２０として、たとえば、VoxNet、3D
ShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、およびMarrNetなどが用いられるが、その他のプログラムが用いられてもよい
。また、ニューラルネットワーク１１４２の仕組みには既存のものが適用されてもよい。 In the neural network 1142 of the estimation model 114, the intermediate layer has a multi-layer structure, so that processing by deep learning is performed. In the present embodiment, as the identification program 120 that performs the identification process specialized for the three-dimensional image, for example, VoxNet, 3D
ShapeNets, Multi-View CNN, RotationNet, OctNet, FusionNet, PointNet, PointNet ++, SSCNet, MarrNet, etc. are used, but other programs may be used. Further, an existing one may be applied to the mechanism of the neural network 1142.

このような構成において、識別装置１００は、複数の歯牙が含まれる三次元画像に対応する三次元データが入力されると、当該三次元データに基づいて、複数の歯牙のそれぞれの特徴を推定モデル１１４のニューラルネットワーク１１４２を用いて抽出し、抽出した複数の歯牙のそれぞれの特徴に基づき、当該複数の歯牙のそれぞれの種類を識別することができる。また、図６に示すように、識別対象となる歯牙に限らず、隣接する歯牙を含む三次元データについても識別装置１００に入力されることで、推定モデル１１４のニューラルネットワーク１１４２は、隣接する歯牙の形状との関係も考慮して歯牙の特徴を抽出することができる。識別装置１００は、一般的に認識されている歯牙の特徴に限らず、一般的に認識されていない歯牙の特徴についても抽出することができ、それによって精度良く歯牙の種類を識別することができる。 In such a configuration, when the three-dimensional data corresponding to the three-dimensional image including the plurality of teeth is input, the identification device 100 estimates the characteristics of each of the plurality of teeth based on the three-dimensional data. Extracted using the neural network 1142 of 114, each type of the plurality of teeth can be identified based on the characteristics of each of the extracted plurality of teeth. Further, as shown in FIG. 6, not only the tooth to be identified but also the three-dimensional data including the adjacent tooth is input to the identification device 100, so that the neural network 1142 of the estimation model 114 can generate the adjacent tooth. The characteristics of the teeth can be extracted in consideration of the relationship with the shape of the tooth. The identification device 100 can extract not only generally recognized tooth features but also unrecognized tooth features, thereby accurately identifying the type of tooth. ..

なお、サーバ装置５００が保持する推定モデル５１４に含まれるニューラルネットワークは、図６に示した推定モデル１１４に含まれるニューラルネットワーク１１４２と同様の構成を有する。 The neural network included in the estimation model 514 held by the server device 500 has the same configuration as the neural network 1142 included in the estimation model 114 shown in FIG.

［学習用データの生成］
図８および図９を参照しながら、学習用データセット１１６の生成の一例を説明する。図８は、本実施の形態に係る学習用データの生成を説明するための模式図である。図９は、本実施の形態に係る学習用データセット１１６の一例を説明するための模式図である。 [Generation of training data]
An example of generating the training data set 116 will be described with reference to FIGS. 8 and 9. FIG. 8 is a schematic diagram for explaining the generation of learning data according to the present embodiment. FIG. 9 is a schematic diagram for explaining an example of the learning data set 116 according to the present embodiment.

図８に示すように、まず、三次元スキャナ２００によって三次元データが取得される（ＳＴＥＰ１）。三次元スキャナ２００によって取得された三次元データには、当該三次元データに対応する歯牙の各点における三次元の位置情報と、歯牙の各点における色情報（ＲＧＢ値）とが含まれる。三次元スキャナ２００によって取得された三次元データに基づき三次元画像が生成されると、図８（ａ）に示すように実際の色が付された歯牙を含む三
次元画像が生成される。 As shown in FIG. 8, first, the three-dimensional data is acquired by the three-dimensional scanner 200 (STEP 1). The three-dimensional data acquired by the three-dimensional scanner 200 includes three-dimensional position information at each point of the tooth corresponding to the three-dimensional data and color information (RGB value) at each point of the tooth. When a three-dimensional image is generated based on the three-dimensional data acquired by the three-dimensional scanner 200, a three-dimensional image including the actual colored teeth is generated as shown in FIG. 8A.

次に、後述する各歯牙の色分け処理の準備として、ノイズ除去処理が行われる。たとえば、本実施の形態においては、三次元データに対応する３次元画像がグレースケール化される（ＳＴＥＰ２）。３次元画像のグレースケール化は、ユーザ１（この場合、学習用データを生成するメーカの技術者または製造工場の作業者など）によって行われる。三次元画像がグレースケール化されると、図８（ｂ）に示すようにグレースケール化された歯牙を含む三次元画像が生成される。また、三次元画像のグレースケール化に応じて、三次元データに対応する歯牙の各点における色情報（ＲＧＢ値）がグレースケールに対応する値に変更される。 Next, a noise removal process is performed in preparation for the color-coding process of each tooth, which will be described later. For example, in the present embodiment, the three-dimensional image corresponding to the three-dimensional data is grayscaled (STEP 2). Grayscale of the three-dimensional image is performed by user 1 (in this case, an engineer of a manufacturer or a worker of a manufacturing factory that generates learning data). When the three-dimensional image is grayscaled, a three-dimensional image including the grayscaled teeth is generated as shown in FIG. 8 (b). Further, according to the grayscale of the three-dimensional image, the color information (RGB value) at each point of the tooth corresponding to the three-dimensional data is changed to the value corresponding to the grayscale.

次に、三次元データに対応する三次元画像に含まれる各歯牙に対して予め定められた色が塗布されることで各歯牙が色分けされる（ＳＴＥＰ３）。たとえば、図９に示すように、識別装置１００が保持する色分類データ１１８は、下顎左側、下顎右側、上顎左側、および上顎右側といったように口腔内の各部位ごとに設けられている。図９においては、下顎左側に対応する色分類データ１１８が示されている。各色分類データ１１８においては、歯牙の種類ごとに、歯科分野において一般的に用いられている歯牙の番号と、予め定められた色情報とが割り当てられている。 Next, each tooth is color-coded by applying a predetermined color to each tooth included in the three-dimensional image corresponding to the three-dimensional data (STEP 3). For example, as shown in FIG. 9, the color classification data 118 held by the identification device 100 is provided for each part in the oral cavity such as the left side of the lower jaw, the right side of the lower jaw, the left side of the upper jaw, and the right side of the upper jaw. In FIG. 9, the color classification data 118 corresponding to the left side of the mandible is shown. In each color classification data 118, a tooth number generally used in the dental field and predetermined color information are assigned to each type of tooth.

たとえば、第二大臼歯は、歯牙の番号として７番が割り当てられ、色情報として赤色が割り当てられている。第一大臼歯は、歯牙の番号として６番が割り当てられ、色情報として緑色が割り当てられている。第二小臼歯は、歯牙の番号として５番が割り当てられ、色情報として青色が割り当てられている。このように、各色分類データ１１８においては、各歯牙の種類に対して歯牙の番号および色情報が予め割り当てられている。 For example, the second molar is assigned a tooth number of 7 and red as color information. The first molar is assigned a tooth number of 6 and green as color information. The second premolar is assigned a tooth number of 5, and blue as color information. As described above, in each color classification data 118, the tooth number and the color information are assigned in advance for each tooth type.

各歯牙に対する色の塗布は、ユーザ１（メーカの技術者または製造工場の作業者など）によって行われる。具体的には、ユーザ１は、自身の知見に基づき三次元画像に含まれる各歯牙の種類を識別し、識別した歯牙の種類に対応する色を、色分類データ１１８を参照しながら特定し、特定した色を当該歯牙の画像に塗布する。 Color application to each tooth is performed by user 1 (manufacturer's technician, manufacturing factory worker, etc.). Specifically, the user 1 identifies each tooth type included in the three-dimensional image based on his / her own knowledge, and identifies the color corresponding to the identified tooth type with reference to the color classification data 118. The specified color is applied to the image of the tooth.

たとえば、ユーザ１は、三次元画像に含まれる歯牙が第二大臼歯であると識別すると、当該歯牙の画像に赤色を塗布する。また、三次元画像に含まれる歯牙が第一大臼歯であると識別すると、当該歯牙の画像に緑色を塗布する。三次元画像に含まれる各歯牙に対して予め定められた色が塗布されると、図８（ｃ）および図９（ｄ）に示すように各歯牙に対して予め定められた色が塗布された三次元画像が生成される。なお、分かり易いように、図面上では各色がハッチングで表されている。 For example, when the user 1 identifies that the tooth included in the three-dimensional image is the second molar, the user 1 applies red to the image of the tooth. Further, when the tooth included in the three-dimensional image is identified as the first molar, green is applied to the image of the tooth. When a predetermined color is applied to each tooth included in the three-dimensional image, a predetermined color is applied to each tooth as shown in FIGS. 8 (c) and 9 (d). A three-dimensional image is generated. For easy understanding, each color is represented by hatching on the drawing.

また、各歯牙の色分けに応じて、三次元データに対応する歯牙の各点における色情報（ＲＧＢ値）が各歯牙に塗布された色に対応する値に変更される。たとえば、赤色に塗布された第二大臼歯の各位置座標に対しては、色情報（ＲＧＢ値）が“２５５００００００”となり、緑色に塗布された第一大臼歯の各位置座標に対しては、色情報（ＲＧＢ値）が“０００２５５０００”となり、青色に塗布された第二小臼歯の各位置座標に対しては、色情報（ＲＧＢ値）が“０００００２５５”となる。つまり、三次元データに対応する歯牙の各点に対して、予め定められた色情報（ＲＧＢ値）が関連付けられる。 Further, according to the color coding of each tooth, the color information (RGB value) at each point of the tooth corresponding to the three-dimensional data is changed to the value corresponding to the color applied to each tooth. For example, the color information (RGB value) is "255,000" for each position coordinate of the second molar painted in red, and for each position coordinate of the first molar painted in green, the color information (RGB value) is "255,000". The color information (RGB value) is "000255000", and the color information (RGB value) is "00000025" for each position coordinate of the second premolar painted in blue. That is, predetermined color information (RGB values) is associated with each point of the tooth corresponding to the three-dimensional data.

各歯牙に対して予め定められた色情報が関連付けられると、三次元データには、位置情報と、塗布された色に対応する色情報とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、本実施の形態に係る学習用データにおいては、識別処理で参照される位置情報に対して、歯牙の種類に対応する色情報が関連付けられる（ラベリングされる）。さらに、三次元データに対応する複数の歯牙のそれぞれの範囲
を特定可能に当該三次元データに色情報が関連付けられる。具体的には、各歯牙に対応する位置情報ごとに、同じ色情報が関連付けられる。このような学習用データの集まりが学習用データセット１１６として、識別装置１００に保持される。 When predetermined color information is associated with each tooth, the three-dimensional data includes position information and color information corresponding to the applied color, and such three-dimensional data is obtained. Adopted as learning data. That is, in the learning data according to the present embodiment, the color information corresponding to the type of tooth is associated (labeled) with the position information referred to in the identification process. Further, the color information is associated with the three-dimensional data so that the respective ranges of the plurality of teeth corresponding to the three-dimensional data can be specified. Specifically, the same color information is associated with each position information corresponding to each tooth. Such a collection of learning data is held in the identification device 100 as a learning data set 116.

このように、学習用データを生成する際に、ユーザ１が三次元画像に含まれる各歯牙に色を塗布して正解データをラベリングすることにおいては、多くの利点がある。たとえば、単なる文字または記号を用いてラベリングした場合、ユーザ１は、各歯牙の範囲を認識し難いが、色分けによってラベリングした場合、ユーザ１は、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を色の塗布によって容易に認識することができる。また、ユーザ１は、ラベリング時に様々な角度から三次元画像を確認しながら色を塗布するが、視点の角度を変更した場合でも、ラベリング作業中の歯牙に対してどの範囲まで塗布が完了したのかを認識し易くなる。 As described above, when the learning data is generated, there are many advantages in that the user 1 applies a color to each tooth included in the three-dimensional image and labels the correct answer data. For example, when labeling using simple letters or symbols, it is difficult for user 1 to recognize the range of each tooth, but when labeling by color coding, user 1 has a tooth to be labeled and a tooth adjacent to the tooth. The boundary between the teeth and the boundary between the tooth and the gingiva to be labeled can be easily recognized by applying a color. In addition, the user 1 applies the color while checking the three-dimensional image from various angles at the time of labeling, but even if the angle of the viewpoint is changed, to what extent the application is completed for the teeth during the labeling work. Is easier to recognize.

なお、本実施の形態においては、ユーザ１が自身の知見に基づき手作業で三次元画像に含まれる各歯牙に色を塗布しているが、一部の作業をソフトウェアで補うことも可能である。たとえば、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を、エッジ検出によって特定してもよく、このようにすれば、ラベリング対象である歯牙のみを抽出することができる。 In the present embodiment, the user 1 manually applies a color to each tooth included in the three-dimensional image based on his / her own knowledge, but it is also possible to supplement some of the work with software. .. For example, the boundary between the tooth to be labeled and the tooth adjacent to the tooth and the boundary between the tooth to be labeled and the gingiva may be specified by edge detection. Only the teeth to be labeled can be extracted.

なお、図８および図９に示す学習用データセット１１６の生成は、サーバ装置５００が保持する学習用データセット５１６の生成についても適用可能である。たとえば、図９に示す学習用データセット１１６を、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、図９に示す色分類データ１１８を、サーバ装置５００が保持する色分類データ５１８に適用してもよい。 The generation of the learning data set 116 shown in FIGS. 8 and 9 can also be applied to the generation of the learning data set 516 held by the server device 500. For example, the learning data set 116 shown in FIG. 9 may be applied to the learning data set 516 held by the server device 500, or the color classification data 118 shown in FIG. 9 may be applied to the color classification held by the server device 500. It may be applied to data 518.

［学習済モデルの生成］
図１０を参照しながら、学習済モデル１１４ａの生成の一例を説明する。図１０は、本実施の形態に係る学習用データセット１１６に基づく学習済モデル１１４ａの生成を説明するための模式図である。 [Generation of trained model]
An example of generating the trained model 114a will be described with reference to FIG. FIG. 10 is a schematic diagram for explaining the generation of the trained model 114a based on the learning data set 116 according to the present embodiment.

図１０に示すように、学習用データセット１１６は、当該学習用データセット１１６を生成する際にスキャン対象となった対象者２のプロファイルに基づきカテゴリごとに分類することができる。たとえば、年齢（未成年者，現役世代，高齢者）、性別（男性，女性）、人種（アジア人，欧米人，アフリカ系）、身長（１５０ｃｍ未満，１５０以上）、体重（５０ｋｇ未満，５０ｋｇ以上）、および居住地（日本在住，日本以外に在住）のそれぞれに対して、該当する対象者２の歯牙を含む三次元データから生成された学習用データセットを割り当てることができる。なお、各カテゴリの層別は、適宜設定可能である。たとえば、年齢に関しては、所定の年齢差ごと（この場合は３歳ごと）、具体的には、０歳〜３歳、４歳〜６歳、７歳〜９歳、…といったように、より詳細に層別することができる。 As shown in FIG. 10, the learning data set 116 can be classified by category based on the profile of the subject 2 who was the scan target when the learning data set 116 was generated. For example, age (minors, active generation, elderly), gender (male, female), race (Asian, Western, African), height (less than 150 cm, 150 or more), weight (less than 50 kg, 50 kg). The above) and the place of residence (resident in Japan, living outside Japan) can be assigned a learning data set generated from three-dimensional data including the teeth of the corresponding subject 2. The stratification of each category can be set as appropriate. For example, regarding age, more details such as by a predetermined age difference (in this case, every 3 years), specifically, 0 to 3 years old, 4 years old to 6 years old, 7 years old to 9 years old, and so on. Can be stratified into.

識別装置１００は、カテゴリごとに分類することができる複数の学習用データセット１１６ａ〜１１６ｏを用いて推定モデル１１４を学習させることで、学習済モデル１１４ａを生成する。なお、学習用データは、カテゴリの分類の仕方によっては重複することがあるが、学習用データが重複する場合には、いずれかの学習用データのみを用いて推定モデル１１４を学習させればよい。 The identification device 100 generates the trained model 114a by training the estimation model 114 using a plurality of training data sets 116a to 116o that can be classified by category. The training data may be duplicated depending on the method of classifying the categories, but when the training data is duplicated, the estimation model 114 may be trained using only one of the training data. ..

一般的に歯牙の形状は、年齢、性別、人種、身長、体重、および居住地など、遺伝または生活環境などに依存してその特徴が異なる。たとえば、一般的に、大人の永久歯は、子
供の乳歯よりも大きく、両者でその形状が異なる。また、一般的に、男性の歯牙は、女性の歯牙よりも大きく、両者でその形状が異なる。また、一般的に、欧米人の歯牙は、硬い肉やパンを噛み切り易いように先端が尖る傾向があるのに対して、日本人の歯牙は、柔らかい米や野菜をすり潰し易いように先端が滑らかになる傾向がある。このため、本実施の形態のように、プロファイルデータに基づき学習処理を実行すれば、遺伝または生活環境などを考慮して歯牙の種類を識別することができる学習済モデルを生成することができる。 Generally, the shape of a tooth has different characteristics depending on heredity or living environment such as age, gender, race, height, weight, and place of residence. For example, in general, adult permanent teeth are larger than children's deciduous teeth, and both differ in shape. Also, in general, male teeth are larger than female teeth, and their shapes are different. Also, in general, Westerners' teeth tend to have a sharp tip so that they can easily bite through hard meat and bread, while Japanese teeth have a tip that makes it easy to grind soft rice and vegetables. Tends to be smooth. Therefore, if the learning process is executed based on the profile data as in the present embodiment, it is possible to generate a learned model capable of identifying the type of tooth in consideration of heredity or living environment.

なお、図１０に示す学習済モデル１１４ａの生成は、サーバ装置５００が保持する学習済モデル５１４ａの生成についても適用可能である。たとえば、図１０に示す学習用データセット１１６ａ〜１１６ｏを、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、図１０に示す推定モデル１１４を、サーバ装置５００が保持する推定モデル５１４に適用してもよい。 The generation of the trained model 114a shown in FIG. 10 can also be applied to the generation of the trained model 514a held by the server device 500. For example, the learning data sets 116a to 116o shown in FIG. 10 may be applied to the learning data set 516 held by the server device 500, or the estimation model 114 shown in FIG. 10 may be held by the server device 500. It may be applied to model 514.

［識別装置の学習処理］
図１１を参照しながら、識別装置１００が実行する学習処理について説明する。図１１は、本実施の形態に係る識別装置１００が実行する学習処理の一例を説明するためのフローチャートである。図１１に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および学習用プログラム１２１を実行することで実現される。 [Learning process of identification device]
The learning process executed by the identification device 100 will be described with reference to FIG. FIG. 11 is a flowchart for explaining an example of the learning process executed by the identification device 100 according to the present embodiment. Each step shown in FIG. 11 is realized by the arithmetic unit 130 of the identification device 100 executing the OS 127 and the learning program 121.

図１１に示すように、識別装置１００は、学習用データセット１１６の中から、学習に用いる学習用データを選択する（Ｓ２）。具体的には、識別装置１００は、図１０に示す学習用データセット群に含まれる学習用データセット１１６の中から、一または複数の学習用データを選択する。なお、識別装置１００は、学習用データを自動で選択するものに限らず、ユーザ１が選択した学習用データを学習処理に用いてもよい。 As shown in FIG. 11, the identification device 100 selects learning data to be used for learning from the learning data set 116 (S2). Specifically, the identification device 100 selects one or a plurality of learning data from the learning data sets 116 included in the learning data set group shown in FIG. The identification device 100 is not limited to the one that automatically selects the learning data, and the learning data selected by the user 1 may be used for the learning process.

識別装置１００は、選択した学習用データに含まれる三次元データの位置情報、および当該学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを推定モデル１１４に入力する（Ｓ４）。このとき、識別装置１００には、三次元データにラベリングされた正解データは入力されない。識別装置１００は、三次元データに対応する歯牙の特徴に基づき、推定モデル１１４を用いて当該歯牙の種類を識別する識別処理を実行する（Ｓ６）。識別処理において、識別装置１００は、三次元データに加えてプロファイルデータに基づき、推定モデル１１４を用いて当該歯牙の種類を識別する。 The identification device 100 inputs the position information of the three-dimensional data included in the selected learning data and the profile data of the subject 2 to be scanned when generating the learning data into the estimation model 114 (S4). ). At this time, the correct answer data labeled as the three-dimensional data is not input to the identification device 100. The identification device 100 executes an identification process for identifying the type of the tooth using the estimation model 114 based on the characteristics of the tooth corresponding to the three-dimensional data (S6). In the identification process, the identification device 100 identifies the type of tooth using the estimation model 114 based on the profile data in addition to the three-dimensional data.

識別装置１００は、識別処理によって識別した歯牙の種類の識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル１１４のパラメータ１１４４を更新する（Ｓ８）。 The identification device 100 updates the parameter 1144 of the estimation model 114 based on the error between the identification result of the tooth type identified by the identification process and the correct answer data corresponding to the learning data used in the learning process (S8).

たとえば、識別装置１００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定する。識別装置１００は、学習用データに含まれる当該特定の歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル１１４のパラメータ１１４４を維持する一方で、不正解であれば両者が一致するように推定モデル１１４のパラメータ１１４４を更新する。 For example, the identification device 100 estimates the color information corresponding to the specific tooth as a result of identification based on the position information of the specific tooth. The identification device 100 compares the color information (correct answer data) corresponding to the specific tooth included in the learning data with the color information estimated by itself, and if they match, maintains the parameter 1144 of the estimation model 114. Then, if the answer is incorrect, the parameter 1144 of the estimation model 114 is updated so that the two match.

あるいは、識別装置１００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ１１８に基づき当該色情報に対応する歯牙の種類や歯牙の番号（正解データ）を特定する。識別装置１００は、学習用データに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号（正解データ）と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル１１４のパラメータ１１４４を維持する一方で、不正解であれば両者が一致するように推
定モデル１１４のパラメータ１１４４を更新する。 Alternatively, the identification device 100 estimates the color information corresponding to the specific tooth as a result of identification based on the position information of the specific tooth, and the type of tooth or the tooth corresponding to the color information based on the color classification data 118. Identify the number (correct answer data). The identification device 100 determines the tooth type and tooth number (correct answer data) assigned to the color information corresponding to the specific tooth included in the learning data, and the tooth type and tooth number estimated by itself. If they match, the parameter 1144 of the estimation model 114 is maintained, and if the answer is incorrect, the parameter 1144 of the estimation model 114 is updated so that they match.

次に、識別装置１００は、全ての学習用データに基づき学習したか否かを判定する（Ｓ１０）。識別装置１００は、全ての学習用データに基づき学習していない場合（Ｓ１０でＮＯ）、Ｓ２の処理に戻る。 Next, the identification device 100 determines whether or not learning has been performed based on all the learning data (S10). When the identification device 100 has not learned based on all the learning data (NO in S10), the identification device 100 returns to the process of S2.

一方、識別装置１００は、全ての学習用データに基づき学習した場合（Ｓ１０でＹＥＳ）、学習済みの推定モデル１１４を学習済モデル１１４ａとして記憶し（Ｓ１２）、本処理を終了する。 On the other hand, when the identification device 100 learns based on all the learning data (YES in S10), the identification device 100 stores the learned estimation model 114 as the learned model 114a (S12), and ends this process.

このように、識別装置１００は、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する歯牙情報（色情報、歯牙の名称、または歯牙の番号など）を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、推定モデル１１４を学習することで、学習済モデル１１４ａを生成することができる。 In this way, the identification device 100 identifies tooth information (color information, tooth name, tooth number, etc.) corresponding to the tooth type associated with the three-dimensional data included in the learning data as correct answer data. The trained model 114a can be generated by learning the estimation model 114 based on the identification result of the tooth type using the three-dimensional data by the processing.

さらに、識別装置１００は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル１１４を学習するため、対象者２のプロファイルを考慮した学習済モデル１１４ａを生成することができる。 Further, since the identification device 100 learns the estimation model 114 in consideration of the profile data in addition to the learning data in the learning process, the learned model 114a in consideration of the profile of the subject 2 can be generated.

［サーバ装置の学習処理］
図１２を参照しながら、サーバ装置５００が実行する学習処理について説明する。図１２は、本実施の形態に係るサーバ装置５００が実行する学習処理の一例を説明するためのフローチャートである。図１２に示す各ステップは、サーバ装置５００の演算装置５３０がＯＳ５２７および学習用プログラム５２１を実行することで実現される。 [Learning process of server device]
The learning process executed by the server device 500 will be described with reference to FIG. FIG. 12 is a flowchart for explaining an example of the learning process executed by the server device 500 according to the present embodiment. Each step shown in FIG. 12 is realized by the arithmetic unit 530 of the server device 500 executing the OS 527 and the learning program 521.

図１２に示すように、サーバ装置５００は、学習用データセットの中から、学習に用いる学習用データを選択する（Ｓ５０２）。ここで、学習用データは、サーバ装置５００によって蓄積して記憶されたビッグデータを利用して生成されたものであってもよい。たとえば、サーバ装置５００は、各ローカルＡ〜Ｃの識別装置１００および歯科技工所から取得したスキャン情報に含まれる三次元データを利用して学習用データを生成しておき、生成した当該学習用データを用いて学習処理を実行してもよい。なお、サーバ装置５００は、学習用データを自動で選択するものに限らず、ユーザ１が選択した学習用データを学習処理に用いてもよい。 As shown in FIG. 12, the server device 500 selects the learning data to be used for learning from the learning data set (S502). Here, the learning data may be generated by using the big data accumulated and stored by the server device 500. For example, the server device 500 generates learning data using the three-dimensional data included in the identification devices 100 of each local A to C and the scan information acquired from the dental laboratory, and the generated learning data. The learning process may be executed using. The server device 500 is not limited to the one that automatically selects the learning data, and the learning data selected by the user 1 may be used for the learning process.

サーバ装置５００は、選択した学習用データに含まれる三次元データ（位置情報）、および当該学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを推定モデル５１４に入力する（Ｓ５０４）。このとき、サーバ装置５００には、三次元データにラベリングされた正解データは入力されない。サーバ装置５００は、三次元データに対応する歯牙の特徴に基づき、推定モデル５１４を用いて当該歯牙の種類を識別する識別処理を実行する（Ｓ５０６）。識別処理において、サーバ装置５００は、三次元データに加えてプロファイルデータに基づき、推定モデル５１４を用いて当該歯牙の種類を識別する。 The server device 500 inputs the three-dimensional data (position information) included in the selected learning data and the profile data of the subject 2 to be scanned when generating the learning data into the estimation model 514 ( S504). At this time, the correct answer data labeled as the three-dimensional data is not input to the server device 500. The server device 500 executes an identification process for identifying the type of the tooth using the estimation model 514 based on the characteristics of the tooth corresponding to the three-dimensional data (S506). In the identification process, the server device 500 identifies the type of tooth using the estimation model 514 based on the profile data in addition to the three-dimensional data.

サーバ装置５００は、識別処理によって識別した歯牙の種類の識別結果と、学習に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル５１４のパラメータを更新する（Ｓ５０８）。 The server device 500 updates the parameters of the estimation model 514 based on the error between the identification result of the tooth type identified by the identification process and the correct answer data corresponding to the learning data used for learning (S508).

たとえば、サーバ装置５００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定する。サーバ装置５００は、学習用データセットに含ま
れる当該特定の歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新する。 For example, the server device 500 estimates the color information corresponding to the specific tooth as a result of identification based on the position information of the specific tooth. The server device 500 compares the color information (correct answer data) corresponding to the specific tooth included in the learning data set with the color information estimated by itself, and if they match, maintains the parameters of the estimation model 514. Then, if the answer is incorrect, the parameters of the estimation model 514 are updated so that the two match.

あるいは、サーバ装置５００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ５１８に基づき当該色情報に対応する歯牙の種類や歯牙の番号（正解データ）を特定する。サーバ装置５００は、学習用データセットに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号（正解データ）と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新する。 Alternatively, the server device 500 estimates the color information corresponding to the specific tooth as a result of identification based on the position information of the specific tooth, and the type of tooth or the tooth corresponding to the color information based on the color classification data 518. Identify the number (correct answer data). The server device 500 includes the tooth type and tooth number (correct answer data) assigned to the color information corresponding to the specific tooth included in the learning data set, and the tooth type and tooth number estimated by itself. If they match, the parameters of the estimation model 514 are maintained, and if the answers are incorrect, the parameters of the estimation model 514 are updated so that they match.

次に、サーバ装置５００は、全ての学習用データに基づき学習したか否かを判定する（Ｓ５１０）。サーバ装置５００は、全ての学習用データに基づき学習していない場合（Ｓ５１０でＮＯ）、Ｓ５０２の処理に戻る。 Next, the server device 500 determines whether or not learning has been performed based on all the learning data (S510). When the server device 500 has not learned based on all the learning data (NO in S510), the server device 500 returns to the process of S502.

一方、サーバ装置５００は、全ての学習用データに基づき学習した場合（Ｓ５１０でＹＥＳ）、学習済みの推定モデル５１４を学習済モデル５１４ａとして記憶する（Ｓ５１２）。その後、サーバ装置５００は、生成した学習済モデル５１４ａを各ローカルの識別装置１００に送信し（Ｓ５１４）、本処理を終了する。 On the other hand, when the server device 500 learns based on all the learning data (YES in S510), the server device 500 stores the trained estimation model 514 as the trained model 514a (S512). After that, the server device 500 transmits the generated learned model 514a to each local identification device 100 (S514), and ends this process.

このように、サーバ装置５００は、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する歯牙情報（色情報，歯牙の名称，歯牙の番号）を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、推定モデル５１４を学習することで、学習済モデル５１４ａを生成することができる。 In this way, the server device 500 uses the tooth information (color information, tooth name, tooth number) corresponding to the tooth type associated with the three-dimensional data included in the learning data as correct answer data, and performs identification processing. The trained model 514a can be generated by learning the estimation model 514 based on the identification result of the tooth type using the three-dimensional data.

また、サーバ装置５００は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル５１４を学習するため、対象者２のプロファイルを考慮した学習済モデル５１４ａを生成することができる。 Further, since the server device 500 learns the estimation model 514 in consideration of the profile data in addition to the learning data in the learning process, the learned model 514a in consideration of the profile of the target person 2 can be generated.

さらに、サーバ装置５００は、学習処理に用いる学習用データとして、各ローカルＡ〜Ｃの識別装置１００および歯科技工所から取得したスキャン情報に含まれる三次元データを利用しているため、識別装置１００ごとに実行される学習処理よりも、より多くの学習用データに基づいて学習処理を実行することができ、より精度良く歯牙の種類を識別することができる学習済モデル５１４ａを生成することができる。 Further, since the server device 500 uses the three-dimensional data included in the identification device 100 of each local A to C and the scan information acquired from the dental laboratory as the learning data used for the learning process, the identification device 100 It is possible to execute the learning process based on more learning data than the learning process executed for each, and it is possible to generate a trained model 514a capable of identifying the tooth type more accurately. ..

［識別装置のサービス提供処理］
図１３を参照しながら、識別装置１００が実行するサービス提供処理について説明する。図１３は、本実施の形態に係る識別装置１００が実行するサービス提供処理の一例を説明するためのフローチャートである。図１３に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。 [Service provision process of identification device]
The service providing process executed by the identification device 100 will be described with reference to FIG. FIG. 13 is a flowchart for explaining an example of the service providing process executed by the identification device 100 according to the present embodiment. Each step shown in FIG. 13 is realized by the arithmetic unit 130 of the identification device 100 executing the OS 127 and the identification program 120.

図１３に示すように、識別装置１００は、サービス提供処理の開始条件が成立したか否かを判定する（Ｓ４２）。開始条件は、たとえば、三次元スキャナ２００の電源を立ち上げたときに成立してもよいし、三次元スキャナ２００の電源を立ち上げた後にサービス提供処理に対応するモードに切り替えられたときに成立してもよい。あるいは、開始条件は、サービス提供処理に対応するアイコン（たとえば、ＡＩアシストアイコン）が操作されてアイコンが点滅状態になった後に開始スイッチが操作されたときに成立してもよい。また、開始条件は、一定量の三次元データが取得されたときに成立してもよい。開始条件は、三次元スキャナ２００に対して何らかのアクションが行われたときに成立するものであ
ればよい。 As shown in FIG. 13, the identification device 100 determines whether or not the start condition of the service provision process is satisfied (S42). The start condition may be satisfied, for example, when the power supply of the three-dimensional scanner 200 is turned on, or when the mode is switched to the mode corresponding to the service provision process after the power supply of the three-dimensional scanner 200 is turned on. You may. Alternatively, the start condition may be satisfied when the start switch is operated after the icon corresponding to the service provision process (for example, the AI assist icon) is operated and the icon is in the blinking state. Further, the start condition may be satisfied when a certain amount of three-dimensional data is acquired. The start condition may be satisfied as long as some action is performed on the three-dimensional scanner 200.

識別装置１００は、開始条件が成立していない場合（Ｓ４２でＮＯ）、本処理を終了する。一方、識別装置１００は、開始条件が成立した場合（Ｓ４２でＹＥＳ）、三次元データが入力されたか否かを判定する（Ｓ４４）。たとえば、識別装置１００は、識別処理を実行するのに十分な量の三次元データが入力されたか否かを判定する。識別装置１００は、十分な量の三次元データが入力されていない場合（Ｓ４４でＮＯ）、Ｓ４４の処理を繰り返す。 When the start condition is not satisfied (NO in S42), the identification device 100 ends this process. On the other hand, when the start condition is satisfied (YES in S42), the identification device 100 determines whether or not the three-dimensional data has been input (S44). For example, the identification device 100 determines whether or not a sufficient amount of three-dimensional data has been input to execute the identification process. When a sufficient amount of three-dimensional data has not been input (NO in S44), the identification device 100 repeats the process of S44.

一方、識別装置１００は、十分な量の三次元データが入力された場合（Ｓ４４でＹＥＳ）、ユーザ１によって対象者２のプロファイルデータが入力されたか否かを判定する（Ｓ４６）。識別装置１００は、プロファイルデータが入力されていない場合（Ｓ４６でＮＯ）、三次元データ（位置情報）を学習済モデル１１４ａに入力する（Ｓ４８）。一方、識別装置１００は、プロファイルデータが入力された場合（Ｓ４６でＹＥＳ）、三次元データ（位置情報）およびプロファイルデータを学習済モデル１１４ａに入力する（Ｓ５０）。なお、このとき使用する学習済モデルは、図１１に示す学習処理で識別装置１００によって生成された学習済モデル１１４ａに限らず、図１２に示す学習処理でサーバ装置５００によって生成された学習済モデル５１４ａであってもよい。 On the other hand, when a sufficient amount of three-dimensional data is input (YES in S44), the identification device 100 determines whether or not the profile data of the target person 2 has been input by the user 1 (S46). When the profile data is not input (NO in S46), the identification device 100 inputs the three-dimensional data (position information) to the trained model 114a (S48). On the other hand, when the profile data is input (YES in S46), the identification device 100 inputs the three-dimensional data (position information) and the profile data to the trained model 114a (S50). The trained model used at this time is not limited to the trained model 114a generated by the identification device 100 in the learning process shown in FIG. 11, but the trained model generated by the server device 500 in the learning process shown in FIG. It may be 514a.

Ｓ４８およびＳ５０の後、識別装置１００は、三次元データに対応する歯牙の特徴に基づき、学習済モデル１１４ａを用いて当該歯牙の種類を識別する識別処理を実行する（Ｓ５２）。このとき、Ｓ５０でプロファイルデータが学習済モデル１１４ａに入力されていた場合、識別装置１００は、三次元データに加えてプロファイルデータに基づき、学習済モデル１１４ａを用いて当該歯牙の種類を識別する。この場合、三次元データのみに基づき学習済モデル１１４ａを用いて歯牙の種類を識別するよりも、より精度良く歯牙の種類を識別することができる。 After S48 and S50, the identification device 100 executes an identification process for identifying the type of the tooth using the trained model 114a based on the characteristics of the tooth corresponding to the three-dimensional data (S52). At this time, when the profile data is input to the trained model 114a in S50, the identification device 100 identifies the type of the tooth using the trained model 114a based on the profile data in addition to the three-dimensional data. In this case, the tooth type can be identified more accurately than the tooth type can be identified using the trained model 114a based only on the three-dimensional data.

その後、識別装置１００は、識別処理によって得られた識別結果を、ディスプレイ３００、スピーカ４００、およびサーバ装置５００などに出力し（Ｓ５４）、本処理を終了する。 After that, the identification device 100 outputs the identification result obtained by the identification process to the display 300, the speaker 400, the server device 500, and the like (S54), and ends this process.

このように、識別装置１００は、入力された三次元データに対応する歯牙の特徴に基づき、学習済モデル１１４ａを用いて当該歯牙の種類を識別するため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。 As described above, in order to identify the type of the tooth using the trained model 114a based on the characteristics of the tooth corresponding to the input three-dimensional data, the identification device 100 relies on the user's own knowledge to identify the type of tooth. It is possible to identify the type of tooth more accurately than to identify.

さらに、識別装置１００は、識別処理において、入力された三次元データに加えてプロファイルデータを考慮して歯牙の種類を識別するため、より精度良く歯牙の種類を識別することができる。 Further, since the identification device 100 identifies the tooth type in consideration of the profile data in addition to the input three-dimensional data in the identification process, the tooth type can be identified more accurately.

[主な構成］
以上のように、本実施の形態では以下のような開示を含む。 [Main configuration]
As described above, the present embodiment includes the following disclosure.

識別装置１００は、歯牙を含む三次元データが入力される入力部１１０２と、入力部１１０２から入力された歯牙の特徴を含む三次元データおよびニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に基づき、当該歯牙の種類を識別する識別部１１３０と、識別部１１３０による識別結果を出力する出力部１１０３とを備え、推定モデル１１４は、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習される。 The identification device 100 includes an input unit 1102 into which three-dimensional data including teeth is input, and an estimation model 114 (trained model 114a) including three-dimensional data including tooth features input from the input unit 1102 and a neural network 1142. Based on the above, the estimation model 114 includes an identification unit 1130 for identifying the tooth type and an output unit 1103 for outputting the identification result by the identification unit 1130, and the estimation model 114 corresponds to the tooth type associated with the three-dimensional data. It is learned based on the information and the identification result of the tooth type using the three-dimensional data.

これにより、ユーザ１は、歯牙を含む三次元データを、ニューラルネットワーク１１４
２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。 As a result, the user 1 can input the three-dimensional data including the teeth to the neural network 114.
Since the type of the tooth can be identified by inputting to the estimation model 114 (learned model 114a) including 2, the tooth type can be identified more accurately than the user's own knowledge to identify the tooth type. The type can be identified.

なお、推定モデル１１４の学習は、サーバ装置５００によって実行される推定モデル５１４の学習によって実現されるものであってもよい。 The learning of the estimation model 114 may be realized by learning the estimation model 514 executed by the server device 500.

入力部１１０２には、少なくとも、口腔内において隣接する複数の歯牙および歯肉に対応する三次元データが入力され、識別部１１３０は、複数の歯牙のそれぞれの特徴を含む三次元データに基づき、当該複数の歯牙のそれぞれの種類を識別する。 At least three-dimensional data corresponding to a plurality of adjacent teeth and gingiva in the oral cavity are input to the input unit 1102, and the identification unit 1130 is based on the three-dimensional data including the characteristics of each of the plurality of teeth. Identify each type of tooth.

これにより、ユーザ１は、口腔内において隣接する複数の歯牙および歯肉に対応する三次元データを、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該複数の歯牙のそれぞれの種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を１つ１つ識別するよりも、精度良くかつスムーズに歯牙の種類を識別することができる。さらに、ユーザ１は、隣接する歯牙の形状との関係も考慮してニューラルネットワーク１１４２を含む推定モデル１１４によって歯牙の特徴を抽出させることができるため、精度良く歯牙の種類を識別することができる。 As a result, the user 1 inputs the three-dimensional data corresponding to the plurality of adjacent teeth and gingiva in the oral cavity into the estimation model 114 (trained model 114a) including the neural network 1142, so that the user 1 can use the plurality of teeth. Since each type can be identified, it is possible to identify the tooth type more accurately and smoothly than to identify each tooth type one by one based on the user's own knowledge. Further, since the user 1 can extract the characteristics of the tooth by the estimation model 114 including the neural network 1142 in consideration of the relationship with the shape of the adjacent tooth, the user 1 can accurately identify the type of tooth.

図６に示すように、三次元データは、当該三次元データに対応する歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む。 As shown in FIG. 6, the three-dimensional data includes three-dimensional position information at each of a plurality of points constituting the tooth corresponding to the three-dimensional data.

これにより、ユーザ１は、三次元データに対応する歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができる。 As a result, the user 1 inputs the three-dimensional position information at each of the plurality of points constituting the tooth corresponding to the three-dimensional data into the estimation model 114 (trained model 114a) including the neural network 1142. The type of tooth can be identified.

図６に示すように、位置情報は、予め定められた位置を基準とした絶対位置の座標を含む。 As shown in FIG. 6, the position information includes the coordinates of the absolute position with respect to the predetermined position.

これにより、ユーザ１は、三次元データに対応する歯牙の各点における三次元の位置情報として予め定められた位置を基準とした絶対位置の座標を、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができる。 As a result, the user 1 uses the estimation model 114 (learned) including the neural network 1142 to obtain the coordinates of the absolute position based on the predetermined position as the three-dimensional position information at each point of the tooth corresponding to the three-dimensional data. By inputting to the model 114a), the type of the tooth can be identified.

図７に示すように、入力部１１０２に入力された三次元データに対応する歯牙が上顎の切歯である場合、当該三次元データに対応する三次元画像は、上唇側の部位、口蓋側の部位、および切縁側の部位の画像を少なくとも含み、入力部１１０２に入力された三次元データに対応する歯牙が上顎の犬歯および臼歯である場合、当該三次元データに対応する三次元画像は、頬側の部位、口蓋側の部位、および咬合する部位の画像を少なくとも含み、入力部１１０２に入力された三次元データに対応する歯牙が下顎の切歯である場合、当該三次元データに対応する三次元画像は、下唇側の部位、舌側の部位、および切縁側の部位の画像を少なくとも含み、入力部１１０２に入力された三次元データに対応する歯牙が下顎の犬歯および臼歯である場合、当該三次元データに対応する三次元画像は、頬側の部位、舌側の部位、および咬合する部位の画像を少なくとも含む。 As shown in FIG. 7, when the tooth corresponding to the three-dimensional data input to the input unit 1102 is the incision of the upper jaw, the three-dimensional image corresponding to the three-dimensional data is the part on the upper lip side and the palate side. When the image of the site and the site on the incisal side is included and the teeth corresponding to the three-dimensional data input to the input unit 1102 are the dog tooth and the molar tooth of the upper jaw, the three-dimensional image corresponding to the three-dimensional data is the cheek. If the tooth corresponding to the three-dimensional data input to the input unit 1102 including at least images of the side part, the palatal side part, and the occlusal part is the incision of the lower jaw, the third order corresponding to the three-dimensional data. When the original image includes at least images of the lower lip side part, the lingual side part, and the incisal side part, and the teeth corresponding to the three-dimensional data input to the input unit 1102 are the lower jaw dog tooth and the molar tooth. The three-dimensional image corresponding to the three-dimensional data includes at least an image of a buccal part, a lingual part, and an occlusal part.

これにより、ユーザ１は、上顎の切歯、上顎の犬歯および臼歯、下顎の切歯、下顎の犬歯および臼歯のそれぞれについて、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）を用いて歯牙の種類を識別することができる。 As a result, the user 1 uses an estimated model 114 (trained model 114a) including a neural network 1142 for each of the maxillary incisors, the maxillary canines and molars, the mandibular incisors, and the mandibular canines and molars. The type of can be identified.

図１および図５に示すように、出力部１１０３は、識別部１１３０による識別結果をデ
ィスプレイ３００に出力し、ディスプレイ３００は、識別部１１３０による識別結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか１つを表示する。 As shown in FIGS. 1 and 5, the output unit 1103 outputs the identification result by the identification unit 1130 to the display 300, and the display 300 displays images, characters, numbers, icons, and images corresponding to the identification result by the identification unit 1130. Display at least one of the symbols.

これにより、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）による識別結果に対応する画像がディスプレイ３００に表示されるため、ユーザ１は、直感的に識別結果を認識することができ、利便性が向上する。 As a result, the image corresponding to the identification result by the estimation model 114 (learned model 114a) including the neural network 1142 is displayed on the display 300, so that the user 1 can intuitively recognize the identification result, which is convenient. Sex improves.

図１および図５に示すように、出力部１１０３は、識別部１１３０による識別結果をスピーカ４００に出力し、スピーカ４００は、識別部１１３０による識別結果に対応する音声を出力する。 As shown in FIGS. 1 and 5, the output unit 1103 outputs the identification result by the identification unit 1130 to the speaker 400, and the speaker 400 outputs the voice corresponding to the identification result by the identification unit 1130.

これにより、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）による識別結果に対応する音声がスピーカ４００から出力されるため、ユーザ１は、直感的に識別結果を認識することができ、利便性が向上する。 As a result, the voice corresponding to the identification result by the estimation model 114 (learned model 114a) including the neural network 1142 is output from the speaker 400, so that the user 1 can intuitively recognize the identification result, which is convenient. Sex improves.

図１および図５に示すように、出力部１１０３は、識別部１１３０による識別結果をサーバ装置５００に出力し、サーバ装置５００は、識別部１１３０による識別結果を蓄積して記憶する。 As shown in FIGS. 1 and 5, the output unit 1103 outputs the identification result by the identification unit 1130 to the server device 500, and the server device 500 stores and stores the identification result by the identification unit 1130.

これにより、サーバ装置５００によって識別結果が蓄積して記憶されることでビッグデータが形成されるため、ユーザ１は、たとえば、このようなビッグデータを用いて学習処理をサーバ装置５００に実行させることで、より精度良く歯牙の種類を識別することができる学習済モデルを生成することができる。 As a result, big data is formed by accumulating and storing the identification results by the server device 500. Therefore, the user 1 causes the server device 500 to execute the learning process using such big data, for example. Therefore, it is possible to generate a trained model that can identify the tooth type more accurately.

図５に示すように、推定モデル１１４は、ニューラルネットワーク１１４２によって用いられるパラメータ１１４４として、重み付け係数および判定値の少なくともいずれか１つを含み、推定モデル１１４は、歯牙情報と識別部１１３０による識別結果とに基づきパラメータ１１４４が更新されることで学習される。 As shown in FIG. 5, the estimation model 114 includes at least one of a weighting coefficient and a determination value as the parameter 1144 used by the neural network 1142, and the estimation model 114 includes tooth information and the identification result by the identification unit 1130. It is learned by updating the parameter 1144 based on the above.

これにより、ユーザ１は、推定モデル１１４のパラメータ１１４４を更新することで、より精度良く歯牙の種類を識別することができる学習済モデル１１４ａを生成することができる。 As a result, the user 1 can generate the trained model 114a capable of more accurately identifying the tooth type by updating the parameter 1144 of the estimation model 114.

図９に示すように、歯牙情報は、三次元データに対応する歯牙の種類に対応付けられた色、文字、数字、および記号のうちの少なくともいずれか１つの情報を含む。 As shown in FIG. 9, the tooth information includes at least one of colors, letters, numbers, and symbols associated with the tooth type corresponding to the three-dimensional data.

これにより、ユーザ１は、歯牙の種類に対応付けられた色、文字、数字、および記号などに基づいて、より精度良く歯牙の種類を識別することができる学習済モデル１１４ａを生成することができる。 As a result, the user 1 can generate a trained model 114a capable of more accurately identifying the tooth type based on the color, letters, numbers, symbols, and the like associated with the tooth type. ..

図９に示すように、歯牙情報は、三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに関連付けられる。 As shown in FIG. 9, the tooth information is associated with the three-dimensional data so that the respective ranges of the plurality of teeth corresponding to the three-dimensional data can be specified.

これにより、ユーザ１は、歯牙情報によって、複数の歯牙のそれぞれの範囲を特定することができるため、ラベリング時の利便性が向上する。 As a result, the user 1 can specify the range of each of the plurality of teeth by the tooth information, so that the convenience at the time of labeling is improved.

図９に示すように、歯牙情報は、三次元データに対応する歯牙を構成する複数の点のそれぞれに関連付けられる。 As shown in FIG. 9, the tooth information is associated with each of a plurality of points constituting the tooth corresponding to the three-dimensional data.

これにより、三次元データに対応する歯牙を構成する複数の点のそれぞれに対して歯牙
情報が関連付けられるため、ユーザ１は、歯牙に対して細かく歯牙情報を関連付けることができ、ラベリング時の利便性が向上する。 As a result, the tooth information is associated with each of the plurality of points constituting the tooth corresponding to the three-dimensional data, so that the user 1 can finely associate the tooth information with the tooth, which is convenient at the time of labeling. Is improved.

推定モデルは、歯牙情報および識別部１１３０による識別結果に加えて、歯牙を有する対象者２に関する属性情報に基づき、学習される。 The estimation model is learned based on the tooth information and the identification result by the identification unit 1130, as well as the attribute information regarding the subject 2 having the teeth.

これにより、ユーザ１は、学習用データに加えて対象者２に関する属性情報に基づいて推定モデル１１４を学習させることができるため、対象者２の属性情報を考慮した学習済モデルを生成することができる。 As a result, the user 1 can train the estimation model 114 based on the attribute information about the target person 2 in addition to the training data, so that the trained model considering the attribute information of the target person 2 can be generated. it can.

図１０に示すように、属性情報は、対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つの情報を含む。 As shown in FIG. 10, the attribute information includes information on at least one of the subject's age, gender, race, height, weight, and place of residence.

これにより、ユーザ１は、学習用データに加えて、対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つに基づいて推定モデル１１４を学習させることができるため、これら対象者２のプロファイルを考慮した学習済モデル１１４ａを生成することができる。 This allows User 1 to train the estimation model 114 based on at least one of the subject's age, gender, race, height, weight, and place of residence, in addition to the learning data. Therefore, it is possible to generate a trained model 114a in consideration of the profile of the target person 2.

スキャナシステム１０は、三次元カメラを用いて歯牙を含む三次元データを取得する三次元スキャナ２００と、三次元スキャナ２００によって取得された歯牙の特徴を含む三次元データに基づき、当該歯牙の種類を識別する識別装置１００とを備え、識別装置１００は、三次元データが入力される入力部１１０２と、入力部１１０２から入力された歯牙の特徴を含む三次元データおよびニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に基づき、当該歯牙の種類を識別する識別部１１３０と、識別部１１３０による識別結果を出力する出力部１１０３とを含み、推定モデル１１４は、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習される。 The scanner system 10 determines the type of tooth based on the three-dimensional scanner 200 that acquires three-dimensional data including teeth using a three-dimensional camera and the three-dimensional data including the characteristics of the teeth acquired by the three-dimensional scanner 200. The identification device 100 includes an input unit 1102 into which three-dimensional data is input, and an estimation model 114 including three-dimensional data including tooth features input from the input unit 1102 and a neural network 1142. Based on (learned model 114a), the estimation model 114 includes an identification unit 1130 for identifying the type of tooth and an output unit 1103 for outputting the identification result by the identification unit 1130, and the estimation model 114 is a tooth associated with three-dimensional data. It is learned based on the tooth information corresponding to the type of the tooth and the identification result of the type of the tooth using the three-dimensional data.

これにより、ユーザ１は、歯牙を含む三次元データを、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。 As a result, the user 1 can identify the type of the tooth by inputting the three-dimensional data including the tooth into the estimation model 114 (trained model 114a) including the neural network 1142, and thus the user himself / herself. Rather than relying on knowledge to identify the type of tooth, it is possible to identify the type of tooth more accurately.

識別方法は、歯牙を含む三次元データが入力されるステップ（Ｓ４８，Ｓ５０）と、歯牙の特徴を含む三次元データおよびニューラルネットワーク１１４２を含む推定モデル１１４に基づき、当該歯牙の種類を識別するステップ（Ｓ５２）と、識別するステップによる識別結果を出力するステップ（Ｓ５４）とを含み、推定モデル１１４は、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習される。 The identification method is a step of identifying the type of the tooth based on the step (S48, S50) in which the three-dimensional data including the tooth is input and the estimation model 114 including the three-dimensional data including the characteristics of the tooth and the neural network 1142. (S52) and the step (S54) of outputting the identification result by the identification step, the estimation model 114 uses the tooth information corresponding to the tooth type associated with the three-dimensional data and the three-dimensional data. It is learned based on the identification result of the type of the tooth that was present.

これにより、ユーザ１は、歯牙を含む三次元データを、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。 As a result, the user 1 can identify the type of the tooth by inputting the three-dimensional data including the tooth into the estimation model 114 (trained model 114a) including the neural network 1142, and thus the user himself / herself. Rather than relying on knowledge to identify the type of tooth, it is possible to identify the type of tooth more accurately.

識別用プログラム１２０は、演算装置１３０に、歯牙を含む三次元データが入力されるステップ（Ｓ４８，Ｓ５０）と、歯牙の特徴を含む三次元データおよびニューラルネットワーク１１４２を含む推定モデル１１４に基づき、当該歯牙の種類を識別するステップ（Ｓ５２）と、識別するステップによる識別結果を出力するステップ（Ｓ５４）とを実行させ、推定モデル１１４は、三次元データに関連付けられた歯牙の種類に対応する歯牙情報
と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習される。 The identification program 120 is based on a step (S48, S50) in which three-dimensional data including teeth are input to the arithmetic unit 130, and an estimation model 114 including three-dimensional data including tooth characteristics and a neural network 1142. The step of identifying the tooth type (S52) and the step of outputting the identification result by the identification step (S54) are executed, and the estimation model 114 has tooth information corresponding to the tooth type associated with the three-dimensional data. And, it is learned based on the identification result of the type of the tooth using the three-dimensional data.

これにより、ユーザ１は、歯牙を含む三次元データを、ニューラルネットワーク１１４２を含む推定モデル１１４（学習済モデル１１４ａ）に入力することで、当該歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。 As a result, the user 1 can identify the type of the tooth by inputting the three-dimensional data including the tooth into the estimation model 114 (trained model 114a) including the neural network 1142, and thus the user himself / herself. Rather than relying on knowledge to identify the type of tooth, it is possible to identify the type of tooth more accurately.

［変形例］
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。 [Modification example]
The present invention is not limited to the above examples, and various modifications and applications are possible. Hereinafter, modifications applicable to the present invention will be described.

（サービス提供処理時学習処理）
本実施の形態に係る識別装置１００は、図１３に示すように、サービス提供処理において学習処理を実行するものではないが、図１４に示すように、変形例に係る識別装置１００ａは、サービス提供処理において学習処理を実行するものであってもよい。図１４は、変形例に係る識別装置１００ａが実行するサービス提供処理の一例を説明するためのフローチャートである。なお、図１４に示すＳ４２〜Ｓ５４の処理は、図１３に示すＳ４２〜Ｓ５４の処理と同じであるため、図１４においては、Ｓ５６以降の処理についてのみ説明する。 (Learning process at the time of service provision process)
As shown in FIG. 13, the identification device 100 according to the present embodiment does not execute the learning process in the service provision process, but as shown in FIG. 14, the identification device 100a according to the modified example provides the service. The learning process may be executed in the process. FIG. 14 is a flowchart for explaining an example of the service providing process executed by the identification device 100a according to the modified example. Since the processes of S42 to S54 shown in FIG. 14 are the same as the processes of S42 to S54 shown in FIG. 13, only the processes after S56 will be described in FIG.

図１４に示すように、識別装置１００ａは、Ｓ４２〜Ｓ５４の処理によって識別結果を出力した後、サービス提供時学習処理を実行する。具体的には、識別装置１００ａは、Ｓ５４の後、誤り訂正のための正解データが入力されたか否かを判定する（Ｓ５６）。たとえば、識別装置１００ａは、Ｓ５４において出力された識別結果である歯牙の種類が、実際にスキャン対象であった歯牙の種類と異なる場合において、実際にスキャン対象であった歯牙の種類をユーザ１が入力することで誤りを訂正したか否かを判定する。 As shown in FIG. 14, the identification device 100a executes the service provision time learning process after outputting the identification result by the processes of S42 to S54. Specifically, the identification device 100a determines whether or not correct answer data for error correction has been input after S54 (S56). For example, in the identification device 100a, when the type of tooth that is the identification result output in S54 is different from the type of tooth that was actually scanned, the user 1 selects the type of tooth that was actually scanned. It is determined whether or not the error has been corrected by inputting.

識別装置１００ａは、誤り訂正のための正解データが入力されなかった場合（Ｓ５６でＮＯ）、本処理を終了する。一方、識別装置１００ａは、誤り訂正のための正解データが入力された場合（Ｓ５６でＹＥＳ）、識別結果と正解データとに基づき報酬を付与する（Ｓ５８）。 When the correct answer data for error correction is not input (NO in S56), the identification device 100a ends this process. On the other hand, when the correct answer data for error correction is input (YES in S56), the identification device 100a gives a reward based on the identification result and the correct answer data (S58).

たとえば、識別結果と正解データとの解離度が小さければ小さいほど、付与する報酬として値の小さいマイナスポイントを与え、両者の解離度が大きければ大きいほど、付与する報酬として値の大きいマイナスポイントを与えればよい。具体的には、識別装置１００ａは、識別結果として出力した歯牙と、正解データとして入力された歯牙とが隣接していれば、値の小さいマイナスポイントを与え、両者が離れていれば、値の大きいマイナスポイントを与える。このように、識別装置１００ａは、識別結果と正解データとの解離度に応じて異なる値の報酬を付与する。なお、報酬はマイナスポイントに限らず、プラスポイントであってもよい。 For example, the smaller the degree of dissociation between the identification result and the correct answer data, the smaller the negative point given as the reward, and the larger the degree of dissociation between the two, the larger the negative point given as the reward. Just do it. Specifically, the identification device 100a gives a small minus point if the tooth output as the identification result and the tooth input as the correct answer data are adjacent to each other, and if they are separated from each other, the value is calculated. Give a big negative point. In this way, the identification device 100a gives a reward of a different value depending on the degree of dissociation between the identification result and the correct answer data. The reward is not limited to minus points, but may be plus points.

識別装置１００ａは、付与した報酬に基づき、学習済モデル１１４ａのパラメータ１１４４を更新する（Ｓ６０）。たとえば、識別装置１００ａは、報酬として付与したマイナスポイントが０に近づくように学習済モデル１１４ａのパラメータ１１４４を更新する。その後、識別装置１００ａは、本処理を終了する。 The identification device 100a updates the parameter 1144 of the trained model 114a based on the given reward (S60). For example, the identification device 100a updates the parameter 1144 of the trained model 114a so that the negative points given as rewards approach 0. After that, the identification device 100a ends this process.

このように、変形例に係る識別装置１００ａは、サービス提供処理においても学習処理を実行するため、ユーザ１が使用すればするほど識別処理の精度が向上し、より精度良く歯牙の種類を識別することができる。 As described above, since the identification device 100a according to the modified example also executes the learning process in the service providing process, the accuracy of the identification process is improved as the user 1 uses it, and the tooth type is identified more accurately. be able to.

（カテゴリごとの学習済モデルの生成）
本実施の形態に係る識別装置１００は、図１０に示すように、カテゴリごとに分類された複数の学習用データセット１１６ａ〜１１６ｏが含まれる学習用データセット群を用いて推定モデル１１４を学習させることで、１つの学習済モデル１１４ａを生成するものであったが、図１５に示すように、変形例に係る識別装置１００ｂは、カテゴリごとに分類された複数の学習用データセットのそれぞれをカテゴリごとに用いて推定モデル１１４を学習させることで、カテゴリごとの学習済モデルを生成してもよい。図１５は、変形例に係る学習用データセットに基づく学習済モデルの生成を説明するための模式図である。 (Generation of trained model for each category)
As shown in FIG. 10, the identification device 100 according to the present embodiment trains the estimation model 114 using a learning data set group including a plurality of learning data sets 116a to 116o classified by category. As a result, one trained model 114a was generated, but as shown in FIG. 15, the identification device 100b according to the modified example categorizes each of the plurality of training data sets classified by category. A trained model for each category may be generated by training the estimation model 114 for each category. FIG. 15 is a schematic diagram for explaining the generation of a trained model based on the learning data set according to the modified example.

図１５に示すように、学習用データセット１１６は、当該学習用データセット１１６を生成する際にスキャン対象となった対象者２のプロファイルに基づきカテゴリごとに分類されて保持される。たとえば、年齢（未成年者，現役世代，高齢者）、および性別（男性，女性）に基づき、６個のカテゴリに対して、学習用データセットが割り当てられる。 As shown in FIG. 15, the learning data set 116 is classified and held for each category based on the profile of the subject 2 who was the scan target when the learning data set 116 was generated. For example, learning datasets are assigned to six categories based on age (minors, working generation, elderly) and gender (male, female).

識別装置１００ｂは、カテゴリごとに分類された複数の学習用データセット１１６ｐ〜１１６ｕのそれぞれをカテゴリごとに用いて推定モデル１１４を学習させることで、カテゴリごとの学習済モデル１１４ｐ〜１１４ｕを生成する。 The identification device 100b generates the trained models 114p to 114u for each category by training the estimation model 114 using each of the plurality of training data sets 116p to 116u classified for each category.

このように、変形例に係る識別装置１００ｂは、カテゴリごとに分類された複数の学習済モデル１１４ｐ〜１１４ｕを生成することができるため、対象者２のプロファイルに応じたより詳細な分析によって、より精度良く歯牙の種類を識別することができる。 As described above, since the identification device 100b according to the modified example can generate a plurality of trained models 114p to 114u classified by category, more accurate analysis can be performed by more detailed analysis according to the profile of the subject 2. It is possible to identify the type of tooth well.

なお、図１５に示す学習済モデル１１４ｐ〜１１４ｕの生成は、サーバ装置５００が保持する学習済モデル５１４ａの生成についても適用可能である。たとえば、図１５に示す学習用データセット１１６ｐ〜１１６ｕを、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、図１５に示す学習済モデル１１４ｐ〜１１４ｕを、サーバ装置５００が保持する学習済モデル５１４ａに適用してもよい。 The generation of the trained models 114p to 114u shown in FIG. 15 can also be applied to the generation of the trained models 514a held by the server device 500. For example, the learning data sets 116p to 116u shown in FIG. 15 may be applied to the learning data set 516 held by the server device 500, or the trained models 114p to 114u shown in FIG. 15 may be applied by the server device 500. It may be applied to the trained model 514a to be retained.

（カテゴリごとの学習済モデルを用いたサービス提供処理）
図１６を参照しながら、カテゴリごとの学習済モデル１１４ｐ〜１１４ｕを用いて識別装置１００が実行するサービス提供処理について説明する。図１６は、変形例に係る識別装置１００ｂが実行するサービス提供処理の一例を説明するためのフローチャートである。図１６に示す各ステップは、識別装置１００ｂの演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。 (Service provision processing using a trained model for each category)
With reference to FIG. 16, the service providing process executed by the identification device 100 using the trained models 114p to 114u for each category will be described. FIG. 16 is a flowchart for explaining an example of the service providing process executed by the identification device 100b according to the modified example. Each step shown in FIG. 16 is realized by the arithmetic unit 130 of the identification device 100b executing the OS 127 and the identification program 120.

図１６に示すように、識別装置１００ｂは、サービス提供処理の開始条件が成立したか否かを判定する（Ｓ１４２）。開始条件は、図１３で示した開始条件と同じであるため、その説明を省略する。 As shown in FIG. 16, the identification device 100b determines whether or not the start condition of the service provision process is satisfied (S142). Since the start condition is the same as the start condition shown in FIG. 13, the description thereof will be omitted.

識別装置１００ｂは、開始条件が成立していない場合（Ｓ１４２でＮＯ）、本処理を終了する。一方、識別装置１００ｂは、開始条件が成立した場合（Ｓ１４２でＹＥＳ）、三次元データを取得したか否かを判定する（Ｓ１４４）。たとえば、識別装置１００ｂは、識別処理を実行するのに十分な量の三次元データを取得したか否かを判定する。識別装置１００ｂは、十分な量の三次元データを取得していない場合（Ｓ１４４でＮＯ）、Ｓ１４４の処理を繰り返す。 When the start condition is not satisfied (NO in S142), the identification device 100b ends this process. On the other hand, when the start condition is satisfied (YES in S142), the identification device 100b determines whether or not the three-dimensional data has been acquired (S144). For example, the identification device 100b determines whether or not a sufficient amount of three-dimensional data has been acquired to execute the identification process. When the identification device 100b has not acquired a sufficient amount of three-dimensional data (NO in S144), the identification device 100b repeats the process of S144.

一方、識別装置１００ｂは、十分な量の三次元データを取得した場合（Ｓ１４４でＹＥＳ）、ユーザ１によって入力された対象者２のプロファイルデータを取得する（Ｓ１４６）。その後、識別装置１００ｂは、図１５に示す学習済モデル群の中からプロファイルデータに対応する学習済モデルを選択する（Ｓ１４８）。たとえば、対象者２が高齢者の女
性であれば、識別装置１００ｂは、学習済モデル１１４ｕを選択する。 On the other hand, when the identification device 100b acquires a sufficient amount of three-dimensional data (YES in S144), the identification device 100b acquires the profile data of the target person 2 input by the user 1 (S146). After that, the identification device 100b selects a trained model corresponding to the profile data from the trained model group shown in FIG. 15 (S148). For example, if the subject 2 is an elderly woman, the identification device 100b selects the trained model 114u.

その後、識別装置１００ｂは、三次元データ（位置情報）を学習済モデルに入力する（Ｓ１５０）。識別装置１００ｂは、三次元データに対応する歯牙の特徴に基づき、学習済モデルを用いて当該歯牙の種類を識別する識別処理を実行する（Ｓ１５２）。 After that, the identification device 100b inputs the three-dimensional data (position information) into the trained model (S150). The identification device 100b executes an identification process for identifying the type of the tooth using the trained model based on the characteristics of the tooth corresponding to the three-dimensional data (S152).

その後、識別装置１００ｂは、識別処理によって得られた識別結果を、ディスプレイ３００、スピーカ４００、およびサーバ装置５００などに出力し（Ｓ１５４）、本処理を終了する。 After that, the identification device 100b outputs the identification result obtained by the identification process to the display 300, the speaker 400, the server device 500, and the like (S154), and ends this process.

このように、変形例に係る識別装置１００ｂは、対象者２のプロファイルに最も適した学習済モデルを用いて識別処理を実行することができるため、対象者２のプロファイルに応じたより詳細な分析によって、より精度良く歯牙の種類を識別することができる。 As described above, since the identification device 100b according to the modified example can execute the identification process using the trained model most suitable for the profile of the subject 2, a more detailed analysis according to the profile of the subject 2 is performed. , It is possible to identify the type of tooth more accurately.

（プロファイルの出力）
本実施の形態に係る識別装置１００は、識別処理によって、歯牙の種類を識別するものであった。しかし、図１０および図１５に示すように、対象者２のプロファイルを考慮した学習用データセットに基づき学習済モデルが生成されることに鑑みると、識別処理において三次元データが学習済モデルに入力されることで、当該三次元データに対応する歯牙の特徴に基づき、当該歯牙の所有者のプロファイルが識別結果として出力されてもよい。このようにすれば、災害や事件などで発見された身元不明の対象者２について、歯牙を含む三次元データからプロファイルを特定することができる。 (Profile output)
The identification device 100 according to the present embodiment identifies the type of tooth by an identification process. However, as shown in FIGS. 10 and 15, in view of the fact that the trained model is generated based on the learning data set considering the profile of the subject 2, the three-dimensional data is input to the trained model in the identification process. By doing so, the profile of the owner of the tooth may be output as the identification result based on the characteristics of the tooth corresponding to the three-dimensional data. In this way, the profile of the unidentified subject 2 found in a disaster or incident can be specified from the three-dimensional data including the teeth.

（学習処理）
本実施の形態に係る識別装置１００は、学習処理によって推定モデル１１４のパラメータ１１４４を更新するものであったが、パラメータ１１４４を更新するものに限らず、学習処理によってニューラルネットワーク１１４２が更新される（たとえば、ニューラルネットワーク１１４２のアルゴリズムが更新される）ものであってもよい。また、本実施の形態に係るサーバ装置５００は、学習処理によって推定モデル５１４のパラメータを更新するものであったが、パラメータを更新するものに限らず、学習処理によってニューラルネットワークが更新される（たとえば、ニューラルネットワークのアルゴリズムが更新される）ものであってもよい。 (Learning process)
The identification device 100 according to the present embodiment updates the parameter 1144 of the estimation model 114 by the learning process, but is not limited to the one that updates the parameter 1144, and the neural network 1142 is updated by the learning process ( For example, the algorithm of the neural network 1142 may be updated). Further, the server device 500 according to the present embodiment updates the parameters of the estimation model 514 by the learning process, but is not limited to the one that updates the parameters, and the neural network is updated by the learning process (for example). , The neural network algorithm is updated).

（法線および／または色情報を用いた識別）
図１７は、変形例に係る学習用データセットの一例を説明するための模式図である。変形例に係る識別装置１００ｃは、三次元スキャナ２００によって取得された三次元データに含まれる位置情報に加えて、歯牙の実際の色情報を推定モデル１１４に入力することで、推定モデル１１４を学習してもよい。 (Identification using normals and / or color information)
FIG. 17 is a schematic diagram for explaining an example of a learning data set according to a modified example. The identification device 100c according to the modified example learns the estimation model 114 by inputting the actual color information of the teeth into the estimation model 114 in addition to the position information included in the three-dimensional data acquired by the three-dimensional scanner 200. You may.

たとえば、図９を用いて説明したように、学習用データセットには、推定モデル１１４に対する入力データである位置情報と、正解データである歯牙の種類に対応付けられた色分け後の色情報とが含まれているが、これに加えて、図１７に示すように、色分け前の歯牙の色情報が含まれてもよい。そして、学習処理においては、推定モデル１１４に対して位置情報に加えて色分け前の歯牙の色情報が入力されることで、歯牙の実際の色情報も考慮して、学習済モデル１１４ａが生成されてもよい。 For example, as described with reference to FIG. 9, in the training data set, the position information which is the input data for the estimation model 114 and the color information after color coding associated with the tooth type which is the correct answer data are included. Although it is included, in addition to this, as shown in FIG. 17, color information of the tooth before color coding may be included. Then, in the learning process, by inputting the color information of the tooth before color coding in addition to the position information to the estimation model 114, the trained model 114a is generated in consideration of the actual color information of the tooth. You may.

さらに、学習用データセットには、推定モデル１１４に対する入力データである位置情報と、正解データである歯牙の種類に対応付けられた色分け後の色情報とに加えて、図１７に示すように、位置情報に基づき算出可能な法線情報が含まれてもよい。そして、学習処理においては、推定モデル１１４に対して位置情報に加えて法線情報が入力されること
で、法線情報も考慮して、学習済モデル１１４ａが生成されてもよい。 Further, in the training data set, in addition to the position information which is the input data for the estimation model 114 and the color information after color coding associated with the tooth type which is the correct answer data, as shown in FIG. Normal information that can be calculated based on the position information may be included. Then, in the learning process, the learned model 114a may be generated in consideration of the normal information by inputting the normal information in addition to the position information to the estimation model 114.

法線情報は、たとえば、以下のようにして算出することができる。たとえば、歯牙を構成する複数の点のうち、一の点に注目し、その注目点の近傍の所定範囲内に属する複数の点に基づいて、注目点の法線を生成する。具体的には、注目点の法線は、注目点の近傍の所定範囲内に属する複数の点に対し、主成分分析を用いて生成することができる。主成分分析は、一般的に、分散共分散行列を計算することで実施することができる。この分散共分散行列の計算において固有ベクトルを計算し、主成分方向を注目点の法線として生成すればよい。なお、点群におけるある点に対する法線の生成方法は公知であるため、一般的に知られているその他の技術を用いてもよい。 The normal information can be calculated, for example, as follows. For example, one of the plurality of points constituting the tooth is focused on, and the normal of the point of interest is generated based on the plurality of points belonging to a predetermined range in the vicinity of the point of interest. Specifically, the normal of the point of interest can be generated by using principal component analysis for a plurality of points belonging to a predetermined range in the vicinity of the point of interest. Principal component analysis can generally be performed by calculating the variance-covariance matrix. In the calculation of this variance-covariance matrix, the eigenvector may be calculated and the principal component direction may be generated as the normal of the point of interest. Since the method of generating a normal for a certain point in the point cloud is known, other generally known techniques may be used.

このように、学習用データセットに法線情報を加えることで、歯牙を構成する複数の点のそれぞれにおいて、各点が構成する歯牙のどちら側が表面なのかについても識別装置が学習することができる。また、注目点の近傍の所定範囲内に属する少数の点群のみに基づいて窪みなどの形状の特徴を識別装置が学習することができる。 In this way, by adding the normal information to the learning data set, the identification device can learn which side of the tooth formed by each point is the surface at each of the plurality of points constituting the tooth. .. In addition, the identification device can learn the characteristics of the shape such as a depression based on only a small number of point clouds belonging to a predetermined range in the vicinity of the point of interest.

なお、学習用データセットには、色分け前の歯牙の色情報と法線情報との両方が含まれてもよいし、一方のみが含まれてもよい。 The learning data set may include both the color information and the normal information of the teeth before color coding, or may include only one of them.

次に、色分け前の歯牙の色情報および法線情報を含む学習用データセットに基づき学習された学習済モデルを用いて識別処理を実行するサービス提供処理について、図１８を参照しながら説明する。図１８は、変形例に係る識別装置１００ｃが実行するサービス提供処理の一例を説明するためのフローチャートである。 Next, a service providing process for executing the identification process using the learned model learned based on the learning data set including the color information and the normal information of the teeth before color coding will be described with reference to FIG. FIG. 18 is a flowchart for explaining an example of the service providing process executed by the identification device 100c according to the modified example.

図１８に示すように、変形例に係る識別装置１００ｃは、図１３に示した識別装置１００が実行するサービス提供処理と異なり、Ｓ２４５の処理を追加で実行する。すなわち、識別装置１００ｃは、三次元データが入力された後（Ｓ４４でＹＥＳ）、入力された三次元データに含まれる位置情報に基づき、歯牙を構成する複数の点における法線を生成する（Ｓ２４５）。なお、入力された三次元データには、位置情報に加えて色分け前の歯牙の色情報が含まれている。 As shown in FIG. 18, the identification device 100c according to the modified example additionally executes the process of S245, unlike the service providing process executed by the identification device 100 shown in FIG. That is, after the three-dimensional data is input (YES in S44), the identification device 100c generates normals at a plurality of points constituting the tooth based on the position information included in the input three-dimensional data (S245). ). The input three-dimensional data includes the color information of the teeth before color coding in addition to the position information.

その後、識別装置１００ｃは、プロファイルデータが入力されていないと判定した場合（Ｓ４６でＮＯ）、三次元データ（位置情報，色情報）に加えて法線情報を学習済モデル１１４ａに入力する（Ｓ２４８）。一方、識別装置１００ｃは、プロファイルデータが入力されたと判定した場合（Ｓ４６でＹＥＳ）、三次元データ（位置情報，色情報）およびプロファイルデータに加えて法線情報を学習済モデル１１４ａに入力する（Ｓ２５０）。そして、Ｓ２４８およびＳ２５０の後、識別装置１００ｃは、学習済モデルを用いて歯牙の種類を識別する識別処理を実行する（Ｓ５２）。 After that, when the identification device 100c determines that the profile data has not been input (NO in S46), the identification device 100c inputs the normal information in addition to the three-dimensional data (position information, color information) to the trained model 114a (S248). ). On the other hand, when the identification device 100c determines that the profile data has been input (YES in S46), the identification device 100c inputs the normal information in addition to the three-dimensional data (position information, color information) and the profile data to the trained model 114a (YES in S46). S250). Then, after S248 and S250, the identification device 100c executes an identification process for identifying the tooth type using the trained model (S52).

このように、変形例に係る識別装置１００ｃは、色分け前の歯牙の色情報、および三次元データに対応する歯牙を構成する複数の点のそれぞれについて生成された法線にさらに基づき、歯牙の種類を識別してもよい。なお、識別装置１００ｃには、色分け前の歯牙の色情報が入力される一方で、法線情報が入力されない場合であってもよい。あるいは、識別装置１００ｃには、法線情報が入力される一方で、色分け前の歯牙の色情報が入力されない場合であってもよい。 As described above, the identification device 100c according to the modified example is based on the color information of the tooth before color coding and the normals generated for each of the plurality of points constituting the tooth corresponding to the three-dimensional data, and the type of tooth. May be identified. It should be noted that the identification device 100c may be in the case where the color information of the teeth before color coding is input, but the normal information is not input. Alternatively, there may be a case where the normal information is input to the identification device 100c, but the color information of the teeth before color coding is not input.

このように、識別装置１００ｃは、色分け前の歯牙の色情報、および／または複数の点のそれぞれについて生成された法線に基づき歯牙の種類を識別することができるため、より精度良く歯牙の種類を識別することができる。 In this way, the identification device 100c can identify the tooth type based on the color information of the tooth before color coding and / or the normal generated for each of the plurality of points, so that the tooth type can be more accurately identified. Can be identified.

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。 It should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present invention is shown by the scope of claims rather than the above description, and it is intended to include all modifications within the meaning and scope equivalent to the scope of claims. In addition, the configuration exemplified in this embodiment and the configuration exemplified in the modified example can be appropriately combined.

１ ユーザ、２ 対象者、５ ネットワーク、１０ スキャナシステム、１００，１００ａ，１００ｂ 識別装置、１０２ スキャナインターフェース、１０３，５０３ ディスプレイインターフェース、１０４ スピーカインターフェース、１０５，５０５ 周辺機器インターフェース、１０６，５０６ ネットワークコントローラ、１０７，５０７ メディア読取装置、１０８ ＰＣディスプレイ、１０９，５０９ メモリ、１１０，５１０ ストレージ、１１２，５１２ スキャン情報、１１４，５１４ 推定モデル、１１４ａ，５１４ａ 学習済モデル、１１６，５１６ 学習用データセット、１１８，５１８ 色分類データ、１１９，５１９ プロファイルデータ、１２０ 識別用プログラム、１２１，５２１ 学習用プログラム、１２２，５２２ 三次元データ、１２４，５２４ 識別結果、１２７，５２７ ＯＳ、１３０，５３０ 演算装置、２００ 三次元スキャナ、３００，３５０ ディスプレイ、４００ スピーカ、５００ サーバ装置、５５０ リムーバブルディスク、６０１，６５１ キーボード、６０２，６５２ マウス、１１０２ 入力部、１１０３ 出力部、１１１９ プロファイル取得部、１１３０ 識別部、１１４２
ニューラルネットワーク、１１４４ パラメータ。 1 user, 2 target person, 5 network, 10 scanner system, 100, 100a, 100b identification device, 102 scanner interface, 103,503 display interface, 104 speaker interface, 105,505 peripheral device interface, 106,506 network controller, 107 , 507 media reader, 108 PC display, 109,509 memory, 110,510 storage, 112,512 scan information, 114,514 estimation model, 114a, 514a trained model, 116,516 training data set, 118,518 Color classification data, 119,519 profile data, 120 identification program, 121,521 learning program, 122,522 three-dimensional data, 124,524 identification result, 127,527 OS, 130,530 arithmetic unit, 200 three-dimensional scanner , 300,350 Display, 400 Speaker, 500 Server Device, 550 Removable Disk, 601,651 Keyboard, 602,652 Mouse, 1102 Input Unit, 1103 Output Unit, 1119 Profile Acquisition Unit, 1130 Identification Unit, 1142
Neural network, 1144 parameters.

Claims (17)

歯牙の種類を識別する識別装置であって、
歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力される入力部と、
歯牙を有する者に関する属性情報を含む属性データを取得する取得部と、
前記入力部から入力された三次元データおよび前記取得部によって取得された前記属性データと、当該三次元データおよび当該属性データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、当該歯牙の種類を識別する識別部と、
前記識別部による識別結果を出力する出力部とを備える、識別装置。 An identification device that identifies the type of tooth
An input unit for inputting three-dimensional data including three-dimensional position information at each of a plurality of points constituting the tooth, and an input unit.
An acquisition unit that acquires attribute data including attribute information about a person who has teeth,
Based on the three-dimensional data input from the input unit, the attribute data acquired by the acquisition unit, and an estimation model including a neural network for estimating the tooth type based on the three-dimensional data and the attribute data. , An identification unit that identifies the type of tooth,
An identification device including an output unit that outputs an identification result by the identification unit. 前記入力部には、隣接する複数の歯牙のそれぞれを構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力され、
前記識別部は、前記入力部から入力された三次元データと前記推定モデルとに基づき、前記複数の歯牙のそれぞれの種類を識別する、請求項１に記載の識別装置。 Three-dimensional data including three-dimensional position information at each of the plurality of points constituting each of the plurality of adjacent teeth is input to the input unit.
The identification device according to claim 1, wherein the identification unit identifies each type of the plurality of teeth based on the three-dimensional data input from the input unit and the estimation model. 前記推定モデルは、歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習されたものである、請求項１または請求項２に記載の識別装置。 The estimation model includes tooth information corresponding to the tooth type associated with the three-dimensional data including three-dimensional position information at each of a plurality of points constituting the tooth, and the tooth type using the three-dimensional data. The identification device according to claim 1 or 2, which is learned based on the identification result of the above. 前記位置情報は、予め定められた位置を基準とした絶対位置の座標を含む、請求項１〜請求項３のいずれか１項に記載の識別装置。 The identification device according to any one of claims 1 to 3, wherein the position information includes coordinates of an absolute position with reference to a predetermined position. 前記識別部は、前記入力部から入力された三次元データに対応する歯牙を構成する複数の点のそれぞれについて生成された法線にさらに基づき、歯牙の種類を識別する、請求項１〜請求項４のいずれか１項に記載の識別装置。 Claims 1 to claim that the identification unit further identifies the type of tooth based on the normal generated for each of the plurality of points constituting the tooth corresponding to the three-dimensional data input from the input unit. The identification device according to any one of 4. 前記入力部に入力された三次元データに対応する歯牙が上顎の切歯である場合、当該三次元データは、上唇側の部位、口蓋側の部位、および切縁側の部位を構成する複数の点のそれぞれにおける三次元の位置情報を少なくとも含み、
前記入力部に入力された三次元データに対応する歯牙が上顎の犬歯および臼歯である場合、当該三次元データは、頬側の部位、口蓋側の部位、および咬合する部位を構成する複数の点のそれぞれにおける三次元の位置情報を少なくとも含み、
前記入力部に入力された三次元データに対応する歯牙が下顎の切歯である場合、当該三次元データは、下唇側の部位、舌側の部位、および切縁側の部位を構成する複数の点のそれぞれにおける三次元の位置情報を少なくとも含み、
前記入力部に入力された三次元データに対応する歯牙が下顎の犬歯および臼歯である場合、当該三次元データは、頬側の部位、舌側の部位、および咬合する部位を構成する複数の点のそれぞれにおける三次元の位置情報を少なくとも含む、請求項１〜請求項５のいずれか１項に記載の識別装置。 When the tooth corresponding to the three-dimensional data input to the input unit is the maxillary incisor, the three-dimensional data includes a plurality of points constituting the upper lip side part, the palatal side part, and the incisal side part. Contains at least three-dimensional position information in each of
When the teeth corresponding to the three-dimensional data input to the input unit are the canines and molars of the upper jaw, the three-dimensional data includes a plurality of points constituting the buccal part, the palatal side part, and the occlusal part. Contains at least three-dimensional position information in each of
When the tooth corresponding to the three-dimensional data input to the input unit is the incisor of the mandible, the three-dimensional data constitutes a plurality of parts on the lower lip side, a part on the lingual side, and a part on the incisal side. Contains at least three-dimensional position information at each point
When the teeth corresponding to the three-dimensional data input to the input unit are the dog teeth and molars of the lower jaw, the three-dimensional data includes a plurality of points constituting the buccal part, the lingual part, and the occlusal part. The identification device according to any one of claims 1 to 5, which includes at least three-dimensional position information in each of the above. 前記出力部は、前記識別部による識別結果を表示部に出力し、
前記表示部は、前記識別部による識別結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか１つを表示する、請求項１〜請求項６のいずれか１項に記載の識別装置。 The output unit outputs the identification result by the identification unit to the display unit.
The identification according to any one of claims 1 to 6, wherein the display unit displays at least one of an image, a character, a number, an icon, and a symbol corresponding to the identification result by the identification unit. apparatus. 前記出力部は、前記識別部による識別結果を音声出力部に出力し、
前記音声出力部は、前記識別部による識別結果に対応する音声を出力する、請求項１〜請求項７のいずれか１項に記載の識別装置。 The output unit outputs the identification result by the identification unit to the audio output unit.
The identification device according to any one of claims 1 to 7, wherein the voice output unit outputs voice corresponding to the identification result by the identification unit. 前記出力部は、前記識別部による識別結果をサーバ装置に出力し、
前記サーバ装置は、前記識別部による識別結果を蓄積して記憶する、請求項１〜請求項８のいずれか１項に記載の識別装置。 The output unit outputs the identification result by the identification unit to the server device, and outputs the identification result to the server device.
The identification device according to any one of claims 1 to 8, wherein the server device accumulates and stores the identification result by the identification unit. 前記推定モデルは、前記ニューラルネットワークによって用いられるパラメータとして、重み付け係数および判定値の少なくともいずれか１つを含み、
前記推定モデルは、前記歯牙情報と歯牙の種類の識別結果とに基づき前記パラメータが更新されることで学習される、請求項３に記載の識別装置。 The estimation model includes at least one of a weighting coefficient and a determination value as parameters used by the neural network.
The identification device according to claim 3, wherein the estimation model is learned by updating the parameters based on the tooth information and the identification result of the tooth type. 前記歯牙情報は、前記三次元データに対応する歯牙の種類に対応付けられた文字、数字、および記号のうちの少なくともいずれか１つの情報を含む、請求項３または請求項１０に記載の識別装置。 The identification device according to claim 3 or 10, wherein the tooth information includes at least one of characters, numbers, and symbols associated with a tooth type corresponding to the three-dimensional data. .. 前記歯牙情報は、前記三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに関連付けられる、請求項３、請求項１０、および請求項１１のいずれか１項に記載の識別装置。 The invention according to any one of claims 3, 10, and 11, wherein the tooth information is associated with the three-dimensional data so as to be able to specify a range of each of the plurality of teeth corresponding to the three-dimensional data. Identification device. 前記歯牙情報は、前記三次元データに対応する歯牙を構成する複数の点のそれぞれに関連付けられる、請求項３、請求項１０、請求項１１、および請求項１２のいずれか１項に記載の識別装置。 The identification according to any one of claims 3, 10, 11, and 12, wherein the tooth information is associated with each of a plurality of points constituting the tooth corresponding to the three-dimensional data. apparatus. 前記属性情報は、歯牙を有する者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つの情報を含む、請求項１〜請求項１３のいずれか１項に記載の識別装置。 The attribute information according to any one of claims 1 to 13, which includes information on at least one of age, gender, race, height, weight, and place of residence of a person having teeth. Identification device. 歯牙の種類を識別する歯牙種類識別システムであって、
三次元カメラを用いて歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得する三次元スキャナと、
前記三次元スキャナによって取得された三次元データに基づき、当該歯牙の種類を識別する識別装置とを備え、
前記識別装置は、
前記三次元スキャナによって取得された三次元データが入力される入力部と、
歯牙を有する者に関する属性情報を含む属性データを取得する取得部と、
前記入力部から入力された三次元データおよび前記取得部によって取得された前記属性データと、当該三次元データおよび当該属性データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、当該歯牙の種類を識別する識別部と、
前記識別部による識別結果を出力する出力部とを含む、歯牙種類識別システム。 It is a tooth type identification system that identifies the type of tooth.
A 3D scanner that acquires 3D data including 3D position information at each of a plurality of points that make up a tooth using a 3D camera.
It is equipped with an identification device that identifies the type of tooth based on the three-dimensional data acquired by the three-dimensional scanner.
The identification device is
An input unit into which the 3D data acquired by the 3D scanner is input, and
An acquisition unit that acquires attribute data including attribute information about a person who has teeth,
Based on the three-dimensional data input from the input unit, the attribute data acquired by the acquisition unit, and an estimation model including a neural network for estimating the tooth type based on the three-dimensional data and the attribute data. , An identification unit that identifies the type of tooth,
A tooth type identification system including an output unit that outputs an identification result by the identification unit. コンピュータによる歯牙の種類を識別する識別方法であって、
歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、
歯牙を有する者に関する属性情報を含む属性データを取得するステップと、
前記入力されるステップによって入力された三次元データおよび前記取得するステップによって取得された前記属性データと、当該三次元データおよび当該属性データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、当該歯牙の種類を識別するステップと、
前記識別するステップによる識別結果を出力するステップとを含む、識別方法。 A computer-based identification method for identifying tooth types
A step in which 3D data including 3D position information at each of a plurality of points constituting the tooth is input, and
Steps to get attribute data including attribute information about people with teeth,
An estimation model including three-dimensional data input by the input step, the attribute data acquired by the acquisition step, and a neural network for estimating the tooth type based on the three-dimensional data and the attribute data. Based on the steps to identify the type of tooth,
An identification method including a step of outputting an identification result by the identification step. 歯牙の種類を識別する識別用プログラムであって、
前記識別用プログラムは、コンピュータに、
歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、
歯牙を有する者に関する属性情報を含む属性データを取得するステップと、
前記入力されるステップによって入力された三次元データおよび前記取得するステップによって取得された前記属性データと、当該三次元データおよび当該属性データに基づき歯牙の種類を推定するためのニューラルネットワークを含む推定モデルとに基づき、当該歯牙の種類を識別するステップと、
前記識別するステップによる識別結果を出力するステップとを実行させる、識別用プログラム。 An identification program that identifies the type of tooth
The identification program is applied to the computer.
A step in which 3D data including 3D position information at each of a plurality of points constituting the tooth is input, and
Steps to get attribute data including attribute information about people with teeth,
An estimation model including three-dimensional data input by the input step, the attribute data acquired by the acquisition step, and a neural network for estimating the tooth type based on the three-dimensional data and the attribute data. Based on the steps to identify the type of tooth,
An identification program that executes a step of outputting an identification result by the identification step.
JP2019190003A 2018-12-17 2019-10-17 Identification device, tooth type identification system, identification method, and identification program Active JP6900445B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019190003A JP6900445B2 (en) 2018-12-17 2019-10-17 Identification device, tooth type identification system, identification method, and identification program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018235628A JP6650996B1 (en) 2018-12-17 2018-12-17 Identification apparatus, scanner system, identification method, and identification program
JP2019190003A JP6900445B2 (en) 2018-12-17 2019-10-17 Identification device, tooth type identification system, identification method, and identification program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018235628A Division JP6650996B1 (en) 2018-12-17 2018-12-17 Identification apparatus, scanner system, identification method, and identification program

Publications (2)

Publication Number Publication Date
JP2020096799A JP2020096799A (en) 2020-06-25
JP6900445B2 true JP6900445B2 (en) 2021-07-07

Family

ID=71106264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019190003A Active JP6900445B2 (en) 2018-12-17 2019-10-17 Identification device, tooth type identification system, identification method, and identification program

Country Status (1)

Country Link
JP (1) JP6900445B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102469875B1 (en) * 2022-04-26 2022-11-23 (주)스마투스코리아 Method and terminal device for managing teeth using oral image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3269325A4 (en) * 2015-03-09 2018-06-06 Fujitsu Limited Crown information acquisition program, information processing device, and crown information acquisition method
US10032271B2 (en) * 2015-12-10 2018-07-24 3M Innovative Properties Company Method for automatic tooth type recognition from 3D scans
JP6658308B2 (en) * 2016-05-30 2020-03-04 富士通株式会社 Tooth type determination program, crown position determination apparatus and method
US10049457B2 (en) * 2016-08-29 2018-08-14 CephX Technologies Ltd. Automated cephalometric analysis using machine learning
JP7097545B2 (en) * 2016-10-13 2022-07-08 メディア株式会社 Image analysis system
CN110612069A (en) * 2017-03-17 2019-12-24 特罗菲公司 Dynamic dental arch picture

Also Published As

Publication number Publication date
JP2020096799A (en) 2020-06-25

Similar Documents

Publication Publication Date Title
JP6650996B1 (en) Identification apparatus, scanner system, identification method, and identification program
US20220218449A1 (en) Dental cad automation using deep learning
US11534275B2 (en) Method for constructing a restoration
JP7220569B2 (en) Imaging support device, scanner system, and imaging support method
JP2010524529A (en) Computer-aided creation of custom tooth setup using facial analysis
JP6831433B2 (en) Identification device, tooth type identification system, identification method, and identification program
JP6831432B2 (en) Identification device, tooth type identification system, identification method, and identification program
JP7398512B2 (en) Data generation device, scanner system, data generation method, and data generation program
JP6900445B2 (en) Identification device, tooth type identification system, identification method, and identification program
JP6831431B2 (en) Identification device, tooth type identification system, identification method, and identification program
JP7030076B2 (en) Data generator, scanner system, data generation method, and data generation program
JP7227188B2 (en) Identification device, identification system, identification method, and identification program
JP2023099629A (en) Identification device, scanner system, identification method, and identification program
JP7265359B2 (en) DATA GENERATION DEVICE, SCANNER SYSTEM, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM
JP7195291B2 (en) DATA PROCESSING APPARATUS, DATA PROCESSING SYSTEM, DATA PROCESSING METHOD, AND DATA PROCESSING PROGRAM
JP7405809B2 (en) Estimation device, estimation method, and estimation program
JP7195466B2 (en) DATA GENERATION DEVICE, SCANNER SYSTEM, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM
JP7267974B2 (en) IDENTIFICATION DEVICE, SCANNER SYSTEM, IDENTIFICATION METHOD, AND IDENTIFICATION PROGRAM
JP7507135B2 (en) Estimation device, estimation method, and estimation program
CN117999615A (en) Automatic tooth management in dental restoration workflow

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210616

R150 Certificate of patent or registration of utility model

Ref document number: 6900445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150