JP7507135B2 - Estimation device, estimation method, and estimation program - Google Patents
Estimation device, estimation method, and estimation program Download PDFInfo
- Publication number
- JP7507135B2 JP7507135B2 JP2021168750A JP2021168750A JP7507135B2 JP 7507135 B2 JP7507135 B2 JP 7507135B2 JP 2021168750 A JP2021168750 A JP 2021168750A JP 2021168750 A JP2021168750 A JP 2021168750A JP 7507135 B2 JP7507135 B2 JP 7507135B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- orthodontic
- estimation
- teeth
- tooth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000037182 bone density Effects 0.000 claims description 56
- 210000001847 jaw Anatomy 0.000 claims description 35
- 238000011282 treatment Methods 0.000 claims description 33
- 210000002050 maxilla Anatomy 0.000 claims description 26
- 210000004373 mandible Anatomy 0.000 claims description 23
- 210000004513 dentition Anatomy 0.000 claims description 7
- 230000036346 tooth eruption Effects 0.000 claims description 7
- 210000000515 tooth Anatomy 0.000 description 196
- 238000010801 machine learning Methods 0.000 description 17
- 238000002591 computed tomography Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 8
- 210000004283 incisor Anatomy 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 241000282465 Canis Species 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000004357 third molar Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 229910001220 stainless steel Inorganic materials 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 229910052719 titanium Inorganic materials 0.000 description 2
- 239000010936 titanium Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 206010006514 bruxism Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000002454 frontal bone Anatomy 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000000537 nasal bone Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Description
本開示は、矯正により移動する歯牙の位置を推定する推定装置、推定方法、および推定プログラムに関する。 The present disclosure relates to an estimation device, an estimation method, and an estimation program for estimating the position of teeth that move due to orthodontic treatment.
従来、複数の歯牙のそれぞれに接する複数のブラケットをワイヤーで接続するように構成された固定式の矯正装置、または、マウスピース状のアライナーと呼ばれる矯正装置など、様々な手法の歯の矯正技術が知られている。たとえば、特許文献1は、複数の歯牙を含む歯列のデジタルモデルに基づき、矯正部材の選択および矯正部材の位置を算出する方法を開示する。
Conventionally, various orthodontic techniques are known, such as fixed orthodontic devices configured to connect multiple brackets in contact with each of multiple teeth with wires, or mouthpiece-shaped orthodontic devices called aligners. For example,
特許文献1に開示された方法を用いることにより、歯科医師は矯正装置を設計することができるが、ある程度の矯正期間が経過した後でなければ、矯正により移動した歯牙の位置を知ることができない。このため、歯科医師は、矯正期間において、定期的に歯牙の位置を確認し、その都度、矯正装置を設計し直したり、矯正装置の位置を見直したりする必要があった。このように、従来、歯科医師は、矯正期間において自身の知見に基づき手探りで矯正装置を設計する必要があるため、矯正に手間が掛かり、また、矯正精度を高めることにも限界があった。
By using the method disclosed in
本開示は、このような問題を解決するためになされたものであり、手間をかけることなく精度の良い矯正を行うことができる技術を提供することを目的とする。 This disclosure has been made to solve these problems, and aims to provide technology that allows for accurate correction without hassle.
本開示の一例に従えば、矯正により移動する歯牙の位置を推定する推定装置が提供される。推定装置は、歯列を構成する複数の歯牙の各々を構成する複数の点の三次元座標位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置が複数の歯牙の各々に接する三次元座標位置に関する矯正データとが入力される入力部と、歯牙データ、期間データ、および矯正データが入力されることによって矯正期間が経過した場合の複数の歯牙の各々を構成する複数の点の三次元座標位置を推定することが可能に機械学習された推定モデルを含む推定部とを備える。 According to an example of the present disclosure, there is provided an estimation device for estimating the positions of teeth that move due to orthodontics. The estimation device includes an input unit to which tooth data related to the three-dimensional coordinate positions of a plurality of points constituting each of a plurality of teeth constituting a dentition , period data related to an orthodontic period, and orthodontic data related to the three-dimensional coordinate positions where an orthodontic device contacts each of the plurality of teeth are input, and an estimation unit including an estimation model that has been machine-learned to be able to estimate the three-dimensional coordinate positions of the plurality of points constituting each of the plurality of teeth after the orthodontic period has passed by inputting the tooth data, period data, and orthodontic data.
本開示の一例に従えば、コンピュータによる矯正により移動する歯牙の位置を推定する推定方法が提供される。推定方法は、コンピュータが実行する処理として、歯列を構成する複数の歯牙の各々を構成する複数の点の三次元座標位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置が複数の歯牙の各々に接する三次元座標位置に関する矯正データとが入力されるステップと、歯牙データ、期間データ、および矯正データが入力されることによって矯正期間が経過した場合の複数の歯牙の各々を構成する複数の点の三次元座標位置を推定することが可能に機械学習された推定モデルを用いて、入力されるステップによって入力された歯牙データ、期間データ、および矯正データに基づき、矯正期間が経過した場合の複数の歯牙の各々を構成する複数の点の三次元座標位置を推定するステップとを含む。 According to an example of the present disclosure, there is provided a method for estimating the positions of teeth that move due to orthodontics by a computer. The estimation method includes a step of inputting tooth data related to the three-dimensional coordinate positions of a plurality of points constituting each of a plurality of teeth constituting a dentition , period data related to an orthodontic period, and orthodontic data related to the three-dimensional coordinate positions where an orthodontic device contacts each of the plurality of teeth as processing executed by a computer, and a step of estimating the three-dimensional coordinate positions of the plurality of points constituting each of the plurality of teeth after the orthodontic period has passed based on the tooth data, period data, and orthodontic data input in the inputting step, using an estimation model that has been machine-learned to be capable of estimating the three-dimensional coordinate positions of the plurality of points constituting each of the plurality of teeth after the orthodontic period has passed by inputting the tooth data, period data, and orthodontic data.
本開示の一例に従えば、矯正により移動する歯牙の位置を推定する推定プログラムが提供される。推定プログラムは、コンピュータに、歯列を構成する複数の歯牙の各々を構成する複数の点の三次元座標位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置が複数の歯牙の各々に接する三次元座標位置に関する矯正データとが入力されるステップと、歯牙データ、期間データ、および矯正データが入力されることによって矯正期間が経過した場合の複数の歯牙の各々を構成する複数の点の三次元座標位置を推定することが可能に機械学習された推定モデルを用いて、入力されるステップによって入力された歯牙データ、期間データ、および矯正データに基づき、矯正期間が経過した場合の複数の歯牙の各々を構成する複数の点の三次元座標位置を推定するステップとを実行させる。 According to an example of the present disclosure, an estimation program for estimating the positions of teeth that move due to orthodontics is provided. The estimation program causes a computer to execute the steps of inputting tooth data related to the three-dimensional coordinate positions of a plurality of points constituting each of a plurality of teeth constituting a dentition , period data related to an orthodontic period, and orthodontic data related to the three-dimensional coordinate positions where an orthodontic device contacts each of the plurality of teeth, and estimating the three-dimensional coordinate positions of the plurality of points constituting each of the plurality of teeth after the orthodontic period has passed based on the tooth data, period data, and orthodontic data input in the inputting step, using an estimation model that has been machine-learned to be capable of estimating the three-dimensional coordinate positions of the plurality of points constituting each of the plurality of teeth after the orthodontic period has passed by inputting the tooth data, period data, and orthodontic data.
本開示によれば、ユーザは、手間をかけることなく精度の良い矯正を行うことができる。 According to this disclosure, users can perform accurate correction without much effort.
本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 The embodiments of the present disclosure will be described in detail with reference to the drawings. Note that the same or equivalent parts in the drawings will be given the same reference numerals and their description will not be repeated.
[適用例]
図1を参照しながら、本実施の形態に係る推定装置1の適用例を説明する。図1は、本実施の形態に係る推定装置1の適用例を示す模式図である。
[Application example]
An application example of an
図1に示すように、推定装置1は、歯科医師および歯科助手などのユーザによって用いられ、AI(人工知能:Artificial Intelligence)を利用して、矯正により移動する歯牙の位置を推定する。
As shown in FIG. 1, the
歯牙の位置は、1または複数の歯牙の位置を特定するためのデータを含む。具体的には、歯牙の位置は、1または複数の歯牙の三次元の位置情報(縦方向、横方向、高さ方向の各軸の座標)を含む。 The tooth position includes data for identifying the position of one or more teeth. Specifically, the tooth position includes three-dimensional position information (coordinates of the vertical, horizontal, and height axes) of one or more teeth.
推定装置1は、少なくとも、複数の歯牙の位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置50に関する矯正データとを取得する。
The
歯牙データは、後述する図5に示すように、患者の複数の歯牙の三次元形状を特定するためのデータを含む。具体的には、歯牙データは、複数の歯牙の各々の三次元の位置情報(縦方向、横方向、高さ方向の各軸の座標、たとえばXYZ座標上の値)を含む。さらに、後述する図4および図5に示すように、歯牙データにおいては、歯牙の種類ごとに識別データ(たとえば、色情報)を用いて各位置情報がセグメント化されていてもよい。 As shown in FIG. 5, which will be described later, the tooth data includes data for identifying the three-dimensional shapes of the patient's teeth. Specifically, the tooth data includes three-dimensional position information (coordinates of each axis in the vertical, horizontal, and height directions, for example, values on an XYZ coordinate system) of each of the teeth. Furthermore, as shown in FIG. 4 and FIG. 5, which will be described later, in the tooth data, each piece of position information may be segmented using identification data (for example, color information) for each type of tooth.
ユーザは、図示しないCT(Computed Tomography)スキャナまたはX線装置を用いて患者の歯牙データを取得することができる。CTスキャナまたはX線装置によって取得され得る歯牙データは、三次元位置データ、具体的には、XYZ座標データを含む三次元ボクセルデータである。なお、ユーザは、三次元カメラによってスキャン対象の位置情報を取得することが可能な三次元スキャナを用いて患者の歯牙の位置情報を取得してもよい。三次元スキャナによって取得され得る歯牙データは、三次元位置データ、具体的には、XYZ座標データを含む三次元の表面を示す点群データである。歯牙データに基づいて画像を生成する場合は、歯牙データに含まれる三次元位置データに基づいて、任意の視点から見た歯牙の象を含む二次元画像を生成することになる。任意の視点は、予め設定されていてもよく、その二次元画像が表示されたディスプレイを見たユーザによって設定または変更されてもよい。 A user can obtain the patient's tooth data using a CT (Computed Tomography) scanner or an X-ray device (not shown). The tooth data that can be obtained by a CT scanner or an X-ray device is three-dimensional position data, specifically, three-dimensional voxel data including XYZ coordinate data. The user may obtain the position information of the patient's teeth using a three-dimensional scanner that can obtain the position information of the scanned object by a three-dimensional camera. The tooth data that can be obtained by a three-dimensional scanner is three-dimensional position data, specifically, point cloud data indicating a three-dimensional surface including XYZ coordinate data. When an image is generated based on the tooth data, a two-dimensional image including an image of the tooth viewed from an arbitrary viewpoint is generated based on the three-dimensional position data included in the tooth data. The arbitrary viewpoint may be set in advance, or may be set or changed by a user who views a display on which the two-dimensional image is displayed.
期間データは、ユーザが歯牙の位置を知りたい未来の時点(年月日など)、および、現時点からユーザが歯牙の位置を知りたい未来の時点までの期間(すなわち矯正期間)のうち、少なくとも1つを含む。 The period data includes at least one of the following: a future point in time (such as a date) for which the user wishes to know the positions of the teeth, and a period of time from the present time to a future point in time for which the user wishes to know the positions of the teeth (i.e., the orthodontic period).
矯正データは、歯科医師などによって設計された矯正装置50に関するデータを含む。具体的には、矯正装置50が複数の歯牙のそれぞれに接する複数のブラケット51をワイヤー52で接続するように構成された固定式の矯正装置である場合、矯正データは、ブラケット51に関するデータ、およびワイヤー52に関するデータのうち、少なくとも1つを含む。たとえば、ブラケット51に関するデータは、複数の歯牙の各々に接するブラケット51の面の略中央の位置、複数の歯牙の各々に接するブラケット51の面のワイヤー52が接する位置、ブラケット51の形状(断面形状など)、およびブラケット51の材質(アルミニウム、ステンレス、チタンなど)のうち、少なくとも1つを含む。ワイヤー52に関するデータは、ブラケット51の面に接するワイヤー52の位置、ワイヤー52の形状(断面形状など)、ワイヤーの材質(アルミニウム、ステンレス、チタンなど)、およびワイヤー52の締め付け具合などのトルクコントロールにおける設計値のうち、少なくとも1つを含む。また、矯正装置50がマウスピース状のアライナーと呼ばれる矯正装置である場合、矯正データは、アライナーの形状および材質のうち、少なくとも1つを含む。このように、矯正データは、ブラケット51に関するデータ、ワイヤー52に関するデータ、およびアライナーに関するデータのうちの少なくとも1つを含む。
The orthodontic data includes data on the
上述した矯正データは、矯正される歯牙の移動量に影響し得る。このため、矯正データは、矯正対象となった歯牙の位置を推定するための重要なデータとなり得る。 The orthodontic data described above can affect the amount of movement of the teeth being corrected. For this reason, the orthodontic data can be important data for estimating the position of the teeth that are the subject of correction.
推定装置1は、上述した歯牙データ、期間データ、および矯正データを用いて推定モデル121を機械学習させることによって、矯正期間が経過した場合の歯牙の位置を推定するように構成されている。たとえば、推定装置1は、歯牙データに基づき現在の各歯牙の位置情報を取得し、矯正データに基づきユーザによって設計された矯正装置50の設計値を取得し、期間データに基づきユーザが未来の歯牙の位置を知りたい未来の時点(この例ではX年後)を取得し、これらのデータを推定モデル121に入力することによって、未来の時点における歯牙の位置を推定することが可能である。このように、ユーザは、推定装置1を用いることにより、矯正期間が経過する前の現時点において、矯正期間(この例ではX年後)が経過した場合の歯牙の位置を推定することができる。
The
さらに、後述する図4および図5に示すように、歯牙データが歯牙の種類ごとに識別データ(たとえば、色情報)を用いてセグメント化されている場合、推定装置1は、セグメント化された歯牙ごとに歯牙の位置を推定するように推定モデル121を機械学習させることができる。これにより、推定装置1は、歯牙の位置の推定精度を高めることができる。
Furthermore, as shown in Figures 4 and 5 described below, when tooth data is segmented by tooth type using identification data (e.g., color information), the
また、食事、会話、および睡眠中の歯ぎしりなどの顎運動は歯牙の移動に影響を与え得るため、顎運動データは、矯正対象となった歯牙の位置を推定するための重要なデータとなり得る。そこで、推定装置1は、運動する顎の位置に関する顎運動データをさらに取得し、取得した顎運動データを用いて推定モデル121を機械学習させてもよい。
In addition, jaw movements such as eating, talking, and teeth grinding during sleep can affect tooth movement, so jaw movement data can be important data for estimating the position of the teeth that are the subject of correction. Therefore, the
推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データを推定モデル121に入力することによって、矯正期間が経過した場合の歯牙の位置を精度よく推定することができる。
The
さらに、顎骨の骨密度が小さければ小さいほど矯正によって歯牙の位置が移動し易く、顎骨の骨密度が大きければ大きいほど矯正によって歯牙の位置が移動し難い。さらに、各歯牙が位置する顎の骨の部分ごとに骨密度が異なる場合は、矯正によって各歯牙の移動に与える影響が異なる。このため、骨密度データは、矯正対象となった歯牙の位置を推定するための重要なデータとなり得る。そこで、推定装置1は、顎骨(上顎骨、下顎骨)の骨密度に関する骨密度データをさらに取得し、取得した骨密度データを用いて推定モデル121を機械学習させてもよい。骨密度データは、上顎骨の骨密度の平均値、下顎骨の骨密度の平均値、上顎に位置する各歯牙の周辺の骨密度の平均値、および下顎に位置する各歯牙の周辺の骨密度の平均値のうち、少なくとも1つを含む。
Furthermore, the lower the bone density of the jawbone, the easier it is for the teeth to move due to orthodontics, and the higher the bone density of the jawbone, the harder it is for the teeth to move due to orthodontics. Furthermore, if the bone density differs for each part of the jawbone in which each tooth is located, the effect of orthodontics on the movement of each tooth differs. For this reason, bone density data can be important data for estimating the position of the tooth that is the subject of orthodontics. Therefore, the
推定装置1は、歯牙データ、期間データ、および矯正データに加えて、骨密度データを推定モデル121に入力することによって、矯正期間が経過した場合の歯牙の位置を精度よく推定することができる。
The
なお、推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの両方を推定モデル121に入力することによって、矯正期間が経過した場合の歯牙の位置を推定してもよい。すなわち、推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つを推定モデル121に入力することによって、矯正期間が経過した場合の歯牙の位置を推定してもよい。
The
[推定装置のハードウェア構成]
図2を参照しながら、本実施の形態に係る推定装置1のハードウェア構成の一例を説明する。図2は、本実施の形態に係る推定装置1のハードウェア構成を示すブロック図である。
[Hardware configuration of the estimation device]
An example of a hardware configuration of the
図2に示すように、推定装置1は、主なハードウェア要素として、演算装置11と、記憶装置12と、メディア読取装置13と、通信装置14と、ディスプレイインターフェース15と、周辺機器インターフェース16とを備える。
As shown in FIG. 2, the
演算装置11は、各種のプログラムを実行することで、推定モデル121の推定処理および学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置11は、たとえば、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)、およびGPU(Graphics Processing Unit)などで構成される。なお、演算装置11は、CPU、FPGA、およびGPUの少なくとも1つで構成されてもよいし、CPUとFPGA、FPGAとGPU、CPUとGPU、あるいはCPU、FPGA、およびGPUの全てから構成されてもよい。また、演算装置11は、演算回路(processing circuitry)で構成されてもよい。
The
記憶装置12は、演算装置11が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の記憶領域(たとえば、ワーキングエリア)を含む。たとえば、記憶装置12は、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などの揮発性メモリデバイスで構成される。さらに、記憶装置12は、不揮発性の記憶領域を含む。たとえば、記憶装置12は、ハードディスクまたはSSD(Solid State Drive)などの不揮発性メモリデバイスで構成される。
The
なお、本実施の形態においては、揮発性の記憶領域と不揮発性の記憶領域とが同一の記憶装置12に含まれる例を示したが、揮発性の記憶領域と不揮発性の記憶領域とが互いに異なる記憶装置に含まれていてもよい。たとえば、演算装置11が揮発性の記憶領域を含み、記憶装置12が不揮発性の記憶領域を含んでいてもよい。推定装置1は、演算装置11と、記憶装置12とを含むマイクロコンピュータを備えていてもよい。
In the present embodiment, an example has been shown in which the volatile storage area and the nonvolatile storage area are included in the
記憶装置12は、推定モデル121と、推定プログラム122とを格納する。推定モデル121は、ニューラルネットワーク1211(図1参照)と、ニューラルネットワークにおける処理で用いられるパラメータ1212(図1参照)とを含む。パラメータ1212は、ニューラルネットワーク1211による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。ニューラルネットワーク1211は、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)など、少なくとも、歯牙データ、期間データ、および矯正データに基づき、矯正期間が経過した場合の歯牙の位置を推定することができるニューラルネットワークであれば、いずれのニューラルネットワークであってもよい。
The
推定モデル121は、少なくとも機械学習が可能なプログラムを含み、学習用データ(教師データ)に基づき機械学習を行うことで最適化(調整)される。学習用データは、入力データと、正解データとを含む。入力データは、少なくとも、歯牙データ、期間データ、および矯正データを含む。なお、入力データは、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つを含んでいてもよい。正解データは、入力データを用いて実際に矯正された場合の複数の歯牙の位置を含む。
The
推定モデル121は、歯牙データ、期間データ、および矯正データなどの入力データが入力されると、当該入力データに基づきニューラルネットワーク1211によって、矯正期間が経過した場合の歯牙の位置を推定する。そして、推定モデル121は、自身が推定した歯牙の位置と、正解データに含まれる歯牙の位置とを比較して、両者の一致度が所定範囲内であればパラメータ1212を更新しない一方で、両者の一致度が所定範囲外であれば両者の一致度が所定範囲内になるようにパラメータ1212を更新することで、パラメータ1212を最適化する。このように、推定モデル121は、入力データである歯牙データ、期間データ、および矯正データと、正解データである矯正期間が経過した場合の歯牙の位置とを含む学習用データを利用して、パラメータ1212を最適化することで機械学習を行う。
When input data such as tooth data, period data, and orthodontic data are input, the
なお、上述したような推定モデル121を学習する処理を「学習処理」とも称する。また、学習処理によって最適化された推定モデル121を、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデル121および学習済みの推定モデル121をまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデル121を「学習済モデル」とも称する。
The process of learning the
推定プログラム122は、演算装置11が推定処理および学習処理を実行するためのプログラムである。本実施の形態においては、画像に特化した処理を行うプログラムとして、たとえば、VoxNet、3D ShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、MarrNet、VoxelNet、およびVoteNetなどが推定プログラム122に用いられるが、順伝搬型ニューラルネットワークまたはリカレント型ニューラルネットワークなど、その他のプログラムが用いられてもよい。
The
メディア読取装置13は、リムーバブルディスク130などの記憶媒体を受け入れ、リムーバブルディスク130に格納されているデータを取得する。
The
通信装置14は、有線通信または無線通信を介して、図示しない外部装置との間でデータを送受信する。
The
ディスプレイインターフェース15は、ディスプレイ150を接続するためのインターフェースであり、推定装置1とディスプレイ150との間のデータの入出力を実現する。
The
周辺機器インターフェース16は、キーボード161およびマウス162などの周辺機器を接続するためのインターフェースであり、推定装置1と周辺機器との間のデータの入出力を実現する。
The
[推定装置の機能構成]
図3を参照しながら、本実施の形態に係る推定装置1の機能構成の一例を説明する。図3は、本実施の形態に係る推定装置1の機能構成を示すブロック図である。
[Functional configuration of the estimation device]
An example of the functional configuration of the
図3に示すように、推定装置1は、主な機能部として、入力部1101と、推定部1102と、記憶部1103と、出力部1104とを備える。
As shown in FIG. 3, the
入力部1101は、メディア読取装置13、通信装置14、および周辺機器インターフェース16のうち、少なくとも1つの機能部であり、入力データが入力される。上述したように、入力データは、少なくとも、歯牙データ、期間データ、および矯正データを含むが、顎運動データおよび骨密度データの少なくとも1つをさらに含んでいてもよい。
The
たとえば、入力部1101がメディア読取装置13の機能部である場合、メディア読取装置13は、リムーバブルディスク130などの記憶媒体に記憶された入力データを取得する。入力部1101が通信装置14の機能部である場合、通信装置14は、有線通信または無線通信を介して、外部装置から入力データを取得する。なお、外部装置は、歯科医院に設置されたサーバ装置であってもよいし、歯科医院とは別の場所に設置されたクラウド型のサーバ装置であってもよい。入力部1101が周辺機器インターフェース16の機能部である場合、周辺機器インターフェース16は、キーボード161およびマウス162を用いてユーザによって入力された入力データを取得する。
For example, if the
推定部1102は、演算装置11の機能部であり、入力部1101から入力された入力データと、ニューラルネットワーク1211を含む推定モデル121とに基づき、矯正期間が経過した場合の歯牙の位置を推定する。
The
記憶部1103は、記憶装置12の機能部であり、ニューラルネットワーク1211およびパラメータ1212を含む推定モデル121を記憶する。
The
出力部1104は、メディア読取装置13、通信装置14、およびディスプレイインターフェース15のうち、少なくとも1つの機能部であり、推定部1102によって推定された複数の歯牙の位置を示す推定データを外部に出力する。
The
たとえば、出力部1104がメディア読取装置13の機能部である場合、メディア読取装置13は、リムーバブルディスク130などの記憶媒体に推定データを出力する。出力部1104が通信装置14の機能部である場合、通信装置14は、有線通信または無線通信を介して、推定データを外部装置に出力する。出力部1104がディスプレイインターフェース15の機能部である場合、ディスプレイインターフェース15は、推定データをディスプレイ150に出力する。この場合、ディスプレイ150は、推定データに対応する画像を表示する。
For example, if the
推定装置1は、図2および図3に示すような構成を備えることにより、歯牙データ、期間データ、および矯正データと、推定モデル121とに基づき、矯正期間が経過した場合の歯牙の位置を推定し、推定結果を含む推定データを出力することができる。さらに、推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データのうちの少なくとも1つに基づき、矯正期間が経過した場合の歯牙の位置を推定し、推定結果を含む推定データを出力することができる。
The
[歯牙データの生成の一例]
図4および図5を参照しながら、歯牙データの生成の一例を説明する。図4は、歯牙のセグメント化の一例を示す図である。図5は、歯牙データの生成の一例を示す図である。
[An example of tooth data generation]
An example of tooth data generation will be described with reference to Figures 4 and 5. Figure 4 shows an example of tooth segmentation. Figure 5 shows an example of tooth data generation.
図4(A)に示すように、CTスキャナなどによって患者の顔を撮影することによって、上顎骨、下顎骨、および複数の歯牙を含む患者の顔の三次元データが取得される。図4(B)に示すように、三次元データに含まれる各部位ごとに複数の位置情報の各々がセグメント化される。具体的には、上顎骨、下顎骨、および複数の歯牙の各々に対して識別データが対応付けられることによって、上顎骨、下顎骨、および複数の歯牙の各々における位置情報が区別される。なお、図4(B)に示す例では、セグメント化された上顎骨は、前頭骨または鼻骨などと一緒になっているが、三次元データは、少なくとも上顎骨を含み、かつ、上顎骨が下顎骨と歯牙とから区別されていればよい。また、三次元データに基づいて、任意の視点から見た患者の顔の像を含む2次元画像が生成可能である。 As shown in FIG. 4(A), three-dimensional data of the patient's face, including the maxilla, mandible, and multiple teeth, is obtained by photographing the patient's face with a CT scanner or the like. As shown in FIG. 4(B), each of the multiple pieces of positional information is segmented for each part included in the three-dimensional data. Specifically, identification data is associated with each of the maxilla, mandible, and multiple teeth, thereby distinguishing the positional information for each of the maxilla, mandible, and multiple teeth. In the example shown in FIG. 4(B), the segmented maxilla is combined with the frontal bone or nasal bone, but the three-dimensional data only needs to include at least the maxilla and distinguish the maxilla from the mandible and teeth. Also, based on the three-dimensional data, a two-dimensional image including an image of the patient's face viewed from any viewpoint can be generated.
たとえば、図5に示すように、歯牙データは、複数の歯牙の各々の三次元の位置情報を含む。CTスキャナによって患者の歯牙が撮影された場合、三次元データは、濃淡のある複数のボクセルによって複数の歯牙の各々が表現される。この場合、歯牙データは、複数の歯牙の各々を構成する複数のボクセルの位置情報(たとえば、ボクセルの中心位置の三次元座標)を含む。あるいは、三次元スキャナによって患者の歯牙が撮影された場合、三次元データは、複数の点(点群)によって複数の歯牙の各々が表現される。この場合、歯牙データは、複数の歯牙の各々を構成する複数の点の位置情報(各点の三次元座標)を含む。 For example, as shown in FIG. 5, the tooth data includes three-dimensional position information for each of the multiple teeth. When the patient's teeth are photographed using a CT scanner, the three-dimensional data represents each of the multiple teeth using multiple voxels with varying shading. In this case, the tooth data includes position information for the multiple voxels that make up each of the multiple teeth (e.g., the three-dimensional coordinates of the center positions of the voxels). Alternatively, when the patient's teeth are photographed using a three-dimensional scanner, the three-dimensional data represents each of the multiple teeth using multiple points (point cloud). In this case, the tooth data includes position information for the multiple points that make up each of the multiple teeth (the three-dimensional coordinates of each point).
さらに、上顎骨データ、下顎骨データ、および歯牙データは、各位置座標に対して色情報(RGB値)が対応付けられている。たとえば、複数の歯牙は、上顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、上顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯といったように、口腔内の位置および種類ごとに区別され得る。歯牙データに含まれる複数の位置座標のうち、同じ種類の歯牙を構成する位置座標に対しては同じ色情報が対応付けられる。なお、人がディスプレイ150に表示された三次元データに基づいて生成された画像を確認しながら歯牙の種類を識別することによって、各位置座標に対して色情報が対応付けるようにして記録されてもよいし、専用のソフトウェアを用いて自動で歯牙の種類を識別することによって、各位置座標に対して色情報が対応付けるようにして記録されてもよい。
Furthermore, color information (RGB values) is associated with each position coordinate in the maxillary bone data, mandibular bone data, and tooth data. For example, the teeth can be classified according to their position and type in the oral cavity, such as the central incisor, lateral incisor, canine, first premolar, second premolar, first molar, second molar, and third molar on the right side of the maxilla, the central incisor, lateral incisor, canine, first premolar, second premolar, first molar, second molar, and third molar on the left side of the maxilla, the central incisor, lateral incisor, canine, first premolar, second premolar, first molar, second molar, and third molar on the right side of the mandible, and the central incisor, lateral incisor, canine, first premolar, second premolar, first molar, second molar, and third molar on the left side of the mandible. Of the multiple position coordinates included in the tooth data, the same color information is associated with position coordinates that constitute the same type of tooth. Note that color information may be recorded in association with each position coordinate by a person identifying the type of tooth while checking an image generated based on the three-dimensional data displayed on the
[骨密度データの生成の一例]
図6を参照しながら、骨密度データの生成の一例を説明する。図6は、骨密度データの生成の一例を示す図である。
[An example of generating bone density data]
An example of generation of bone density data will be described with reference to Fig. 6. Fig. 6 is a diagram showing an example of generation of bone density data.
図6(A)に示すように、三次元データに含まれる上顎骨、下顎骨、および複数の歯牙の各々ごとにセグメント化された後、図6(B)に示すように、セグメント化された三次元データに基づき、顎骨(上顎骨、下顎骨)の骨密度が推定される。具体的には、CTスキャナなどによって取得された三次元データは、CT値(computed tomography value)と呼ばれるエックス線吸収値に応じて、各ボクセルの濃淡が決まる。よって、三次元データの濃淡(CT値)に基づき、顎骨(上顎骨、下顎骨)の骨密度を推定することが可能である。なお、上顎骨の骨密度は、上顎骨全体の骨密度の平均値であってもよい。また、下顎骨の骨密度は、下顎骨全体の骨密度の平均値であってもよい。 As shown in FIG. 6(A), the maxilla, mandible, and teeth included in the three-dimensional data are each segmented, and then, as shown in FIG. 6(B), the bone density of the jaws (maxilla, mandible) is estimated based on the segmented three-dimensional data. Specifically, the three-dimensional data acquired by a CT scanner or the like has a shade of each voxel determined according to an X-ray absorption value called a CT value (computed tomography value). Therefore, it is possible to estimate the bone density of the jaws (maxilla, mandible) based on the shade (CT value) of the three-dimensional data. The bone density of the maxilla may be the average value of the bone density of the entire maxilla. The bone density of the mandible may be the average value of the bone density of the entire mandible.
図6(B)の例では、三次元データに基づき、上顎に位置する各歯牙の歯根周辺の骨密度の平均値、および下顎に位置する各歯牙の歯根周辺の骨密度の平均値が推定されている。推定された各歯牙の骨密度は、図5に示した各歯牙の位置座標に対応付けられる。なお、歯根周辺とは、歯根の中心位置から予め定められた範囲内の部分を含む。 In the example of Figure 6 (B), the average value of bone density around the root of each tooth located in the upper jaw and the average value of bone density around the root of each tooth located in the lower jaw are estimated based on the three-dimensional data. The estimated bone density of each tooth is associated with the position coordinates of each tooth shown in Figure 5. Note that the area around the tooth root includes the area within a predetermined range from the center position of the tooth root.
[学習処理]
図7を参照しながら、推定装置1の学習処理を説明する。図7は、本実施の形態に係る推定装置1が実行する学習処理の一例を説明するためのフローチャートである。本実施の形態において、推定装置1は、学習用データを用いた教師あり学習によって推定モデル121を学習させる。図7に示す各ステップ(以下、「S」で示す。)は、推定装置1の演算装置11が推定プログラム122を実行することで実現される。
[Learning process]
The learning process of the
図7に示すように、まず、推定装置1は、学習用データを取得する(S1)。たとえば、推定装置1は、入力データとして、歯牙データ、期間データ、および矯正データを取得するとともに、正解データとして、矯正期間が経過した場合の歯牙の位置を取得する。さらに、推定装置1は、顎運動データまたは骨密度データに基づき機械学習を行う場合、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つを取得する。
As shown in FIG. 7, first, the
推定装置1は、学習用データのうちの入力データに基づき、矯正期間が経過した場合の歯牙の位置を推定する(S2)。推定装置1は、自身が推定した歯牙の位置と、正解データに含まれる歯牙の位置とを比較することによって、推定モデル121を機械学習させる(S3)。なお、S2の処理において、推定装置1は、入力データに基づき1つの歯牙の位置を推定するように推定モデル121を機械学習させてもよいし、入力データに基づき複数の歯牙の位置を推定するように推定モデル121を機械学習させてもよい。推定装置1は、推定モデル121が推定した歯牙の位置と正解データに含まれる歯牙の位置との間の一致度合(一致/不一致)に基づいて、推定モデル121を機械学習させる。たとえば、推定装置1は、推定モデル121が推定した歯牙の位置と正解データに含まれる歯牙の位置とが完全に一致する場合に、両者が一致すると判定してもよい。あるいは、推定装置1は、推定モデル121が推定した歯牙の位置と正解データに含まれる歯牙の位置との差が所定距離以内(たとえば、1.5mm以内)である場合に、両者が一致すると判定してもよい。
The
推定装置1は、学習済みの推定モデル121(学習済モデル)を記憶装置12に記憶させる(S4)。その後、推定装置1は、本処理を終了する。
The
このように、推定装置1は、少なくとも、歯牙データ、期間データ、および矯正データに基づき、歯牙の位置を推定するように推定モデル121を機械学習させることができる。また、推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つに基づき、歯牙の位置を推定するように推定モデル121を機械学習させることができる。さらに、歯牙データが歯牙の種類ごとに識別データ(たとえば、色情報)を用いてセグメント化されている場合、推定装置1は、セグメント化された歯牙ごとに歯牙の位置を推定するように推定モデル121を機械学習させることができる。
In this way, the
[推定処理]
図8および図9を参照しながら、推定装置1の推定処理を説明する。図8は、本実施の形態に係る推定装置1が実行する推定処理の一例を説明するためのフローチャートである。図8に示す各ステップ(以下、「S」で示す。)は、推定装置1の演算装置11が推定プログラム122を実行することで実現される。
[Estimation process]
The estimation process of the
図8に示すように、まず、推定装置1は、入力データを取得する(S11)。たとえば、推定装置1は、入力データとして、歯牙データ、期間データ、および矯正データを取得する。さらに、推定装置1は、顎運動データまたは骨密度データに基づき推定モデル121に対して機械学習を行っている場合、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つを取得してもよい。
As shown in FIG. 8, first, the
推定装置1は、入力データに基づき、矯正期間が経過した場合の歯牙の位置を推定する(S12)。なお、推定装置1は、入力データに基づき1つの歯牙の位置を推定してもよいし、入力データに基づき複数の歯牙の位置を推定してもよい。推定装置1は、歯牙の位置の推定結果を出力する(S13)。その後、推定装置1は、本処理を終了する。
The
図8の例では、歯牙データが歯牙の種類ごとに識別データ(たとえば、色情報)を用いて予めセグメント化されているが、図9に示すように、推定装置1は、歯牙の種類ごとに識別データを用いて歯牙データを自らセグメント化してもよい。また、図8の例では、骨密度データが予め生成されているが、図9に示すように、推定装置1は、骨密度データを自ら生成してもよい。
In the example of FIG. 8, the tooth data is pre-segmented for each tooth type using identification data (e.g., color information), but as shown in FIG. 9, the
図9は、他の実施形態に係る推定装置1が実行する推定処理の一例を説明するためのフローチャートである。図9に示す各ステップ(以下、「S」で示す。)は、推定装置1の演算装置11が推定プログラム122を実行することで実現される。
FIG. 9 is a flowchart for explaining an example of an estimation process executed by an
図9に示すように、推定装置1は、図4(A)に示すように、任意の視点から見た患者の顔の像を含む二次元画像を生成可能な三次元データを取得する(S21)。すなわち、図9の例では、患者の顔の像を含む二次元画像を生成可能な三次元データが入力部1101から入力される。
As shown in Figure 9, the
推定装置1は、図4(B)に示すように、上顎骨、下顎骨、および複数の歯牙の各々に対して識別データ(たとえば、色情報)を対応付けることによって、上顎骨、下顎骨、および複数の歯牙の各々を区別するように複数の位置情報の各々をセグメント化する(S22)。
As shown in FIG. 4(B), the
推定装置1は、セグメント化された複数の位置情報に基づき、各歯牙の位置を抽出する(S23)。これにより、推定装置1は、歯牙データを生成することができる。
The
推定装置1は、S21において取得した三次元データの濃淡(CT値)に基づき、顎骨(上顎骨、下顎骨)の骨密度を推定する(S24)。具体的には、推定装置1は、三次元データに基づき、上顎に位置する各歯牙の歯根周辺の骨密度の平均値、および下顎に位置する各歯牙の歯根周辺の骨密度の平均値を推定する。これにより、推定装置1は、骨密度データを生成することができる。
The
推定装置1は、図示しない顎運動測定器によって測定された顎運動データを取得する(S25)。また、推定装置1は、ユーザによって設計された矯正装置50に関する矯正データを取得する(S26)。さらに、推定装置1は、ユーザによって入力された矯正期間に関する期間データを取得する(S27)。
The
次に、推定装置1は、取得した歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データに基づき歯牙の位置を推定する前に、歯牙データおよび顎運動データの各々における位置情報の基準を合わせる(S28)。すなわち、歯牙データは、CTスキャナなどによって取得された三次元データに基づき生成される一方で、顎運動データは、顎運動測定器の測定値に基づき生成されるため、両者の基準を合わせることによって、推定装置1による歯牙の位置の推定精度を向上させることができる。そこで、推定装置1は、歯牙データに含まれる位置情報と、顎運動データに含まれる位置情報とで、基準を合わせることで、両者の位置情報を変換する。
Next, before estimating the tooth positions based on the acquired tooth data, bone density data, jaw movement data, orthodontic data, and period data, the
なお、図8で示した推定処理においても、推定装置1は、S11で取得した歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データに基づき歯牙の位置を推定する前(S12の前)に、歯牙データおよび顎運動データの各々における位置情報の基準を合わせてもよい。
In the estimation process shown in FIG. 8, the
推定装置1は、取得した歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データに基づき歯牙の位置を推定する(S29)。推定装置1は、歯牙の位置の推定結果を出力する(S30)。その後、推定装置1は、本処理を終了する。
The
[矯正期間における各種処理]
図10を参照しながら、ユーザが推定装置1を用いて矯正期間において実行する各種処理を説明する。図10は、矯正期間における各種処理の一例を示す図である。
[Various procedures during the correction period]
Various processes executed by the user during the orthodontic period using the
図10に示すように、ユーザは、矯正治療を開始すると(S51)、初期治療段階に移行する。ユーザは、CTスキャナなどによって取得した患者の顔の三次元データに基づき、上顎骨、下顎骨、および複数の歯牙の各々を区別するように複数の位置情報の各々をセグメント化するとともに、矯正治療に関して分析、診断、および計画を実行し、矯正装置50を設計する(S52)。 As shown in FIG. 10, when the user starts orthodontic treatment (S51), the process moves to the initial treatment stage. Based on three-dimensional data of the patient's face acquired by a CT scanner or the like, the user segments each of the multiple pieces of positional information to distinguish between the maxilla, mandible, and multiple teeth, and performs analysis, diagnosis, and planning regarding the orthodontic treatment, and designs the orthodontic device 50 (S52).
そして、ユーザは、推定装置1に歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データを入力することで、矯正期間が経過した場合の歯牙の位置を推定する(S53)。すなわち、ユーザは、実際に矯正装置50を用いて患者の歯牙を矯正する前に、推定装置1を用いて、矯正期間が経過した場合の歯牙の位置を推定する。これにより、ユーザは、矯正装置50を患者に装着させる前に、推定結果に基づき矯正装置50の設計を是正することができる。ユーザは、是正した矯正装置50を用いて矯正治療を行う(S54)。
Then, the user inputs tooth data, bone density data, jaw movement data, orthodontic data, and period data into the
ユーザは、矯正中の歯牙を移動させるための動的治療段階において、再び、CTスキャナなどによって取得した患者の顔の三次元データに基づき、上顎骨、下顎骨、および複数の歯牙の各々を区別するように複数の位置情報の各々をセグメント化するとともに、矯正治療に関して分析、診断、および計画を実行し、矯正装置50を設計する(S55)。 In the dynamic treatment phase for moving the teeth during orthodontic treatment, the user again segments each of the multiple pieces of positional information to distinguish between the maxilla, mandible, and each of the multiple teeth based on three-dimensional data of the patient's face acquired by a CT scanner or the like, and performs analysis, diagnosis, and planning regarding the orthodontic treatment, and designs the orthodontic device 50 (S55).
そして、ユーザは、推定装置1に歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データを入力することで、矯正期間が経過した場合の歯牙の位置を推定する(S56)。すなわち、ユーザは、動的治療段階において、再び、推定装置1を用いて、矯正期間が経過した場合の歯牙の位置を推定する。これにより、ユーザは、動的治療段階において、再設計された矯正装置50を患者に装着させる前に、推定結果に基づき矯正装置50の設計を是正することができる。ユーザは、是正した矯正装置50を用いて矯正治療を行う(S57)。
Then, the user inputs tooth data, bone density data, jaw movement data, orthodontic data, and period data into the
さらに、ユーザは、矯正中の歯牙を保定するための保定段階において、再び、CTスキャナなどによって取得した患者の顔の三次元データに基づき、上顎骨、下顎骨、および複数の歯牙の各々を区別するように複数の位置情報の各々をセグメント化するとともに、矯正治療に関して分析、診断、および計画を実行し、矯正装置50を設計する(S58)。 Furthermore, in the retention stage for retaining the teeth during orthodontic treatment, the user again segments each of the multiple pieces of positional information to distinguish between the maxilla, mandible, and each of the multiple teeth based on three-dimensional data of the patient's face acquired by a CT scanner or the like, and performs analysis, diagnosis, and planning regarding the orthodontic treatment, and designs the orthodontic device 50 (S58).
そして、ユーザは、推定装置1に歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データを入力することで、矯正期間が経過した場合の歯牙の位置を推定する(S59)。すなわち、ユーザは、保定段階において、再び、推定装置1を用いて、矯正期間が経過した場合の歯牙の位置を推定する。これにより、ユーザは、保定段階において、再設計された矯正装置50を患者に装着させる前に、推定結果に基づき矯正装置50の設計を是正することができる。ユーザは、是正した矯正装置50を用いて矯正治療を行う(S60)。
Then, the user inputs tooth data, bone density data, jaw movement data, orthodontic data, and period data into the
ユーザは、上述したような処理を繰り返しながら矯正治療を行い、矯正期間が経過すると、矯正治療を終了する(S61)。 The user performs orthodontic treatment by repeating the above-described process, and ends the orthodontic treatment when the orthodontic period has elapsed (S61).
以上のように、歯科医師などのユーザは、推定装置1を用いて矯正期間が経過した場合の歯牙の位置を推定することで、矯正装置50を患者に装着させる前に、推定結果に基づき矯正装置50の設計を是正することができる。これにより、ユーザは、矯正期間において自身の知見に基づき手探りで矯正装置50を設計する必要がなく、手間をかけることなく精度の良い矯正を行うことができる。さらに、ユーザは、矯正期間を短くすることもできる。
As described above, a user such as a dentist can use the
[変形例]
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。
[Modification]
The present disclosure is not limited to the above-described embodiment, and various modifications and applications are possible. Modifications that can be applied to the present disclosure will be described below.
(セグメント化における識別データ)
推定装置1は、複数の歯牙の各々で歯牙データをセグメント化する際に、識別データとして色情報を用いていたが、識別データとしてその他の識別情報を用いてもよい。たとえば、推定装置1は、識別データとして、模様、文字、数字、および記号のうちの少なくとも1つを用いてもよい。
(Identification data in segmentation)
Although the
(推定結果に対応する矯正期間)
推定装置1は、最終的に矯正治療が終了する時点における歯牙の位置を推定することに限らず、矯正治療の途中段階における歯牙の位置を推定するように機械学習が行われてもよい。たとえば、図7に示す学習処理において、入力データは、矯正治療の途中段階における歯牙データ、期間データ、および矯正データを含んでいてもよい。そして、推定装置1は、矯正治療の途中段階における入力データを用いて、矯正治療の途中段階における歯牙の位置を推定し、推定結果と、正解データである矯正治療の途中段階における歯牙の位置とを比較することで、推定モデル121を機械学習させてもよい。このようにすれば、たとえば、矯正期間が3年である矯正治療について、推定装置1は、1年目または2年目といったように矯正治療の途中段階における歯牙の位置を推定することができる。
(Correction period corresponding to the estimated result)
The
(推定装置の態様)
推定装置1は、汎用コンピュータで実現され得るが、たとえば、PC(Personal Computer)またはスマートフォンなどの携帯端末であってもよい。さらに、推定装置1は、歯科医院とは別の場所に設置されたクラウド型のサーバ装置であってもよい。
(Estimation Device)
The
(学習用データ)
推定装置1は、推定モデル121を機械学習させるときに、矯正対象である患者のプロファイルデータを用いてもよい。プロファイルデータは、患者に関する属性情報であって、当該患者の年齢、性別、人種、国籍、身長、体重、および居住地のうちの少なくとも1つを含む。たとえば、学習段階においては、プロファイルデータごとに学習用データ(入力データ)を予め分類しておき、分類された学習用データを用いて推定モデル121を機械学習させればよい。このようにすれば、実用段階においては、歯牙データ、期間データ、および矯正データを含む入力データとともに、患者のプロファイルデータを推定装置1に入力することで、推定モデル121は、プロファイルデータによる分類に基づく機械学習を活かして、より精度よく歯牙の位置を推定することができる。すなわち、推定装置1は、入力部1101から入力された歯牙データ、期間データ、矯正データ、およびプロファイルデータと、推定モデル121とに基づき、推定部1102によって歯牙の位置を推定してもよい。
(Learning data)
The
(推定システム)
上述した推定装置1と、CTスキャナ、X線装置、または三次元スキャナなどの三次元データ取得装置とを備えた、推定システムが構成されてもよい。
(Estimation System)
An estimation system may be configured that includes the above-described
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。 The embodiment disclosed herein should be considered as illustrative in all respects and not restrictive. The scope of the present disclosure is indicated by the claims, not by the above description, and is intended to include all modifications within the meaning and scope of the claims. The configurations exemplified in the present embodiment and the configurations exemplified in the modified examples can be combined as appropriate.
1 推定装置、11 演算装置、12 記憶装置、13 装置、14 通信装置、15 ディスプレイインターフェース、16 周辺機器インターフェース、50 矯正装置、51 ブラケット、52 ワイヤー、121 推定モデル、122 推定プログラム、130 リムーバブルディスク、150 ディスプレイ、161 キーボード、162 マウス、1101 入力部、1102 推定部、1103 記憶部、1104 出力部、1211 ニューラルネットワーク、1212 パラメータ。 1 Estimation device, 11 Computing device, 12 Storage device, 13 Device, 14 Communication device, 15 Display interface, 16 Peripheral device interface, 50 Correction device, 51 Bracket, 52 Wire, 121 Estimation model, 122 Estimation program, 130 Removable disk, 150 Display, 161 Keyboard, 162 Mouse, 1101 Input unit, 1102 Estimation unit, 1103 Storage unit, 1104 Output unit, 1211 Neural network, 1212 Parameter.
Claims (12)
歯列を構成する複数の歯牙の各々を構成する複数の点の三次元座標位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置が前記複数の歯牙の各々に接する三次元座標位置に関する矯正データとが入力される入力部と、
前記歯牙データ、前記期間データ、および前記矯正データが入力されることによって前記矯正期間が経過した場合の前記複数の歯牙の各々を構成する複数の点の三次元座標位置を推定することが可能に機械学習された推定モデルを含む推定部とを備える、推定装置。 An estimation device for estimating a position of a tooth that moves due to orthodontic treatment, comprising:
an input unit for inputting tooth data relating to three-dimensional coordinate positions of a plurality of points constituting each of a plurality of teeth constituting a dentition , period data relating to an orthodontic period, and orthodontic data relating to three-dimensional coordinate positions where an orthodontic device contacts each of the plurality of teeth ;
and an estimation unit including an estimation model that has been machine-learned to enable estimation of three-dimensional coordinate positions of a plurality of points constituting each of the plurality of teeth after the orthodontic period has elapsed by inputting the tooth data, the period data, and the orthodontic data.
前記推定モデルは、さらに前記顎運動データが入力されることによって前記複数の歯牙の各々を構成する複数の点の三次元座標位置を推定することが可能に機械学習されている、請求項1に記載の推定装置。 The input unit receives jaw movement data relating to a position of a moving jaw,
The estimation device according to claim 1 , wherein the estimation model is machine-learned to be capable of estimating three-dimensional coordinate positions of a plurality of points constituting each of the plurality of teeth by further inputting the jaw movement data.
前記推定モデルは、さらに前記骨密度データが入力されることによって前記複数の歯牙の各々を構成する複数の点の三次元座標位置を推定することが可能に機械学習されている、請求項1~請求項3のいずれか1項に記載の推定装置。 The input unit receives bone density data related to bone density of a jawbone,
The estimation device according to any one of claims 1 to 3, wherein the estimation model is machine-learned to be capable of estimating three-dimensional coordinate positions of a plurality of points constituting each of the plurality of teeth by further inputting the bone density data.
前記矯正データは、前記ブラケットに関するデータ、前記ワイヤーに関するデータ、および前記アライナーに関するデータのうちの少なくとも1つを含む、請求項1~請求項7のいずれか1項に記載の推定装置。 The orthodontic appliance includes at least one of a bracket, a wire, and an aligner;
The estimation device according to any one of claims 1 to 7, wherein the orthodontic data includes at least one of data regarding the brackets, data regarding the wires, and data regarding the aligners.
前記コンピュータが実行する処理として、
歯列を構成する複数の歯牙の各々を構成する複数の点の三次元座標位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置が前記複数の歯牙の各々に接する三次元座標位置に関する矯正データとが入力されるステップと、
前記歯牙データ、前記期間データ、および前記矯正データが入力されることによって前記矯正期間が経過した場合の前記複数の歯牙の各々を構成する複数の点の三次元座標位置を推定することが可能に機械学習された推定モデルを用いて、前記入力されるステップによって入力された前記歯牙データ、前記期間データ、および前記矯正データに基づき、前記矯正期間が経過した場合の前記複数の歯牙の各々を構成する複数の点の三次元座標位置を推定するステップとを含む、推定方法。 A method for estimating a position of a tooth to be moved by computer-aided orthodontics, comprising the steps of:
The process executed by the computer is
a step of inputting tooth data relating to three-dimensional coordinate positions of a plurality of points constituting each of a plurality of teeth constituting a dentition , period data relating to an orthodontic period, and orthodontic data relating to three-dimensional coordinate positions where an orthodontic device contacts each of the plurality of teeth ;
and estimating, based on the tooth data, the period data, and the orthodontic data input in the inputting step, three-dimensional coordinate positions of a plurality of points constituting each of the plurality of teeth after the orthodontic period has passed, using an estimation model that has been machine-learned to enable estimation of three-dimensional coordinate positions of a plurality of points constituting each of the plurality of teeth after the orthodontic period has passed by inputting the tooth data, the period data, and the orthodontic data.
コンピュータに、
歯列を構成する複数の歯牙の各々を構成する複数の点の三次元座標位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置が前記複数の歯牙の各々に接する三次元座標位置に関する矯正データとが入力されるステップと、
前記歯牙データ、前記期間データ、および前記矯正データが入力されることによって前記矯正期間が経過した場合の前記複数の歯牙の各々を構成する複数の点の三次元座標位置を推定することが可能に機械学習された推定モデルを用いて、前記入力されるステップによって入力された前記歯牙データ、前記期間データ、および前記矯正データに基づき、前記矯正期間が経過した場合の前記複数の歯牙の各々を構成する複数の点の三次元座標位置を推定するステップとを実行させる、推定プログラム。 An estimation program for estimating a position of a tooth to be moved by orthodontic treatment,
On the computer,
a step of inputting tooth data relating to three-dimensional coordinate positions of a plurality of points constituting each of a plurality of teeth constituting a dentition , period data relating to an orthodontic period, and orthodontic data relating to three-dimensional coordinate positions where an orthodontic device contacts each of the plurality of teeth ;
and a step of estimating the three-dimensional coordinate positions of a plurality of points constituting each of the plurality of teeth after the orthodontic period has passed, based on the tooth data, the period data, and the orthodontic data input in the inputting step, using an estimation model that has been machine-learned to enable estimation of the three-dimensional coordinate positions of a plurality of points constituting each of the plurality of teeth after the orthodontic period has passed by inputting the tooth data, the period data, and the orthodontic data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021168750A JP7507135B2 (en) | 2021-10-14 | 2021-10-14 | Estimation device, estimation method, and estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021168750A JP7507135B2 (en) | 2021-10-14 | 2021-10-14 | Estimation device, estimation method, and estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023058939A JP2023058939A (en) | 2023-04-26 |
JP7507135B2 true JP7507135B2 (en) | 2024-06-27 |
Family
ID=86095620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021168750A Active JP7507135B2 (en) | 2021-10-14 | 2021-10-14 | Estimation device, estimation method, and estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7507135B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005503235A (en) | 2001-09-26 | 2005-02-03 | スリーエム イノベイティブ プロパティズ カンパニー | Use of finite element analysis and equipment selection of straightening equipment |
JP2011507613A (en) | 2007-12-21 | 2011-03-10 | スリーエム イノベイティブ プロパティズ カンパニー | Orthodontic treatment monitoring based on reduced images |
JP2018520804A (en) | 2014-11-13 | 2018-08-02 | アライン テクノロジー, インコーポレイテッド | How to track, predict, and preventative correction of malocclusions and related problems |
US20180336736A1 (en) | 2015-02-23 | 2018-11-22 | Osstemimplant Co., Ltd. | Method for simulating mandibular movement, device for same and recording medium for recording same |
WO2020048960A1 (en) | 2018-09-04 | 2020-03-12 | Promaton Holding B.V. | Automated orthodontic treatment planning using deep learning |
JP2020036755A (en) | 2018-09-04 | 2020-03-12 | 株式会社DentalBank | Orthodontics support apparatus and orthodontics support program |
JP2020068875A (en) | 2018-10-29 | 2020-05-07 | 宏太郎 槇 | Simulation device, computer program and simulation method |
JP2020096691A (en) | 2018-12-17 | 2020-06-25 | 株式会社モリタ製作所 | Identification device, scanner system, identification method, and program for identification |
-
2021
- 2021-10-14 JP JP2021168750A patent/JP7507135B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005503235A (en) | 2001-09-26 | 2005-02-03 | スリーエム イノベイティブ プロパティズ カンパニー | Use of finite element analysis and equipment selection of straightening equipment |
JP2011507613A (en) | 2007-12-21 | 2011-03-10 | スリーエム イノベイティブ プロパティズ カンパニー | Orthodontic treatment monitoring based on reduced images |
JP2018520804A (en) | 2014-11-13 | 2018-08-02 | アライン テクノロジー, インコーポレイテッド | How to track, predict, and preventative correction of malocclusions and related problems |
US20180336736A1 (en) | 2015-02-23 | 2018-11-22 | Osstemimplant Co., Ltd. | Method for simulating mandibular movement, device for same and recording medium for recording same |
WO2020048960A1 (en) | 2018-09-04 | 2020-03-12 | Promaton Holding B.V. | Automated orthodontic treatment planning using deep learning |
JP2020036755A (en) | 2018-09-04 | 2020-03-12 | 株式会社DentalBank | Orthodontics support apparatus and orthodontics support program |
JP2020068875A (en) | 2018-10-29 | 2020-05-07 | 宏太郎 槇 | Simulation device, computer program and simulation method |
JP2020096691A (en) | 2018-12-17 | 2020-06-25 | 株式会社モリタ製作所 | Identification device, scanner system, identification method, and program for identification |
Also Published As
Publication number | Publication date |
---|---|
JP2023058939A (en) | 2023-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10945813B2 (en) | Providing a simulated outcome of dental treatment on a patient | |
US20220015868A1 (en) | Method for tracking, predicting, and proactively correcting malocclusion and related issues | |
US11642195B2 (en) | Visual presentation of gingival line generated based on 3D tooth model | |
US11596499B2 (en) | Dental appliance with cavity for an unerupted or erupting tooth | |
US10952817B1 (en) | Systems and methods for determining orthodontic treatments | |
EP2134290B1 (en) | Computer-assisted creation of a custom tooth set-up using facial analysis | |
US9283061B2 (en) | Method and analysis system for the geometrical analysis of scan data from oral structures | |
JP6770573B2 (en) | How to create a flexible arch model of teeth for use in restorative dentistry | |
KR20200046843A (en) | Appratus, method and program for setting a tranparent orthodontic model using orthodontics clinical bigdata | |
JP7398512B2 (en) | Data generation device, scanner system, data generation method, and data generation program | |
JP7507135B2 (en) | Estimation device, estimation method, and estimation program | |
JP7405809B2 (en) | Estimation device, estimation method, and estimation program | |
JP7265359B2 (en) | DATA GENERATION DEVICE, SCANNER SYSTEM, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM | |
JP7195291B2 (en) | DATA PROCESSING APPARATUS, DATA PROCESSING SYSTEM, DATA PROCESSING METHOD, AND DATA PROCESSING PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240617 |