JP6777916B1 - Estimator, estimation system, estimation method, and estimation program - Google Patents
Estimator, estimation system, estimation method, and estimation program Download PDFInfo
- Publication number
- JP6777916B1 JP6777916B1 JP2020033686A JP2020033686A JP6777916B1 JP 6777916 B1 JP6777916 B1 JP 6777916B1 JP 2020033686 A JP2020033686 A JP 2020033686A JP 2020033686 A JP2020033686 A JP 2020033686A JP 6777916 B1 JP6777916 B1 JP 6777916B1
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- related data
- medical
- image
- medical treatment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
【課題】正確かつ容易に診療内容を推定することができる推定装置、推定システム、推定方法、および推定用プログラムを提供する。【解決手段】推定装置（１００）は、患者を診療するための診療器具が置かれるトレー（３０）を含む領域をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する第１推定部（１６０）と、を備える。【選択図】図８PROBLEM TO BE SOLVED: To provide an estimation device, an estimation system, an estimation method, and an estimation program capable of accurately and easily estimating a medical treatment content. An estimation device (100) treats a patient with image-related data obtained by capturing an area including a tray (30) on which a medical device for treating the patient is placed with a camera (51, 52, 53). The input unit (150) into which the medical care-related data acquired by the medical care device (1) is input, the image-related data and the medical care-related data input from the input unit (150), and the first neural network (173,178). It is provided with a first estimation unit (160) that estimates the medical treatment content of the patient based on the first estimation model (172, 177) including [Selection diagram] FIG. 8
Description
本発明は、歯科における診療内容を推定する推定装置、推定システム、推定方法、および推定用プログラムに関する。 The present invention relates to an estimation device, an estimation system, an estimation method, and an estimation program for estimating medical treatment contents in dentistry.
近年、ＡＩ（Artificial Intelligence）を用いてデータの分析・学習を行い活用するといった技術が生み出されている。たとえば、特許文献１は、機械学習による演算結果に基づいて患者の負担を軽減するようにマニピュレータの駆動を制御する歯科診療装置を開示する。
In recent years, technologies such as data analysis / learning and utilization using AI (Artificial Intelligence) have been created. For example,
特許文献１に開示されるように、ＡＩ技術は歯科分野においても適用することが想定されるが、歯科分野においては、ＦＡ（Factory Automation）分野のような産業分野に比べてＡＩ技術の発展が未だ乏しい。ＡＩ技術を用いて歯科における診療内容を推定することができれば、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As disclosed in
本発明は、正確かつ容易に診療内容を推定することができる推定装置、推定システム、推定方法、および推定用プログラムを提供することを目的とする。 An object of the present invention is to provide an estimation device, an estimation system, an estimation method, and an estimation program capable of estimating medical treatment contents accurately and easily.
本開示の一例に従えば、歯科における診療内容を推定する推定装置が提供される。推定装置は、患者を診療するための診療器具が置かれるトレーを含む領域をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力される入力部と、入力部から入力される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、患者の診療内容を推定する第１推定部と、を備える。 According to an example of the present disclosure, an estimation device for estimating the medical treatment content in dentistry is provided. The estimation device includes an input unit for inputting image-related data obtained by taking a picture of an area including a tray in which medical equipment for treating a patient is placed and medical-related data acquired by a medical device for treating a patient. It includes an image-related data and medical treatment-related data input from an input unit, and a first estimation unit that estimates the medical treatment content of a patient based on a first estimation model including a first neural network.
本開示の一例に従えば、歯科における処置内容を推定する推定装置が提供される。推定装置は、患者を診療するための診療器具が置かれるトレーを含む領域をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力される入力部と、入力部から入力される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、所定の期間における患者に対する処置内容を推定する第１推定部と、を備える。 According to an example of the present disclosure, an estimation device for estimating the treatment content in dentistry is provided. The estimation device includes an input unit for inputting image-related data obtained by taking a picture of an area including a tray on which medical equipment for treating a patient is placed and medical-related data acquired by the medical device for treating a patient. It includes an image-related data and medical care-related data input from an input unit, and a first estimation unit that estimates treatment contents for a patient in a predetermined period based on a first estimation model including a first neural network.
本開示の一例に従えば、歯科における診療内容を推定する推定システムが提供される。推定システムは、患者を診療するための診療器具が置かれるトレーを含む領域を撮影するカメラと、患者を診療する診療装置と、カメラで撮影した画像関連データと、診療装置で取得した診療関連データとに基づき、患者の診療内容を推定する推定装置と、を備える。推定装置は、画像関連データと診療関連データとが入力される入力部と、入力部から入力される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、患者の診療内容を推定する第１推定部とを含む。 According to an example of the present disclosure, an estimation system for estimating the medical treatment content in dentistry is provided. The estimation system includes a camera that captures an area including a tray on which medical equipment for treating a patient is placed, a medical device that treats a patient, image-related data taken by the camera, and medical-related data acquired by the medical device. Based on the above, an estimation device for estimating the medical treatment content of the patient is provided. The estimation device is based on an input unit in which image-related data and medical care-related data are input, image-related data and medical care-related data input from the input unit, and a first estimation model including a first neural network. Includes a first estimation unit that estimates the medical treatment content of.
本開示の一例に従えば、コンピュータによる歯科における診療内容を推定する推定方法が提供される。推定方法は、患者を診療するための診療器具が置かれるトレーを含む領域をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力されるステップと、入力される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、患者の診療内容を推定するステップと、を含む。 According to an example of the present disclosure, an estimation method for estimating the medical treatment content in dentistry by a computer is provided. The estimation method includes a step in which image-related data obtained by taking a picture of an area including a tray in which a medical device for treating a patient is placed and medical-related data acquired by a medical device for treating a patient are input. It includes a step of estimating the medical treatment content of the patient based on the image-related data and the medical treatment-related data to be performed and the first estimation model including the first neural network.
本開示の一例に従えば、歯科における診療内容を推定する推定用プログラムが提供される。推定用プログラムは、コンピュータに、患者を診療するための診療器具が置かれるトレーを含む領域をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力されるステップと、入力される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、患者の診療内容を推定するステップと、を実行させる。 According to an example of the present disclosure, an estimation program for estimating the medical treatment content in dentistry is provided. In the estimation program, the computer is input with image-related data obtained by taking a picture of the area including the tray in which the medical equipment for treating the patient is placed with a camera and medical treatment-related data acquired by the medical treatment device for treating the patient. The step, the step of estimating the medical treatment content of the patient based on the input image-related data and the medical treatment-related data, and the first estimation model including the first neural network are executed.
本発明によれば、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。 According to the present invention, it is possible to accurately and easily estimate the contents of medical treatment, and it is possible to realize more convenient dental medical treatment.
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals and the description thereof will not be repeated.
＜推定システムの全体構成＞
図１は、本実施の形態に係る推定システム１０００の全体構成を示す模式図である。本実施の形態に係る推定システム１０００は、歯科分野において用いられ、歯科における診療内容を推定する。
<Overall configuration of estimation system>
FIG. 1 is a schematic view showing the overall configuration of the
「診療内容」は、歯科医師、歯科助手、歯科大学の先生、歯科大学の生徒、および歯科技工士など、歯科における医療従事者（以下、単に「術者」とも称する。）によって行われる患者に対する診療の内容を含む。「診療」は、診察および治療の少なくともいずれか１つを含む。「診察」は、術者が患者の歯科に関する病状および病因などを探ることを含み、本実施の形態においては、診察の内容を「診察内容」とも称する。「治療」は、術者が患者の歯科に関する病気を治すこと、および術者が患者の歯の美容や健康を保つこと（審美治療）を含み、本実施の形態においては、これら治療の内容を「治療内容」とも称する。すなわち、「診療内容」は、「診察内容」および「治療内容」の少なくともいずれか１つを含む。術者が患者の歯科に関する病気を治すために行う行動（手当）、および術者が患者の歯の美容や健康を保つために行う行動（手当）を処置とも称し、治療は、１または複数の処置の組み合わせで構成される。本実施の形態においては、処置の内容を「処置内容」とも称する。すなわち、「治療内容」は、１または複数の「処置内容」を含む。 "Clinical content" refers to patients performed by dental professionals (hereinafter, also simply referred to as "operators") such as dentists, dental assistants, dental school teachers, dental school students, and dental technicians. Including the content of medical treatment. "Practice" includes at least one of consultation and treatment. The “examination” includes the surgeon searching for the medical condition and etiology of the patient's dentistry, and in the present embodiment, the content of the examination is also referred to as the “examination content”. "Treatment" includes the surgeon's cure of a patient's dental illness and the surgeon's maintenance of the beauty and health of the patient's teeth (aesthetic treatment), and in the present embodiment, the contents of these treatments are included. Also referred to as "treatment content". That is, the "medical examination content" includes at least one of the "medical examination content" and the "treatment content". The actions taken by the surgeon to cure the patient's dental illness (allowance) and the actions taken by the surgeon to maintain the beauty and health of the patient's teeth (allowance) are also called treatments, and the treatment is one or more. It consists of a combination of treatments. In the present embodiment, the content of the treatment is also referred to as "treatment content". That is, the "treatment content" includes one or more "treatment contents".
図１に示すように、推定システム１０００は、診療装置１と、推定装置１００とを備える。
As shown in FIG. 1, the
診療装置１は、たとえば、術者が患者に対して診療を行うためのチェアユニットである。診療装置１は、チェア１１と、ベースンユニット１２と、トレーテーブル１３と、診療器具１５を保持する器具ホルダー１４と、フットコントローラ１６と、ディスプレイ１７と、操作パネル１８と、照明装置１９と、器具制御装置２１と、表示制御装置２２とを備える。
The
チェア１１は、診療時に患者が座る椅子であり、患者の頭を支えるヘッドレスト１１ａと、患者の背中を支える背もたれ１１ｂと、患者の尾尻を支える座面シート１１ｃと、患者の足を支える足置き台１１ｄとを含む。
The
ベースンユニット１２は、排水口が形成された鉢１２ａと、コップが載置されるコップ台１２ｂと、コップに給水するための給水栓１２ｃとを含む給水・排水装置である。
The
トレーテーブル１３は、診療時の物置台として用いられる。トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）に接続されている。術者は、トレーテーブル１３をチェア１１に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル１３の上面にトレー３０を置くことがある。トレー３０には、患者を診療するための１または複数の診療器具が置かれる。
The tray table 13 is used as a storage table for medical treatment. The tray table 13 is connected to a
「診療器具」は、ピンセット、ミラー、エキスカベーター、および深針など、術者によって診療中に用いられる診療用の器具である。なお、診療装置１の器具ホルダー１４によって保持される診療器具１５も「診療器具」に含まれるが、トレー３０には、器具ホルダー１４によって保持されない診療器具が主に置かれる。
A "medical instrument" is a medical instrument used during medical treatment by an operator, such as tweezers, a mirror, an excavator, and a deep needle. The
診療器具１５は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置２１の制御によって駆動する。なお、診療器具１５は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、３次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。
The
フットコントローラ１６は、術者の足踏み操作を受け付ける複数のスイッチ（ペダル）を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア１１の姿勢を変更する機能をフットコントローラ１６のスイッチに対して割り当てることができ、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト１１ａなどが駆動する。さらに、術者は、診療器具１５を駆動する機能をフットコントローラ１６のスイッチに対して割り当てることもでき、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置２１の制御によって診療器具１５が駆動する。なお、術者は、照明装置１９の照明および消灯を制御する機能など、フットコントローラ１６のスイッチに対してその他の機能を割り当てることもできる。
The
ディスプレイ１７は、トレーテーブル１３に取り付けられており、表示制御装置２２の制御によって各種の画像を表示する。
The
操作パネル１８は、チェア１１および診療器具１５などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア１１を動作させるための入力操作を操作パネル１８が受け付けると、当該入力操作に基づきチェア１１が動作する。たとえば、診療器具１５の回転速度などの設定を行うための入力操作を操作パネル１８が受け付けると、当該入力操作に基づき診療器具１５の回転速度などの設定を行うことができる。
The
照明装置１９は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６の先端に設けられている。照明装置１９は、照明状態と消灯状態とに切り替えることができ、術者による診療を照明によってサポートする。
The
上述したように構成された診療装置１を用いることで、術者は患者に対して歯科診療を行うことができる。ここで、術者においては、患者に対して行った診療の内容を正確かつ容易に把握するといった要望がある。たとえば、歯科医師は、患者を診療したら遅滞なく経過を記録することが義務付けられているが、その一方で、短時間で効率良く患者を診療することも求められている。このため、術者は、診療中に行った処置ないし治療の内容を、その都度、記録することができない場合もある。近年、ＡＩを用いてデータの分析・学習を行い活用するといった技術が生み出されているが、ＡＩ技術を用いて歯科における診療内容を推定することができれば、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
By using the
ここで、歯科診療ならではの特徴として、診療目的に応じて複数の処置を組み合わせたり、各処置のために複数の診療器具の中から適切な診療器具を選択してトレー３０から取り出して使ったりするなど、術者は、診療中に様々な動作を行う。また、診療器具を使う順番およびその種類は、診療中の処置の内容を表しているとも言え、さらに、複数の処置の組み合わせから診療の内容が表されるといった階層構造にもなっているため、その階層を理解することができれば、診療内容を推定することが可能となる。
Here, as a feature unique to dental practice, a plurality of treatments are combined according to the purpose of the treatment, or an appropriate medical instrument is selected from a plurality of medical instruments for each treatment and taken out from the
そこで、本実施の形態に係る推定システム１０００（推定装置１００）は、トレー３０、診療装置１の動作、術者の行動、および患者の行動を、ＡＩを用いて分析・学習することで、処置内容ないしは診療内容を推定する技術を提供する。以下、当該技術を具体的に説明する。
Therefore, the estimation system 1000 (estimation device 100) according to the present embodiment treats the
本実施の形態に係る診療装置１には、複数のカメラが取り付けられている。具体的には、ディスプレイ１７にはトレーカメラ５１が取り付けられ、照明装置１９には患者カメラ５２が取り付けられ、ポール５の上部には全体カメラ５３が取り付けられている。
A plurality of cameras are attached to the
トレーカメラ５１は、トレー３０を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ５１によって得られた画像に関するデータ（以下、「トレー画像データ」とも称する。）は、推定装置１００によって取り込まれる。トレーカメラ５１におけるシャッタースピードなどの各種設定は、トレー３０に置かれた診療器具の有無、形状、および種類などを推定装置１００が認識できる程度に予め調整されている。なお、トレーカメラ５１は、トレー３０を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
The
患者カメラ５２は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。通常、診療中においては、照明装置１９によって患者の口腔内が照明されるため、照明装置１９に取り付けられた患者カメラ５２は、自ずと患者の口腔内を少なくとも含む領域を撮影することができる。患者カメラ５２によって得られた画像データ（以下、「患者画像データ」とも称する。）は、推定装置１００によって取り込まれる。患者カメラ５２におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を推定装置１００が認識できる程度に予め調整されている。なお、患者カメラ５２は、患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
The
全体カメラ５３は、患者を診療する診療空間を少なくとも含む領域、つまり、診療空間における、少なくとも、患者、および歯科医師や歯科助手などの術者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ５３は、ポール５の上部に取り付けられているため、診療中の術者および患者の行動と、診療装置１の動作とを上空から俯瞰して撮影する。
The
「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、診療中の術者、患者、および診療装置１など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ５３によって得られた画像データ（以下、「全体画像データ」とも称する。）は、推定装置１００によって取り込まれる。全体カメラ５３におけるシャッタースピードなどの各種設定は、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定装置１００が認識できる程度に予め調整されている。なお、全体カメラ５３は、患者を診療する診療空間を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
The "medical treatment space" is not limited to the space including the entire objects included in the medical treatment space, but is a space including some objects among the objects included in the medical treatment space such as the surgeon, the patient, and the
上述したトレー画像データ、患者画像データ、および全体画像データの各々は、「画像関連データ」の一実施形態であり、以下ではこれらのデータをまとめて「画像関連データ」とも称する。なお、詳しくは後述するが、トレー画像データ、患者画像データ、および全体画像データは、撮影画像に映し出された診療器具などのオブジェクトの有無やその種類が画像認識によって推定される。「画像関連データ」は、当該画像認識による推定結果を含むデータの一実施形態でもある。 Each of the tray image data, the patient image data, and the whole image data described above is an embodiment of the "image-related data", and hereinafter, these data are collectively referred to as "image-related data". As will be described in detail later, in the tray image data, the patient image data, and the entire image data, the presence or absence of an object such as a medical device projected on the captured image and its type are estimated by image recognition. The "image-related data" is also an embodiment of data including the estimation result by the image recognition.
推定装置１００は、診療装置１から取得した各種のデータに基づき、当該診療装置１を用いて行われた患者に対する診療の内容を推定するコンピュータ（後述する演算装置１０２）を搭載する。具体的には、推定装置１００は、診療装置１に取り付けられたトレーカメラ５１、患者カメラ５２、および全体カメラ５３の少なくともいずれか１つから、画像データを取得する。さらに、推定装置１００は、診療装置１で取得した診療に関するデータ（以下、「診療関連データ」とも称する。）を取得する。推定装置１００は、診療装置１から取得した画像データおよび診療関連データの少なくともいずれか１つに基づき、患者に対する診療内容を推定する。
The
「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、および表示制御装置２２の少なくともいずれか１つにおける動作および制御の履歴を示すログデータを含む。具体的には、診療関連データは、チェア１１を駆動するデータ、診療器具１５を駆動するデータ、照明装置１９を駆動するデータ、およびベースンユニット１２を駆動するデータの少なくともいずれか１つを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。
The "medical care-related data" is log data showing the history of operation and control in at least one of the
なお、本実施の形態においては、表示装置１１０が推定装置１００に接続されているが、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が推定装置１００に接続されていてもよい。
In the present embodiment, the
＜診療内容および処置内容＞
図２は、治療内容および処置内容を説明するための図である。図２に示すように、治療内容としては、治療Ａ、治療Ｂ、および治療Ｃといったように、複数の治療内容が存在する。各治療は、１または複数の処置の組み合わせで構成されている。具体的には、治療Ａは、処置ａ、処置ｂ、処置ｃ、処置ｄ、および処置ｅから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Ａを施すことができる。治療Ｂは、処置ａ、処置ｄ、および処置ｆから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Ｂを施すことができる。治療Ｃは、処置ｂ、処置ｃ、処置ｄ、および処置ｇから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Ｃを施すことができる。
<Details of medical treatment and treatment>
FIG. 2 is a diagram for explaining a treatment content and a treatment content. As shown in FIG. 2, there are a plurality of treatment contents such as treatment A, treatment B, and treatment C as the treatment contents. Each treatment consists of a combination of one or more treatments. Specifically, the treatment A is composed of the treatment a, the treatment b, the treatment c, the treatment d, and the treatment e, and the operator administers the treatment A to the patient by performing each of these treatments in order. be able to. Treatment B is composed of treatment a, treatment d, and treatment f, and the operator can perform treatment B by performing each of these treatments on the patient in order. Treatment C is composed of treatment b, treatment c, treatment d, and treatment g, and the operator can perform treatment C by performing each of these treatments on the patient in turn.
このように、各治療においては、術者によって１または複数の処置が患者に行われ、互いに異なる複数の治療の間においては共通の処置が含まれる場合がある。たとえば、処置ｄは、治療Ａ、治療Ｂ、および治療Ｃのいずれにおいても行われる処置である。また、各治療のみで行われる処置もある。たとえば、処置ｅは、治療Ａのみで行われる処置である。 As described above, in each treatment, one or more treatments may be performed on the patient by the operator, and a common treatment may be included between the plurality of treatments different from each other. For example, treatment d is a treatment performed in any of treatment A, treatment B, and treatment C. In addition, some treatments are performed only with each treatment. For example, treatment e is a treatment performed only in treatment A.
治療内容の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも治療内容に含まれる。処置内容の例としては、審査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。 Examples of treatments include caries treatment, root canal treatment, demineralization, implants, corrections, and whitening, but the surgeon cures the patient's dental illness and the surgeon is the patient. Any aesthetic treatment that maintains the beauty and health of your teeth is included in the treatment. Examples of treatments include examination, cutting, filing, root canal cleaning, drying, temporary sealing, impression, scaling, prosthesis correction, periodontal pocket measurement, suction, and tooth extraction. Any treatment that is performed to cure a patient's dental illness or that the surgeon performs to maintain the beauty and health of the patient's teeth is included in the treatment content.
図２においては、治療内容として根管治療の例が示されている。根管治療とは、う蝕の進行によって歯の根の中の歯髄（神経や血管など）が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、審査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。 In FIG. 2, an example of root canal treatment is shown as a treatment content. Root canal treatment is a treatment required when the pulp (nerves, blood vessels, etc.) in the root of the tooth becomes inflamed or infected due to the progress of caries, and the damaged pulp is removed and the root canal is removed. It is a treatment such as cleaning and disinfecting, and filling the roots of teeth to prevent re-infection. Root canal treatment consists of examination, demyelination, root canal length measurement, cleaning / disinfection, root canal filling, and stuffing / covering, and the operator performs each of these treatments on the patient in order. This makes it possible to perform root canal treatment.
審査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定は、歯髄を除去した後の空洞になった根管の長さを測定することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物（クラウン）を被せることを含む処置である。なお、図２に示される根管治療に含まれる処置の内容および数は、一例に過ぎず、根管治療にはその他の処置が含まれてもよいし、図２に示される処置の一部が省かれてもよい。 Examination is a procedure that involves the surgeon conducting a hearing with the patient and examining the patient's oral cavity to identify the patient's dental condition and etiology and formulate a treatment policy. Demyelination is a procedure in root canal treatment that involves removing the damaged pulp. Root canal length measurement is a procedure that involves measuring the length of a hollow root canal after removal of the pulp. Cleaning and disinfection is a procedure that includes cleaning and disinfecting the depths of the hollow root canal. Root canal filling is a procedure that involves burying a special drug in the root canal to prevent bacteria from invading the root canal after cleaning and disinfection. The stuffing / covering is a treatment including stuffing a filling such as rubber in a root canal, forming a base made of metal or fiber on the base, and then covering the base with a covering (crown). The content and number of treatments included in the root canal treatment shown in FIG. 2 are only examples, and the root canal treatment may include other treatments, or a part of the treatments shown in FIG. May be omitted.
＜トレーカメラの撮影画像＞
図３は、トレーカメラ５１の撮影画像の一例を説明するための図である。図３に示すように、トレーカメラ５１によって、トレー３０に置かれた１または複数の診療器具が撮影される。
<Image taken by tray camera>
FIG. 3 is a diagram for explaining an example of a captured image of the
たとえば、図３に示す例では、ラバーダム防湿一式３０１、ラバーダムシート３０２、根管長測定器３０３、バーセット３０４、ファイル（リーマ）３０５、口角対極３０６、ファールクリップ３０７、ブローチ３０８、洗浄用ニードル３０９、洗浄用シリンジ３１０、仮封剤充填器３１１、クレンザー３１２、タービン３１３、ピンセット３１４、バキューム３１５、ミラー３１６、エキスカベーター３１７、深針３１８、および根管材料注入器３１９といったように、複数の診療器具がトレー３０に置かれた様子が撮影画像に映し出されている。
For example, in the example shown in FIG. 3, rubber dam moisture-
診療中においては、トレー３０に置かれた複数の診療器具の中から術者が所望の診療器具を選択して使用することになるが、使用中の診療器具についてはトレーカメラ５１の撮影画像に映し出されない。たとえば、診療中にミラー３１６が使用された場合は、トレー３０上からミラー３１６が存在しないため、トレーカメラ５１の撮影画像にミラー３１６が映し出されない。
During medical treatment, the operator selects and uses the desired medical equipment from the plurality of medical equipment placed on the
推定装置１００は、図３に示すようなトレーカメラ５１の撮影画像を画像認識によって分析することで、トレー３０に置かれた診療器具の有無、形状、および種類などを特定することができる。
The
＜患者カメラの撮影画像＞
図４は、患者カメラ５２の撮影画像の一例を説明するための図である。図４に示すように、患者カメラ５２によって、患者の口腔内を少なくとも含む領域が撮影される。
<Image taken by patient camera>
FIG. 4 is a diagram for explaining an example of an image captured by the
たとえば、図４に示す撮影画像では、患者の口腔内において、右頬の下唇の付近の歯に診療器具（この例ではピンセット３１４およびミラー３１６）が位置する様子が撮影画像に映し出されている。
For example, in the photographed image shown in FIG. 4, a state in which the medical instruments (
診療中においては、患者の口腔内において診療器具を用いた歯科診療が行われることになるが、図４に示すように、患者カメラ５２の撮影画像には、診療中において患者の口腔内に位置する診療器具が映し出される。
During medical treatment, dental treatment using medical instruments is performed in the patient's oral cavity, but as shown in FIG. 4, the image taken by the
推定装置１００は、図４に示すような患者カメラ５２の撮影画像を画像認識によって分析することで、患者の口腔内における診療器具の位置などを特定することができる。
The
＜全体カメラの撮影画像＞
図５は、全体カメラ５３の撮影画像の一例を説明するための図である。図５に示すように、全体カメラ５３によって、診療空間を少なくとも含む領域が撮影される。
<Image taken by the entire camera>
FIG. 5 is a diagram for explaining an example of a captured image of the
たとえば、図５に示す撮影画像では、診療中の術者（この例では歯科医師３や歯科助手４）および患者２の行動と、診療装置１の動作（この例ではトレーテーブル１３における操作パネル１８やトレー３０上の診療器具など）とが撮影画像に映し出されている。
For example, in the photographed image shown in FIG. 5, the actions of the surgeon (
診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、図５に示すように、全体カメラ５３の撮影画像には、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などが映し出される。
During the medical treatment, the surgeon will perform dental medical treatment using medical instruments. As shown in FIG. 5, the images taken by the
推定装置１００は、図５に示すような全体カメラ５３の撮影画像を画像認識によって分析することで、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを特定することができる。
The
＜推定システムの内部構成＞
図６は、本実施の形態に係る推定システム１０００の内部構成を示すブロック図である。図６に示すように、推定システム１０００は、複数のカメラ（トレーカメラ５１、患者カメラ５２、全体カメラ５３）と、診療装置１と、推定装置１００とを備える。
<Internal configuration of estimation system>
FIG. 6 is a block diagram showing an internal configuration of the
［診療装置の内部構成］
診療装置１は、チェア１１と、器具制御装置２１と、表示制御装置２２と、ベースンユニット１２とを備える。
[Internal configuration of medical equipment]
The
チェア１１は、ヘッドレスト１１ａと、背もたれ１１ｂと、座面シート１１ｃと、足置き台１１ｄとを含み、これらの各々は、チェア制御部１１１の制御に基づき駆動する。具体的には、チェア制御部１１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく入力信号をＣＡＮ（Controller Area Network）通信を介して受信すると、当該入力信号に基づき、座面シート１１ｃを上昇または下降させたり、ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄを座面シート１１ｃに対して垂直方向または水平方向に移動させたりする。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して垂直方向に位置すると、チェア１１に座った患者が座位姿勢になる。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して水平方向に位置すると、チェア１１に座った患者が仰向け姿勢になる。このように、チェア制御部１１１は、ヘッドレスト１１ａ、背もたれ１１ｂ、座面シート１１ｃ、および足置き台１１ｄを駆動させてチェア１１の姿勢を変更する。
The
器具制御装置２１は、器具制御部２１１を含む。器具制御部２１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく入力信号をＣＡＮ通信を介して受信すると、当該入力信号に基づき、診療器具１５の駆動を制御する。たとえば、術者が、フットコントローラ１６におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置２１は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。このように、器具制御装置２１は、フットコントローラ１６または操作パネル１８に対する術者の操作に基づき診療器具１５の駆動を制御する。
The
表示制御装置２２は、ディスプレイ制御部２２１と、パネル制御部２２２とを含む。ディスプレイ制御部２２１は、ディスプレイ１７を制御する。パネル制御部２２２は、操作パネル１８を制御する。
The
ベースンユニット１２は、ベースン制御部１２１と、照明制御部１２２とを含む。ベースン制御部１２１は、ベースンユニット１２における給水および排水を制御する。照明制御部１２２は、照明装置１９の照明および消灯を制御する。
The
上述したチェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、ベースン制御部１２１、および照明制御部１２２の各々は、図示しない基板上に実装されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random access memory）などによって構成される。なお、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、ベースン制御部１２１、および照明制御部１２２の各々は、予め診療装置１に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置１に取り付け可能であってもよい。
Each of the
チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、ベースン制御部１２１、および照明制御部１２２の各々は、ＣＡＮ通信によって相互に通信する。ＣＡＮ通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。
The
さらに、ベースンユニット１２は、診療装置１内のログデータを含む診療関連データを蓄積する蓄積部１２３と、蓄積部１２３によって蓄積された診療関連データを通信によって推定装置１００に出力するための通信部１２４とを含む。
Further, the
蓄積部１２３は、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、ベースン制御部１２１、および照明制御部１２２の各々との間でＣＡＮ通信によって通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部１２３は、図示しない基板上に実装されたＲＯＭやＲＡＭなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。
The
通信部１２４は、有線または無線のＬＡＮ（Local Area Network）通信によって推定装置１００との間で通信する。なお、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、推定装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。また、推定装置１００は、一時的に記憶する揮発性の記憶媒体を介して、ＣＡＮ通信に流れている診療関連データを、直接的に取得してもよい。
The
［推定装置の内部構成］
推定装置１００は、通信装置１０１と、演算装置１０２と、メモリ１０３と、ストレージ１０４とを備える。
[Internal configuration of estimation device]
The
通信装置１０１は、診療装置１との間で通信する一方で、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々との間でも通信可能である。なお、診療装置１との間の通信と、各カメラとの間の通信とは、互いに別の装置で行われてもよい。
While the
通信装置１０１は、有線または無線のＬＡＮ通信によって推定装置１００との間で通信することで、診療装置１から診療関連データを取得する。なお、通信装置１０１は、その他の形式で診療装置１から診療関連データを取得してもよい。たとえば、上述したように、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、推定装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。
The
また、通信装置１０１は、有線または無線のＬＡＮ通信によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置１０１は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置１０１は、各カメラから取り出されたメモリカードなどの不揮発の記憶媒体に一時的に記憶される画像関連データを取得してもよい。
Further, the
演算装置１０２は、各種のプログラム（たとえば、後述する推定用プログラム１４１）を実行することで、診療内容の推定処理、および診療内容を推定するための学習処理などの各種の処理を実行する演算主体である。演算装置１０２は、「コンピュータ」の一実施形態である。演算装置１０２は、たとえば、ＣＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。
The
なお、演算装置１０２は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵのうちの少なくともいずれか１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵから構成されてもよい。また、演算装置１０２は、演算回路（processing circuitry）と称されてもよい。
The
メモリ１０３は、演算装置１０２が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ１０３は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。
The
ストレージ１０４は、診療内容の推定処理、および診療内容を推定するための学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ１０４は、たとえば、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。
The
ストレージ１０４は、推定モデル１６１と、推定用プログラム１４１と、ＯＳ（Operating System）１４２とを格納する。
The
推定モデル１６１は、各カメラから取得した画像関連データおよび診療装置１から取得した診療関連データの少なくともいずれか１つに基づき、患者の診療内容を推定するために用いられる。推定モデル１６１は、画像関連データおよび診療関連データの少なくともいずれか１つに基づき機械学習を行うことで最適化（調整）され、患者の診療内容の推定精度を向上させることができる。
The
なお、推定装置１００の演算装置１０２によって診療内容を推定する処理を「推定処理」とも称し、推定装置１００の演算装置１０２によって推定モデルを学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。
The process of estimating the medical treatment content by the
推定用プログラム１４１は、演算装置１０２が推定処理および学習処理を実行するためのプログラムである。
The
推定装置１００には、表示装置１１０が接続されている。表示装置１１０は、たとえば、推定した診療内容を示す画像など、各種の画像を表示する。なお、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が推定装置１００に接続されていてもよく、術者などのユーザによって学習処理用のデータが入力されるように構成されてもよい。
A
＜推定装置の機能構成＞
［推定装置の学習段階における機能構成］
図７は、本実施の形態に係る推定装置１００の学習段階における機能構成を示すブロック図である。図７に示すように、推定装置１００は、主な機能部として、入力部１５０と、推定部１５１〜１５３と、変換部１５４と、同期部１５５と、セグメント化部１５６と、推定部１６０とを有する。なお、入力部１５０は、通信装置１０１の機能部であり、推定部１５１〜１５３、変換部１５４、同期部１５５、セグメント化部１５６、および推定部１６０は、各々演算装置１０２の機能部である。
<Functional configuration of estimation device>
[Functional configuration at the learning stage of the estimation device]
FIG. 7 is a block diagram showing a functional configuration in the learning stage of the
入力部１５０には、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々で撮影した画像関連データ（トレー画像データ，患者画像データ，全体画像データ）と、診療装置１で取得した診療関連データとが時系列で入力される。
The
推定部１５１〜１５３は、入力部１５０に入力された各画像関連データから、画像に含まれる特徴量を画像認識によって抽出する。たとえば、推定部１５１は、後述する図１５に示すようなトレーカメラ５１による複数枚の撮影画像のデータから、後述する図１６に示すように、所定のタイミング（後述する図１６に示すｔＡ１、ｔＡ２、ｔＡ３、…）ごとに変化するトレー３０に置かれた診療器具の有無、形状、および種類などを推定する。
The
ここで、推定部１５１の構成についてさらに詳細に説明する。図中の破線部Ｘに示すように、推定部１５１は、推定モデル１５１１を有する。さらに、推定モデル１５１１は、ニューラルネットワーク１５１２と、当該ニューラルネットワーク１５１２によって用いられるパラメータ１５１３とを含む。パラメータ１５１３は、ニューラルネットワーク１５１２による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。なお、推定部１５１は、「第２推定部」の一実施形態に対応し、推定モデル１５１１は、「第２推定モデル」の一実施形態に対応し、ニューラルネットワーク１５１２は、「第２ニューラルネットワーク」の一実施形態に対応する。
Here, the configuration of the
ニューラルネットワーク１５１２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent Neural Network）、あるいはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。
The
推定部１５１は、トレーカメラ５１によって入力部１５０に入力されたトレー画像データと、ニューラルネットワーク１５１２を含む推定モデル１５１１とに基づき、トレー３０に置かれた診療器具の有無、形状、および種類などを推定する。
The
学習段階において、推定モデル１５１１は、トレー画像データに関連付けられた診療器具の有無、形状、および種類などと、当該トレー画像データを用いた診療器具の有無、形状、および種類などの推定結果とに基づき学習されることで最適化（調整）される。具体的には、推定モデル１５１１は、教師データとしてトレー画像データが入力されると、当該トレー画像データに基づきニューラルネットワーク１５１２によってトレー３０に置かれた診療器具の有無、形状、および種類などを推定する。そして、推定モデル１５１１は、自身の推定結果と、入力されたトレー画像データに関連付けられた正解データである診療器具の有無、形状、および種類などとが一致するか否かを判定し、両者が一致すればパラメータ１５１３を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１５１３を更新することで、パラメータ１５１３を最適化する。なお、上述したような推定モデル１５１１の学習は、学習段階に限らず、運用段階においても行われてもよい。
In the learning stage, the
このような推定モデル１５１１を用いることで、後述する図１５に示すように、推定部１５１は、トレーカメラ５１によって入力部１５０に時系列で入力されたトレー画像データと、ニューラルネットワーク１５１２を含む推定モデル１５１１とに基づき、所定のタイミング（後述する図１６に示すｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、および種類などを推定することができる。たとえば、図１６に示すトレー画像データにおいては、トレー３０上に存在する診療器具に対応する記憶領域に「０」のデータが格納され、トレー３０上に存在しない診療器具に対応する記憶領域に「１」のデータが格納される。
By using such an
なお、図示は省略するが、推定部１５２および推定部１５３の各々についても、推定部１５１と同様の構成を有する。
Although not shown, each of the
推定部１５２は、ＣＮＮ、ＲＮＮ、およびＬＳＴＭネットワークといった、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデル有する。学習段階において、推定モデルは、患者画像データに関連付けられた患者の口腔内における診療器具の位置などと、当該患者画像データを用いた患者の口腔内における診療器具の位置などの推定結果とに基づき学習されることで最適化（調整）される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。
The
このような推定モデルを用いることで、後述する図１７に示すように、推定部１５２は、患者カメラ５２によって入力部１５０に時系列で入力された患者画像データと、当該推定モデルとに基づき、所定のタイミング（後述する図１７に示すｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定することができる。たとえば、図１７に示す患者画像データにおいては、診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータが格納され、両者が所定範囲内に位置する場合に記憶領域に「１」のデータが格納される。
By using such an estimation model, as shown in FIG. 17 described later, the
同様に、推定部１５３は、ＣＮＮ、ＲＮＮ、およびＬＳＴＭネットワークといった、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデル有する。学習段階において、推定モデルは、全体画像データに関連付けられた術者および患者の行動、診療装置１の動作などと、当該全体画像データを用いた術者および患者の行動、診療装置１の動作などの推定結果とに基づき学習されることで最適化（調整）される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。
Similarly,
このような推定モデルを用いることで、後述する図１８に示すように、推定部１５３は、全体カメラ５３によって入力部１５０に時系列で入力された全体画像データと、当該推定モデルとに基づき、所定のタイミング（後述する図１８に示すｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定することができる。たとえば、図１８に示す全体画像データにおいては、歯科医師や歯科助手などの術者、患者、および診療器具などの位置関係において、術者と患者、または診療器具と患者が所定範囲内に位置しない場合に記憶領域に「０」のデータが格納され、術者と患者、または診療器具と患者が所定範囲内に位置する場合に記憶領域に「１」のデータが格納される。
By using such an estimation model, as shown in FIG. 18 described later, the
なお、本実施の形態において、推定部１５１〜１５３の各々は、ニューラルネットワークを含む推定モデルによって画像認識を行うものであったが、このようなＡＩ技術に限らず、公知のパターンマッチングなどの技術を用いて画像認識を行ってもよい。また、推定部１５１〜１５３の各々の機能は、推定装置１００が有するものではなく、各カメラまたは各カメラの近くに配置されたエッジコンピュータが有するものであってもよい。この場合、エッジコンピュータなどによる画像認識の結果を含む画像関連データが入力部１５０に入力される。
In the present embodiment, each of the
変換部１５４は、診療装置１から入力部１５０に入力された診療関連データを、所定の形式に変換する。具体的には、変換部１５４は、入力部１５０に入力された診療関連データを、同じく入力部１５０に入力された画像関連データと同期させるために適した形式に変換する。たとえば、変換部１５４は、診療関連データの時間軸を、画像関連データの時間軸に合わせるように、診療関連データの形式を変換する。あるいは、変換部１５４は、診療関連データの時間軸を、画像関連データの時間軸と合わせるための共通の時間軸に合わせるように、診療関連データの形式を変換する。
The
同期部１５５は、推定部１５１〜１５３による推定結果を含む画像関連データと、変換部１５４によって変換された診療関連データとを時系列に同期させる。たとえば、同期部１５５は、後述する図２０および図２１に示すように、画像関連データ（トレー画像データ，患者画像データ，全体画像データ）と診療関連データとを、同期時間の時間軸に合わせて所定のタイミング（後述する図２０および図２１に示すＴ１、Ｔ２、Ｔ３、…）ごとに同期させる。画像関連データと診療関連データとが同期することで得られるデータを「同期データ」とも称する。
The
セグメント化部１５６は、入力部１５０から入力された画像関連データおよび診療関連データを所定のタイミングで区切ることでセグメント化する。具体的には、セグメント化部１５６は、同期部１５５によって同期された画像関連データおよび診療関連データ（すなわち、同期データ）に対して、所定のタイミングで所定のイベントが発生したことが記録されるように、当該同期データをセグメント化する。「所定のイベントが発生したこと」は、たとえば、ハンドピースなどの診療器具１５の駆動開始や駆動停止、照明装置１９の点灯開始や点灯終了、ベースンユニット１２における給水・排水の開始や終了、トレー３０上の診療器具が取り出されたことやトレー３０上に診療器具が置かれたことなど、診療に関するイベントを含む。また、セグメント化部１５６は、同期部１５５によって同期された画像関連データおよび診療関連データ（同期データ）に対して、所定のタイミングで所定のイベントが継続していることが記録されるように、当該同期データをセグメント化する。「所定のイベントが継続していること」は、たとえば、ハンドピースなどの診療器具１５の駆動状態の継続、照明装置１９の点灯状態の継続、ベースンユニット１２における給水・排水の継続、トレー３０上の診療器具が存在する状態の継続や存在しない状態の継続など、診療に関するイベントの継続を含む。
The
たとえば、セグメント化部１５６は、後述する図２２に示すように、画像関連データ（トレー画像データ、患者画像データ、全体画像データ）において格納された「０」または「１」のデータと、診療関連データにおいて格納された「０」または「１」のデータとに基づき、画像関連データおよび診療関連データに対して所定のタイミングごとに区切りを付けることで、同期データを期間ごとにセグメント化する。セグメント化の方法は、所定のタイミングごとにフラグデータをセットしてもよいし、セグメント化した期間ごとに同期データを所定の記憶領域に移動させたりコピーしたりしてもよい。
For example, as shown in FIG. 22, which will be described later, the
セグメント化部１５６によって同期データが区切られる「所定のタイミング」は、診療関連データに含まれる、診療装置１が備えるチェア１１を駆動するデータ、診療装置１が備える診療器具１５を駆動するデータ、診療装置１が備える照明装置１９を駆動するデータ、および診療装置１が備えるベースンユニット１２を駆動するデータの少なくともいずれか１つに基づき、これら診療に関する装置の駆動の発生または継続が判定されるタイミングである。たとえば、図２１および図２２に示すように、診療器具１５のピックアップが「０」から「１」に切り替わったタイミングＴ３、診療器具のピックアップが「１」から「０」に切り替わったタイミングＴ６などで、同期データが区切られる。
The "predetermined timing" in which the synchronization data is divided by the
なお、セグメント化部１５６は、診療関連データに基づき同期データを区切ることができない場合でも、トレー画像データなどの画像関連データに基づき同期データを区切ることもできる。たとえば、図２０および図２２に示すように、洗浄用ニードル３０９および洗浄用シリンジ３１０の有無判定が「０」から「１」に切り替わったタイミングＴ８、洗浄用ニードル３０９および洗浄用シリンジ３１０の有無判定が「１」から「０」に切り替わったタイミングＴ１０などで、同期データが区切られる。すなわち、セグメント化部１５６は、画像関連データおよび診療関連データの少なくともいずれか１つに含まれる患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該診療関連データとを所定のタイミングでセグメント化する。
The
このように、セグメント化部１５６は、同期データのセグメント化にあたって、画像関連データおよび診療関連データの各々単体ではデータが不足している場合であっても、両者のデータを組み合わせることで、診療内容または処置内容の推定に適切なタイミングで同期データを区切ることができる。
In this way, when segmenting the synchronous data, the
なお、入力部１５０から入力された画像関連データにおける画像の撮影タイミングと、診療関連データにおけるログデータの取得タイミングとが予め同期している場合、変換部１５４および同期部１５５を用いなくてもよい。この場合、セグメント化部１５６は、同期データではなく、入力部１５０から入力された画像関連データおよび診療関連データを直接的に用いて、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化してもよい。
If the image shooting timing of the image-related data input from the
推定部１６０は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、図示しないニューラルネットワークを含む推定モデルとに基づき、患者の診療内容を推定する。なお、推定部１６０は、「第１推定部」の一実施形態に対応する。
The
学習段階において、推定部１６０の推定モデルは、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、当該画像関連データおよび当該診療関連データを用いた診療内容の推定結果とに基づき学習されることで最適化（調整）される。
In the learning stage, the estimation model of the
このように、学習段階において、推定装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データとに基づいて、診療内容を推定できるように、ニューラルネットワークを含む推定モデルを機械学習させる。
As described above, in the learning stage, the
たとえば、推定部１６０は、後述するタグ付け部１６４によってタグ付けされたタグ付け結果を用いて、推定モデル１７２の学習を行う学習処理を実行する。学習処理においては、診療状況をリアルタイムに観察することで処置内容を把握した関係者（歯科医師や歯科助手などの術者、または推定システム１０００におけるシステム設計の関係者など）がディスプレイ１７に表示されたタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる教師データ（正解データ）と、そのアイコンの選択タイミング、または、その前後に推定モデル１７２から出力された処置内容の推定結果に対して付与されたタグが示す処置内容とが比較されることで、当該推定モデル１７２の学習が行われる。
For example, the
また、録画されていた全体カメラ５３の撮影動画がディスプレイ１７において再生表示され、これの視聴時に処置内容を把握した関係者がタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる教師データ（正解データ）と、そのアイコンの選択タイミング、または、その前後に推定モデル１７２から出力された処置内容の推定結果に対して付与されたタグが示す処置内容とが比較されることで、当該推定モデル１７２の学習が行われてもよい。
In addition, the recorded moving image of the
さらに、各画像関連データや診療関連データに基づいて、推定モデル１７２が自動で（関係者を介さずに）学習されてもよい。たとえば、推定部１６０から処置内容の推定結果が出力されたタイミング、または、その前後で、各画像関連データや診療関連データに基づいて正解データとしてバキューム駆動により吸引処理が判定される場合、その判定結果と推定モデル１７２における処置内容の推定結果とが比較されることで、当該推定モデル１７２の学習が行われてもよい。この自動で学習されるタイミングは、夜中などの診療がなされない時間帯であることが最適である。
Further, the
上述したように、推定モデル１７２は、術者などの関係者によって入力されたデータを教師データ（正解データ）として機械学習が行われてもよいし、関係者が介入することなく推定装置１００自身が抽出したデータを教師データ（正解データ）として機械学習が行われてもよい。または、それらを混合させた学習処理であってもよい。
As described above, in the
なお、推定装置１００は、学習段階に限らず、運用段階においても、ニューラルネットワークを含む推定モデルを機械学習させてもよい。たとえば、運用段階において、推定部１６０の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な診療内容が入力されると、推定部１６０の推定モデルは、推定結果と正解データとに基づき学習されることで最適化（再調整）されてもよい。このようにすれば、推定装置１００は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど診療内容の推定精度が向上する。
The
［推定装置の運用段階における機能構成］
図８は、本実施の形態に係る推定装置１００の運用段階における機能構成を示すブロック図である。図８に示すように、運用段階における推定装置１００は、推定部１５１および推定部１６０の各々が学習済みとなっている。
[Functional configuration at the operation stage of the estimation device]
FIG. 8 is a block diagram showing a functional configuration in the operation stage of the
運用段階においては、術者が患者を診療した後、あるいは、術者の診療中にリアルタイムで、各カメラから画像関連データが入力部１５０に入力され、さらに、診療装置１から診療関連データが入力部１５０に入力される。推定部１５１〜１５３は、入力部１５０に入力された各画像関連データから、画像に含まれる特徴量を画像認識によって抽出する。一方、変換部１５４は、診療装置１から入力部１５０に入力された診療関連データを、所定の形式に変換する。同期部１５５は、推定部１５１〜１５３による推定結果を含む画像関連データと、変換部１５４によって変換された診療関連データとを時系列に同期させて同期データを生成する。セグメント化部１５６は、入力部１５０から入力された画像関連データと診療関連データとを所定のタイミングで区切って、同期データをセグメント化する。
In the operation stage, image-related data is input to the
その後、推定部１６０は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、図示しないニューラルネットワークを含む推定モデルとに基づき、患者の診療内容を推定し、その推定結果を診療支援部１９０に出力する。診療支援部１９０は、推定部１６０による推定結果に基づき診療支援を実行する。
After that, the
診療支援部１９０は、診療支援として、カルテの作成支援、診療装置１の診療支援、アラート出力支援、および術者の評価支援など、推定部１６０によって推定された診療内容を利用して術者の診療支援を行う。診療支援部１９０による診療支援については、図１１〜図１４を参照しながら後述する。
As medical care support, the medical
このように、推定装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データと、ニューラルネットワークを含む推定モデルとに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを用いて、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As described above, the
＜第１実施形態に係る推定装置の機能構成＞
図７および図８を参照しながら説明した推定装置１００は、推定部１６０によって診療内容を推定するものであったが、診療内容を推定する態様としては幾つかの態様が考えられる。図９および図１０を参照しながら、第１実施形態に係る推定装置１００の機能構成について説明する。
<Functional configuration of the estimation device according to the first embodiment>
In the
［第１実施形態に係る推定装置の学習段階における機能構成］
図９は、第１実施形態に係る推定装置１００の学習段階における機能構成を示すブロック図である。なお、図９に示す推定装置１００の機能構成では、図７に示す推定装置１００の機能構成のうち、同期部１５５よりも後段の機能構成のみを説明し、その他の機能構成については図７に示す推定装置１００の機能構成と同じであるため、その説明を省略する。
[Functional configuration in the learning stage of the estimation device according to the first embodiment]
FIG. 9 is a block diagram showing a functional configuration in the learning stage of the
第１実施形態に係る推定装置１００においては、推定部１６０が、時系列に入力される画像関連データおよび診療関連データに基づいて、当該画像関連データおよび当該診療関連データについてセグメント化された期間ごとの処置内容を先に推定し、その後、推定した処置内容の組み合わせに基づいて、診療内容を推定する。
In the
具体的には、図９に示すように、推定部１６０は、処置内容推定部１７１と、タグ付け部１６４と、記憶部１６５と、診療内容推定部１７６とを有する。
Specifically, as shown in FIG. 9, the
処置内容推定部１７１は、画像関連データおよび診療関連データの少なくともいずれか１つに基づいて、処置内容を推定する。処置内容推定部１７１は、推定モデル１７２を有する。さらに、推定モデル１７２は、ニューラルネットワーク１７３と、当該ニューラルネットワーク１７３によって用いられるパラメータ１７４とを含む。パラメータ１７４は、ニューラルネットワーク１７３による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか１つを含む。なお、処置内容推定部１７１は、推定部１６０に含まれており「第１推定部」の一実施形態に対応し、推定モデル１７２は、「第１推定モデル」の一実施形態に対応し、ニューラルネットワーク１７３は、「第１ニューラルネットワーク」の一実施形態に対応する。
The treatment
ニューラルネットワーク１７３は、たとえば、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ）、あるいはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる時系列データに対する処理で用いられる公知のニューラルネットワークが適用される。
As the
学習段階において、処置内容推定部１７１の推定モデル１７２は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、当該画像関連データおよび当該診療関連データを用いた処置内容の推定結果とに基づき学習されることで最適化（調整）される。
In the learning stage, the
具体的には、推定モデル１７２は、教師データとしてセグメント化部１５６によってセグメント化された画像関連データおよび診療関連データが入力されると、ニューラルネットワーク１７３によって、当該画像関連データおよび当該診療関連データについてセグメント化された所定の期間ごとに処置内容を推定する。そして、推定モデル１７２は、自身の推定結果と、入力された画像関連データおよび診療関連データに関連付けられた正解データである所定の期間ごとの処置内容とが一致するか否かを判定し、両者が一致すればパラメータ１７４を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１７４を更新することで、パラメータ１７４を最適化する。
Specifically, in the
このように、学習段階において、推定装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データとに基づいて、処置内容を推定できるように、ニューラルネットワーク１７３を含む推定モデル１７２を機械学習させる。
As described above, in the learning stage, the
また、本実施の形態においては、各画像関連データおよび診療関連データに含まれるデータのうち、セグメント化に寄与しなかったデータについては処置内容推定部１７１に入力されない。よって、処置内容推定部１７１は、各画像関連データおよび診療関連データに含まれるデータのうち、セグメント化されるにあたって利用されたデータのみに基づき、処置内容を推定して機械学習を行う。これにより、推定装置１００は、情報量の多い画像関連データおよび診療関連データを次元圧縮した上で処置内容を推定するため、情報量の多い画像関連データおよび診療関連データから直接的に処置内容を推定するよりも、効率良く処置内容を推定することができ、より正確かつ容易に処置内容を推定することができる。
Further, in the present embodiment, among the data included in each image-related data and the medical care-related data, the data that did not contribute to the segmentation is not input to the treatment
なお、各画像関連データおよび診療関連データに含まれるデータのうち、セグメント化に寄与したデータに限らず、セグメント化に寄与しなかったデータについても処置内容推定部１７１に入力されてもよい。つまり、セグメント化によってフラグデータなどの区切りが付けられたデータを含む全てのデータが処置内容推定部１７１に入力されてもよい。この場合、セグメント化によって区切られたデータが、全てのデータの中でどれに当たるのかを、処置内容推定部１７１が気づいて把握することができるので、処置内容の推定精度が向上することを期待することができる。
Of the data included in each image-related data and medical care-related data, not only the data that contributed to the segmentation but also the data that did not contribute to the segmentation may be input to the treatment
なお、推定装置１００は、学習段階に限らず、運用段階においても、ニューラルネットワーク１７３を含む推定モデル１７２を機械学習させてもよい。たとえば、運用段階において、処置内容推定部１７１の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な処置内容が入力されると、推定モデル１７２は、推定結果と正解データとに基づき学習されることで最適化（再調整）されてもよい。このようにすれば、推定装置１００は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど処置内容の推定精度が向上する。
The
なお、本実施の形態において、処置内容推定部１７１は、教師あり学習のアルゴリズムを用いていたが、教師なし学習のアルゴリズム、または強化学習のアルゴリズムなど、公知のアルゴリズムを用いて機械学習を行うものであってもよい。たとえば、教師なし学習のアルゴリズムを用いる場合、処置内容推定部１７１は、画像関連データに基づき、診療中に使用される診療器具の種類やその使用タイミング、診療器具と患者の口腔との位置関係、診療中の術者と患者の行動、および診療装置１における各部のログデータを分類（クラスタリング）し、その分類結果に基づき処置内容を推定する。処置内容推定部１７１は、このような推定処理を繰り返し行うことで、処置内容の推定結果の精度を向上させることができる。
In the present embodiment, the treatment
処置内容推定部１７１による推定結果は、タグ付け部１６４に出力される。タグ付け部１６４は、処置内容推定部１７１による処置内容の推定結果に対してタグを付ける。たとえば、タグ付け部１６４は、処置内容そのものを人間が理解できる名称（たとえば、審査、抜髄、根管長測定など）を推定結果にタグ付けしてもよいし、処置内容を識別可能な記号（たとえば、審査＝処置ａ、抜髄＝処置ｂ、根管長測定＝処置ｃなど）を推定結果にタグ付けしてもよいし、推定装置１００の演算装置１０２が処置内容を識別可能な何らかの識別子を推定結果にタグ付けしてもよい。記憶部１６５は、タグ付け部によってタグ付けられた処置内容の推定結果を記憶する。
The estimation result by the treatment
タグ付け部１６４は、診療状況をリアルタイムに観察することで処置内容を把握した関係者（歯科医師や歯科助手などの術者、または推定システム１０００におけるシステム設計の関係者など）がディスプレイ１７に表示されたタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる処置内容に基づくタグを、処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよい。
The tagging unit 164 is displayed on the
また、タグ付け部１６４は、録画されていた全体カメラ５３の撮影動画がディスプレイ１７において再生表示され、これの視聴時に処置内容を把握した関係者がタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる処置内容に基づくタグを、そのアイコンの選択タイミング、または、その前後に処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよい。
Further, in the tagging unit 164, the recorded moving image of the
さらに、タグ付け部１６４は、各画像関連データや診療関連データに基づいて、処置内容に基づくタグを、処置内容推定部１７１が出力した処置内容の推定結果に自動でタグ付けしてもよい。たとえば、処置内容推定部１７１によって処置内容の推定結果が出力されたタイミング、または、その前後で、各画像関連データや診療関連データに基づいてバキューム駆動により吸引処理が判定される場合、その判定結果である吸引処理を示すタグを、処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよい。
Further, the tagging unit 164 may automatically tag the tag based on the treatment content with the estimation result of the treatment content output by the treatment
上述したように、タグ付け部１６４は、術者などの関係者によって入力されたデータに基づくタグを、処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよいし、関係者が介入することなく推定装置１００自身が抽出したデータに基づくタグを、処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよい。または、それらを混合させた学習処理であってもよい。
As described above, the tagging unit 164 may tag the tag based on the data input by the operator or the like to the estimation result of the treatment content output by the treatment
診療内容推定部１７６は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）に基づいて、診療内容を推定する。診療内容推定部１７６は、推定モデル１７７を有する。さらに、推定モデル１７７は、ニューラルネットワーク１７８と、当該ニューラルネットワーク１７８によって用いられるパラメータ１７９とを含む。パラメータ１７９は、ニューラルネットワーク１７８による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか１つを含む。なお、診療内容推定部１７６は、推定部１６０に含まれており「第１推定部」の一実施形態に対応し、推定モデル１７７は、「第１推定モデル」の一実施形態に対応し、ニューラルネットワーク１７８は、「第１ニューラルネットワーク」の一実施形態に対応する。
The medical treatment
ニューラルネットワーク１７８は、たとえば、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ）、あるいはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる時系列データに対する処理で用いられる公知のニューラルネットワークが適用される。
As the
診療内容推定部１７６の推定モデル１７７は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）と、処置内容の推定結果（推定された処置内容の組み合わせ）を用いた診療内容の推定結果とに基づき学習されることで最適化（調整）される。
The
具体的には、推定モデル１７７は、教師データとして処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）が入力されると、ニューラルネットワーク１７８によって、当該処置内容の推定結果（推定された処置内容の組み合わせ）に関連付けられた診療内容を推定する。そして、推定モデル１７７は、自身の推定結果と、入力された処置内容の推定結果（推定された処置内容の組み合わせ）に関連付けられた正解データである診療内容とが一致するか否かを判定し、両者が一致すればパラメータ１７９を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１７９を更新することで、パラメータ１７９を最適化する。
Specifically, in the
このように、学習段階において、推定装置１００は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）に基づいて、診療内容を推定できるように、ニューラルネットワーク１７８を含む推定モデル１７７を機械学習させる。
As described above, in the learning stage, the
なお、推定装置１００は、学習段階に限らず、運用段階においても、ニューラルネットワーク１７８を含む推定モデル１７７を機械学習させてもよい。たとえば、運用段階において、診療内容推定部１７６の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な診療内容が入力されると、推定モデル１７７は、推定結果と正解データとに基づき学習されることで最適化（再調整）されてもよい。このようにすれば、推定装置１００は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど処置内容の推定精度が向上する。
The
なお、本実施の形態において、診療内容推定部１７６は、教師あり学習のアルゴリズムを用いていたが、教師なし学習のアルゴリズム、または強化学習のアルゴリズムなど、公知のアルゴリズムを用いて機械学習を行うものであってもよい。たとえば、教師なし学習のアルゴリズムを用いる場合、処置内容推定部１７１は、診療内容推定部１７６の推定結果を分類（クラスタリング）し、その分類結果に基づき診療内容を推定する。診療内容推定部１７６は、このような推定処理を繰り返し行うことで、診療内容の推定結果の精度を向上させることができる。
In the present embodiment, the medical treatment
なお、本実施の形態において、診療内容推定部１７６は、ニューラルネットワーク１７８を含む推定モデル１７７によって診療内容を推定するものであったが、このようなＡＩ技術に限らず、公知のルールベースの技術を用いて診療内容を推定してもよい。たとえば、図２に示すように、診療内容（治療内容）と処置内容の組み合わせとが対応付けられたデータテーブルを予め準備しておき、診療内容推定部１７６は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）と当該データテーブルとに基づき、診療内容を推定してもよい。
In the present embodiment, the medical treatment
［第１実施形態に係る推定装置の運用段階における機能構成］
図１０は、第１実施形態に係る推定装置１００の運用段階における機能構成を示すブロック図である。なお、図１０に示す推定装置１００の機能構成では、図８に示す推定装置１００の機能構成のうち、同期部１５５よりも後段の機能構成のみを説明し、その他の機能構成については図８に示す推定装置１００の機能構成と同じであるため、その説明を省略する。図１０に示すように、運用段階における第１実施形態に係る推定装置１００は、処置内容推定部１７１および診療内容推定部１７６の各々が学習済みとなっている。
[Functional configuration in the operation stage of the estimation device according to the first embodiment]
FIG. 10 is a block diagram showing a functional configuration in the operation stage of the
運用段階においては、まず、処置内容推定部１７１は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、ニューラルネットワーク１７３を含む推定モデル１７２とに基づき、患者の処置内容を推定し、その推定結果をタグ付け部１６４に出力する。タグ付け部１６４は、処置内容推定部１７１による処置内容の推定結果に対してタグを付ける。タグ付け部によってタグ付けられた処置内容の推定結果は、記憶部１６５によって記憶される。また、タグ付け部によってタグ付けられた処置内容の推定結果は、診療支援部１９０に出力される。
In the operation stage, first, the treatment
次に、診療内容推定部１７６は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）と、ニューラルネットワーク１７８を含む推定モデル１７７とに基づき、患者の診療内容を推定し、その推定結果を診療支援部１９０に出力する。
Next, the medical treatment
診療支援部１９０は、診療内容推定部１７６による推定結果、およびタグ付け部によってタグ付けられた処置内容の推定結果の少なくともいずれか１つに基づき診療支援を実行する。診療支援部１９０による診療支援については、図１１〜図１４を参照しながら後述する。
The medical
このように、推定装置１００は、まず、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データと、ニューラルネットワーク１７３を含む推定モデル１７２とに基づき、患者の処置内容を推定する。次に、推定装置１００は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）と、ニューラルネットワーク１７８を含む推定モデル１７７とに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを用いて、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As described above, the
セグメント化部１５６によって画像関連データと診療関連データとが所定のタイミングで区切られることで、画像関連データと診療関連データとが所定の期間ごとに予めセグメント化される。そして、処置内容推定部１７１は、予めセグメント化された画像関連データおよび診療関連データに基づき処置内容の推定処理を行うため、処置内容の推定精度を高めることができる。
The image-related data and the medical care-related data are separated at a predetermined timing by the
処置内容推定部１７１によって推定された処置内容は、タグ参照部１６６によって参照されたタグが付されて出力される。具体的には、学習段階において処置内容推定部１７１によって出力された処置内容の推定結果と、当該推定結果に対してタグ付け部によってタグ付けされたタグ（処置内容）とが関連付けられてメモリなどに一覧データとして記憶される。そして、運用段階において、タグ参照部１６６は、処置内容推定部１７１によって出力された処置内容の推定結果に対応するタグを、メモリに記憶された一覧データを参照することで抽出し、抽出したタグを当該推定結果に付して出力する。診療内容推定部１７６は、タグ参照部１６６によってタグが付された処置内容の推定結果に基づき診療内容の推定処理を行うことで、処置内容を何らかのタグによって区別し易くなり、診療内容の推定精度を高めることができる。さらに、タグ参照部１６６によってタグが付された処置内容の推定結果は、診療支援部１９０による診療支援で用いられるため、より利便性のある歯科診療を実現することができる。
The treatment content estimated by the treatment
＜診療支援＞
図１１〜図１４を参照しながら、推定装置１００の診療支援部１９０による診療支援について説明する。
<Medical support>
The medical treatment support by the medical
［カルテの作成支援］
図１１は、推定装置１００によるカルテの作成支援の一例を説明するための図である。推定装置１００は、診療内容推定部１７６によって推定された診療内容、および処置内容推定部１７１によって推定された処置内容に対して、術者が理解する言葉でタグ付けすることで、診療内容や処置内容を術者が理解する言葉で記録することができる。そこで、推定装置１００は、診療内容推定部１７６によって推定された診療内容、および処置内容推定部１７１によって推定された処置内容に基づき、患者のカルテを自動的に作成してもよい。たとえば、図１１に示すように、推定装置１００は、治療対象となった部位および時系列の処置内容などをカルテに自動的に記入してもよい。なお、推定装置１００は、ニューラルネットワークを用いて、画像関連データおよび診療関連データに基づき傷病名（う蝕、歯肉炎など）についても推定するように機械学習を行うようにすれば、傷病名についてもカルテに自動的に記入することもできる。
[Support for creating medical records]
FIG. 11 is a diagram for explaining an example of support for creating a medical record by the
［診療装置の操作支援］
図１２は、推定装置１００による診療装置１の操作支援の一例を説明するための図である。推定装置１００の処置内容推定部１７１は、時系列で入力される画像関連データおよび診療関連データに基づき、時系列で処置内容を推定するといった学習を繰り返すことで、ある処置が完了した後の次の処置内容を予想することができる。そこで、推定装置１００は、処置内容推定部１７１によって推定された処置内容に基づき、ある処置が完了した後の次の処置内容を術者に報知したり、当該次の処置内容のための行動を促したりしてもよい。たとえば、図１２に示すように、推定装置１００は、ある処置が完了した後、次の処置のための診療装置１の操作（たとえば、チェア１１の操作、診療器具１５の操作など）を術者に報知してもよい。報知態様としては、操作パネル１８に表示されたアイコン画像を点滅させたり、バキュームおよびエアタービンハンドピースなどの診療器具１５の操作ボタンを点滅させたりすればよい。なお、推定装置１００は、ブザー音や音声などの音で次の処置内容などを知らせたり、ディスプレイにイラストや文章を表示することで次の処置内容などを知らせたり、表示機能が搭載された眼鏡に表示することで次の処置内容などを知らせたりといったように、その他の報知によって操作支援を行うものであってもよい。
[Operation support for medical equipment]
FIG. 12 is a diagram for explaining an example of operation support of the
［アラート出力支援］
図１３は、推定装置１００によるアラート出力支援の一例を説明するための図である。推定装置１００は、術者や患者の行動が映し出された全体画像のデータに基づき、診療内容推定部１７６によって診療内容を推定し、処置内容推定部１７１によって処置内容を推定することができる。そこで、推定装置１００は、ある処置において、術者があり得ない異常な行動をしている場合に、アラートを出力してもよい。たとえば、図１３に示すように、推定装置１００は、ある処置内において歯科医師３が診療器具を持ちながら後ろを向いている場合、患者である小児が治療時に突然動いた場合、あるいは、診療器具が頬や舌に接触しそうになる場合に、操作パネル１８およびスピーカ２０からアラートを出力してもよい。さらに、術者の行動の異常度（危険度）が高ければ高いほど、アラートの出力レベル（輝度や音量のレベル）を高くしたり、アラートの出力頻度を高くしたりしてもよい。また、推定装置１００は、診療器具のうち、たとえば、駆動中のエアタービンハンドピースやモータハンドピースの回転数を下げたり、これらを停止する制御を実行したりしてもよい。
[Alert output support]
FIG. 13 is a diagram for explaining an example of alert output support by the
［術者の評価支援］
図１４は、推定装置１００による術者の評価支援の一例を説明するための図である。推定装置１００の処置内容推定部１７１は、熟練者の診療中に時系列で入力される画像関連データおよび診療関連データに基づき、時系列で処置内容を推定するといった学習を繰り返すことで、治療ごとに熟練者による理想的な処置の手順、処置のタイミング、および処置内容における術者の行動を機械学習することができる。さらに、推定装置１００の処置内容推定部１７１は、理想的な術者の姿勢、ポジショニング、診療器具のグリップ方法なども機械学習することができる。そこで、推定装置１００は、一連の治療が完了した後、または、治療中にリアルタイムで、完了した処置の手順、処置のタイミング、および処置内における術者の行動の評価結果を報知してもよい。たとえば、図１４に示すように、推定装置１００は、一連の治療が完了した後、あるいは、治療中にリアルタイムで、表でまとめられた術者の行動の評価結果を表示装置１１０に表示してもよいし、当該評価結果をデータベースに蓄積することで評価の推移が分かるようにしてもよい。
[Surgeon evaluation support]
FIG. 14 is a diagram for explaining an example of evaluation support of the operator by the
＜診療内容の推定の一例＞
図１５〜図２２を参照しながら、推定装置１００による診療内容の推定の一例について説明する。なお、図１５〜図２２には、根管治療の例が示されている。
<Example of estimation of medical treatment content>
An example of estimating the medical treatment content by the
診療中においては、トレーカメラ５１によって、シャッタータイミングに依存する所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた１または複数の診療器具が撮影される。
During medical treatment, the
たとえば、図１５は、根管治療におけるトレーカメラ５１の撮影画像の一例を説明するための図である。図１５に示すように、根管治療に含まれる処置として審査が行われているタイミングｔＡ２では、術者によってピンセット３１４、ミラー３１６、および深針３１８が使用されるため、トレーカメラ５１の撮影画像にはピンセット３１４、ミラー３１６、および深針３１８が映し出されない。根管治療に含まれる処置として抜髄が行われているタイミングｔＡ３では、術者によってファイル３０５およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像にはファイル３０５およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管長測定が行われているタイミングｔＡ５では、術者によって根管長測定器３０３およびファイル３０５が使用されるため、トレーカメラ５１の撮影画像には根管長測定器３０３およびファイル３０５が映し出されない。根管治療に含まれる処置として消毒・洗浄が行われているタイミングｔＡ７では、術者によって洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像には洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管充填が行われているタイミングｔＡ９では、術者によってミラー３１６および根管材料注入器３１９が使用されるため、トレーカメラ５１の撮影画像にはミラー３１６および根管材料注入器３１９が映し出されない。根管治療に含まれる処置として詰め込み・被せが行われているタイミングｔＡ１１では、術者によって仮封剤充填器３１１、ピンセット３１４、およびミラー３１６が使用されるため、トレーカメラ５１の撮影画像には仮封剤充填器３１１、ピンセット３１４、およびミラー３１６が映し出されない。
For example, FIG. 15 is a diagram for explaining an example of an image taken by the
このように、診療中においては、トレー３０に置かれた診療器具の有無、形状、および種類などが、トレーカメラ５１の撮影画像によって映し出される。
In this way, during medical treatment, the presence, shape, type, and the like of the medical equipment placed on the
推定装置１００は、上述したようなトレーカメラ５１の撮影画像のデータ（トレー画像データとしての画像関連データ）が入力部１５０から入力されると、推定部１５１による画像認識によって、画像に含まれる特徴量を抽出する。
When the data of the captured image of the tray camera 51 (image-related data as tray image data) as described above is input from the
たとえば、図１６は、トレーカメラ５１の撮影画像から取得されたトレー画像データの一例を説明するための図である。図１６に示すように、推定装置１００は、所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、および種類などを推定し、トレー３０上に存在する診療器具に対応する記憶領域に「０」のデータを格納し、トレー３０上に存在しない診療器具に対応する記憶領域に「１」のデータを格納する。これにより、図１６に示すように、推定装置１００は、所定のタイミングごとに診療器具の有無を区別可能なデータ（画像関連データ）を得ることができる。
For example, FIG. 16 is a diagram for explaining an example of tray image data acquired from a captured image of the
また、診療中においては、患者カメラ５２によって、シャッタータイミングに依存する所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内が撮影される。
In addition, during medical treatment, the
そして、推定装置１００は、患者カメラ５２の撮影画像のデータ（患者画像データとしての画像関連データ）が入力部１５０から入力されると、推定部１５２による画像認識によって、画像に含まれる特徴量を抽出する。
Then, when the data of the image captured by the patient camera 52 (image-related data as the patient image data) is input from the
たとえば、図１７は、患者カメラ５２の撮影画像から取得された患者画像データの一例を説明するための図である。図１７に示すように、推定装置１００は、所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定し、診療器具と患者の唇、または診療器具と患者の頬との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、図１７に示すように、推定装置１００は、所定のタイミングごとに患者の口腔内における診療器具の位置を特定可能なデータ（画像関連データ）を得ることができる。
For example, FIG. 17 is a diagram for explaining an example of patient image data acquired from an image captured by the
また、診療中においては、全体カメラ５３によって、シャッタータイミングに依存する所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、術者および患者の行動、診療装置１の動作などが撮影される。
In addition, during medical treatment, the
そして、推定装置１００は、全体カメラ５３の撮影画像のデータ（全体画像データとしての画像関連データ）が入力部１５０から入力されると、推定部１５３による画像認識によって、画像に含まれる特徴量を抽出する。
Then, when the data of the image captured by the entire camera 53 (image-related data as the entire image data) is input from the
たとえば、図１８は、全体カメラ５３の撮影画像から取得された全体画像データの一例を説明するための図である。図１８に示すように、推定装置１００は、所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定し、術者と患者、または診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、図１８に示すように、推定装置１００は、所定のタイミングごとに術者の行動、患者の行動、および診療装置１の動作を特定可能なデータ（画像関連データ）を得ることができる。
For example, FIG. 18 is a diagram for explaining an example of overall image data acquired from an image captured by the
また、診療中においては、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）ごとに、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、および表示制御装置２２の少なくともいずれか１つにおける動作および制御を示すログデータが、診療装置１から出力される。
Further, during medical treatment, the
たとえば、図１９は、診療装置１から取得された診療関連データの一例を説明するための図である。図１９に示すように、診療関連データにおいては、診療器具１５について、ピックアップの有無、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、バキュームシリンジの動作、サライバエジェクタの動作、および注水の動作状態などを表すログデータが含まれ、チェア１１について、座面高さ、背板角度、およびチェア１１の動作状態などを表すログデータが含まれ、フットコントローラ１６について、踏込量、踏込パターン、およびスイッチ状態などを表すログデータが含まれ、照明装置１９について、点灯状態および発光強度などを表すログデータが含まれ、ベースンユニット１２について、コップの載置の有無などを表すログデータが含まれる。
For example, FIG. 19 is a diagram for explaining an example of medical care-related data acquired from the
なお、ログデータは、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）ごとに診療装置１から出力されるものに限らず、イベントの発生（たとえば、チェア１１の動作の切り替え、診療器具１５の動作の切り替えなど）ごとに診療装置１から出力されるものであってもよい。
The log data is not limited to the one output from the
推定装置１００は、診療関連データが入力部１５０から入力されると、変換部１５４によって、画像関連データと同期させるために適した形式に診療関連データを変換する。
When the medical care-related data is input from the
次に、推定装置１００は、同期部１５５によって、図１６〜図１８に示す画像関連データと図２０に示す診療関連データとを、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに同期させる。
Next, the
たとえば、図２０および図２１は、同期データの一例を説明するための図である。図２０および図２１に示すように、同期データには、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、画像関連データと診療関連データとを同期させたデータが含まれる。 For example, FIGS. 20 and 21 are diagrams for explaining an example of synchronization data. As shown in FIGS. 20 and 21, in the synchronized data, the image-related data and the medical care-related data were synchronized at predetermined timings (T1, T2, T3, ...) According to the time axis of the synchronization time. Contains data.
たとえば、図１６に示すトレー画像データにおけるｔＡ３、ｔＡ４のデータは、図２０に示す同期データにおけるＴ３〜Ｔ５のデータに対応付けられ、図１６に示すトレー画像データにおけるｔＡ７のデータは、図２０に示す同期データにおけるＴ８，Ｔ９のデータに対応付けられている。図１９に示す患者画像データにおけるｔＢ３、ｔＢ４のデータは、図２０に示す同期データにおけるＴ３〜Ｔ５のデータに対応付けられ、図１９に示す患者画像データにおけるｔＢ７のデータは、図２０に示す同期データにおけるＴ８，Ｔ９のデータに対応付けられている。図１８に示す全体画像データにおけるｔＣ３、ｔＣ４のデータは、図２０に示す同期データにおけるＴ３〜Ｔ５のデータに対応付けられ、図１８に示す全体画像データにおけるｔＣ７のデータは、図２０に示す同期データにおけるＴ８，Ｔ９のデータに対応付けられている。 For example, the data of tA3 and tA4 in the tray image data shown in FIG. 16 is associated with the data of T3 to T5 in the synchronization data shown in FIG. 20, and the data of tA7 in the tray image data shown in FIG. 16 is shown in FIG. It is associated with the data of T8 and T9 in the synchronized data shown. The data of tB3 and tB4 in the patient image data shown in FIG. 19 are associated with the data of T3 to T5 in the synchronization data shown in FIG. 20, and the data of tB7 in the patient image data shown in FIG. 19 is the synchronization shown in FIG. It is associated with the data of T8 and T9 in the data. The data of tC3 and tC4 in the whole image data shown in FIG. 18 is associated with the data of T3 to T5 in the synchronization data shown in FIG. 20, and the data of tC7 in the whole image data shown in FIG. 18 is the synchronization shown in FIG. It is associated with the data of T8 and T9 in the data.
次に、推定装置１００は、セグメント化部１５６によって、図２０および図２１に示す同期データに含まれる画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化する。
Next, the
たとえば、図２２は、画像関連データおよび診療関連データのセグメント化の一例を説明するための図である。図２２に示すように、画像関連データと診療関連データとの関連付けが行われると、所定のタイミングごとに同期データが区切られる。 For example, FIG. 22 is a diagram for explaining an example of segmentation of image-related data and medical care-related data. As shown in FIG. 22, when the image-related data and the medical care-related data are associated with each other, the synchronization data is separated at predetermined timing intervals.
ここで、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータに変化がなくても、その他のデータを参照すればデータに変化が生じている場合もある。すなわち、推定装置１００は、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々から、複数のデータを参照して組み合わせることで、適切なタイミングで同期データを区切ることができる。
Here, even if there is no change in the tray image data, the patient image data, the whole image data, and the medical care-related data alone, the data may be changed by referring to the other data. That is, the
たとえば、図２２に示すように、トレー画像データにおいては、Ｔ８〜Ｔ１０の各々のデータが同じであるが、全体画像データおよび診療関連データにおいては、Ｔ８，Ｔ９のデータとＴ１０のデータとで異なる。よって、推定装置１００は、全体画像データおよび診療関連データに基づいて、確率が高いと予想されるＴ９のデータとＴ１０のデータとの間で同期データを区切る。
For example, as shown in FIG. 22, in the tray image data, each data of T8 to T10 is the same, but in the whole image data and the medical care-related data, the data of T8 and T9 and the data of T10 are different. .. Therefore, the
また、たとえば、図２２に示すように、診療関連データにおいては、Ｔ１〜Ｔ３の各々のデータが同じであるが、トレー画像データおよび全体画像データにおいては、Ｔ１，Ｔ２のデータとＴ３のデータとで異なる。よって、推定装置１００は、トレー画像データおよび全体画像データに基づいて、確率が高いと予想されるＴ２のデータとＴ３のデータとの間で同期データを区切る。
Further, for example, as shown in FIG. 22, in the medical care-related data, the respective data of T1 to T3 are the same, but in the tray image data and the whole image data, the data of T1 and T2 and the data of T3 Is different. Therefore, the
このように、推定装置１００は、同期データのセグメント化にあたって、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータが不足している場合があっても、他のデータを参照することで、適切なタイミングで同期データを区切ることができる。
As described above, in segmenting the synchronous data, the
次に、推定装置１００は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データに基づき、推定部１６０（処置内容推定部１７１）によって、処置内容を推定する。
Next, the
たとえば、図２２に示すように、セグメント化された期間ごとの同期データに対して、処置内容を推定する。具体的には、推定装置１００は、Ｔ１およびＴ２に対応する同期データから、処置内容として「審査」を推定し、Ｔ３〜Ｔ５に対応する同期データから、処置内容として「抜髄」を推定し、Ｔ６およびＴ７に対応する同期データから、処置内容として「根管長測定」を推定し、Ｔ８およびＴ９に対応する同期データから、処置内容として「洗浄・消毒」を推定し、Ｔ１０およびＴ１１に対応する同期データから、処置内容として「根管充填」を推定し、Ｔ１２およびＴ１３に対応する同期データから、処置内容として「詰め込み・被せ」を推定する。
For example, as shown in FIG. 22, the treatment content is estimated for the synchronized data for each segmented period. Specifically, the
その後、推定装置１００は、推定部１６０（診療内容推定部１７６）によって、上述した処置内容の推定結果に基づき、診療内容として「根管治療」を推定する。
After that, the
なお、推定装置１００は、タグ付け部１６４によって、上述した処置内容の推定結果に対してタグを付けてもよく、さらに、そのタグ付けた処置内容の推定結果を、術者などのユーザが理解できるように表示装置１１０などに表示してもよい。
The
以上のように、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、トレー画像データ、患者画像データ、および全体画像データの少なくともいずれか１つに基づき、診療内容ないし処置内容を推定するための特徴を見出すことで、診療内容ないし処置内容を推定することができる。
As described above, the
＜推定装置の推定処理＞
図２３を参照しながら、運用段階において推定装置１００が実行する推定処理について説明する。図２３は、推定装置１００が実行する推定処理の一例を説明するためのフローチャートである。図２３に示す各ステップ（以下、「Ｓ」で示す。）は、推定装置１００の演算装置１０２がＯＳ１４２および推定用プログラム１４１を実行することで実現される。
<Estimation processing of estimation device>
The estimation process executed by the
図２３に示すように、推定装置１００は、推定処理の開始条件が成立したか否かを判定する（Ｓ１）。開始条件は、たとえば、推定装置１００の電源を立ち上げたときに成立してもよいし、推定装置１００の電源を立ち上げた後に推定処理に対応するモードに切り替えられたときに成立してもよい。また、開始条件は、一定量の画像関連データおよび診療関連データが取得されたときに成立してもよい。さらに、開始条件は、術者によって診療の開始を通知する入力操作（たとえば、推定装置の開始スイッチの操作）が行われたときに成立してもよいし、術者によって診療の終了を通知する入力操作（たとえば、推定装置の終了スイッチの操作）が行われたときに成立してもよい。開始条件は、推定装置１００において何らかの開始イベントが発生したときに成立するものであればよい。
As shown in FIG. 23, the
推定装置１００は、開始条件が成立していない場合（Ｓ１でＮＯ）、本処理を終了する。一方、推定装置１００は、開始条件が成立した場合（Ｓ１でＹＥＳ）、画像関連データが入力されたか否かを判定する（Ｓ２）。推定装置１００は、画像関連データが入力された場合（Ｓ２でＹＥＳ）、推定部１５１〜１５３によって、画像関連データに含まれるオブジェクト（物体）の特徴量を抽出してオブジェクトを推定する（Ｓ３）。これにより、推定装置１００は、診療器具などのオブジェクトの画像認識を行う。
If the start condition is not satisfied (NO in S1), the
推定装置１００は、画像関連データが入力されていない場合（Ｓ２でＮＯ）、またはＳ３の処理の後、診療関連データが入力されたか否かを判定する（Ｓ４）。推定装置１００は、診療関連データが入力された場合（Ｓ４でＹＥＳ）、変換部１５４によって、診療関連データを所定の形式に変換する（Ｓ５）。
The
推定装置１００は、診療関連データが入力されていない場合（Ｓ４でＮＯ）、またはＳ５の処理の後、画像関連データおよび診療関連データを所定量蓄積したか否かを判定する（Ｓ６）。たとえば、推定装置１００は、診療内容を推定するために必要となるデータ量を蓄積したか否かを判定する。推定装置１００は、画像関連データおよび診療関連データを所定量蓄積していない場合（Ｓ６でＮＯ）、Ｓ２の処理に戻る。
The
一方、推定装置１００は、画像関連データおよび診療関連データを所定量蓄積した場合（Ｓ６でＹＥＳ）、同期部１５５によって、画像関連データと診療関連データとを同期させることで同期データを生成する（Ｓ７）。なお、推定装置１００は、定期的に行われる画像関連データおよび診療関連データの蓄積における所定周期の一周期（たとえば、６０ｍｓｅｃ）が経過したか否かという条件を、Ｓ６の処理に替えて判定してもよい。この場合、推定装置１００は、一周期（たとえば、６０ｍｓｅｃ）が経過した場合に、Ｓ７の処理を実行すればよい。
On the other hand, when the
次に、推定装置１００は、セグメント化部１５６によって、同期データに基づき、画像関連データと診療関連データとを所定のタイミングで区切ることで、同期データをセグメント化する（Ｓ８）。
Next, the
次に、推定装置１００は、処置内容推定部１７１によって、セグメント化された同期データに基づき、処置内容を推定する（Ｓ９）。次に、推定装置１００は、タグ参照部１６６によって、推定した処置内容に対して参照したタグを付ける（Ｓ１０）。
Next, the
次に、推定装置１００は、診療内容推定部１７６によって、タグが付された処置内容の組み合わせに基づき、診療内容を推定する（Ｓ１１）。次に、推定装置１００は、推定した診療内容を、診療支援部１９０によって用いられる装置（たとえば、表示装置１１０、診療装置１など）に出力し（Ｓ１２）、本処理を終了する。
Next, the
このように、推定装置１００は、推定用プログラム１４１によって規定された推定方法を用いることにより、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As described above, the
＜主な開示＞
以上のように、本実施の形態では以下のような開示を含む。
<Main disclosure>
As described above, the present embodiment includes the following disclosure.
［構成１］
推定装置（１００）は、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する第１推定部（１６０）と、を備える。
[Structure 1]
In the estimation device (100), image-related data obtained by taking a picture of the medical care space for treating the patient with a camera (51, 52, 53) and medical care-related data acquired by the medical care device (1) for treating the patient are input. A patient based on an input unit (150), image-related data and clinical-related data input from the input unit (150), and a first estimation model (172,177) including a first neural network (173,178). It is provided with a first estimation unit (160) for estimating the medical treatment contents of the above.
これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
［構成２］
推定システム（１０００）は、患者を診療する診療空間を撮影するカメラ（５１，５２，５３）と、患者を診療する診療装置（１）と、カメラ（５１，５２，５３）で撮影した画像関連データと、診療装置（１）で取得した診療関連データとに基づき、患者の診療内容を推定する推定装置（１００）と、を備え、推定装置（１００）は、画像関連データと診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデルとに基づき、患者の診療内容を推定する第１推定部（１６０）とを含む。
[Structure 2]
The estimation system (1000) is related to images taken by a camera (51, 52, 53) that captures a medical treatment space for treating a patient, a medical treatment device (1) that treats a patient, and a camera (51, 52, 53). The estimation device (100) includes an estimation device (100) that estimates the medical treatment content of the patient based on the data and the medical treatment-related data acquired by the medical treatment device (1), and the estimation device (100) includes image-related data and medical treatment-related data. Based on the input unit (150) into which is input, the image-related data and clinical-related data input from the input unit (150), and the first estimation model including the first neural network (173,178). It includes a first estimation unit (160) for estimating medical treatment contents.
これにより、推定システム１０００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
［構成３］
推定装置（１００）は、入力部（１５０）から入力される画像関連データと、第２ニューラルネットワーク（１５１２）を含む第２推定モデル（１５１１）とに基づき、患者を診療するための診療器具（３０１〜３１９）を少なくとも推定する第２推定部（１５１）を備え、第１推定部（１６０）は、第２推定部（１５１）による推定結果を含む画像関連データおよび診療関連データと、第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する。
[Structure 3]
The estimation device (100) is a medical device (1511) for treating a patient based on the image-related data input from the input unit (150) and the second estimation model (1511) including the second neural network (1512). A second estimation unit (151) that estimates at least 301 to 319) is provided, and the first estimation unit (160) includes image-related data and medical treatment-related data including estimation results by the second estimation unit (151), and a first. Based on the estimation model (172, 177), the medical treatment content of the patient is estimated.
これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データに基づき診療器具を推定した上で、当該推定結果に基づき診療内容を推定するため、診療器具の推定結果を利用して、診療内容の推定結果に基づいた種々の診療支援機能の提供を実現することができる。
As a result, the
［構成４］
推定装置（１００）は、入力部（１５０）から入力される診療関連データを、所定の形式に変換する変換部（１５４）を備える。
[Structure 4]
The estimation device (100) includes a conversion unit (154) that converts medical treatment-related data input from the input unit (150) into a predetermined format.
これにより、推定装置１００は、診療関連データを変換することで、診療関連データの形式を診療内容の推定に適した形式とすることができ、診療関連データを効率良く活用することができる。
As a result, the
［構成５］
推定装置（１００）は、第２推定部（１５１）による推定結果を含む画像関連データと、変換部（１５４）によって変換される診療関連データとを時系列に同期させる同期部（１５５）を備える。
[Structure 5]
The estimation device (100) includes a synchronization unit (155) that synchronizes the image-related data including the estimation result by the second estimation unit (151) and the medical care-related data converted by the conversion unit (154) in time series. ..
これにより、たとえば、推定部１５１〜１５３による画像認識処理の時間が変換部１５４による変換処理の時間よりも長くなるような場合でも、推定装置１００は、画像関連データと診療関連データとを時系列に同期させることで、画像関連データと診療関連データと効率的に比較し易くすることができるため、より正確かつ容易に診療内容を推定することができる。
As a result, for example, even if the image recognition processing time by the
［構成６］
第１推定部（１６０）は、同期部（１５５）によって同期される画像関連データおよび診療関連データと、第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する。
[Structure 6]
The first estimation unit (160) estimates the medical treatment content of the patient based on the image-related data and the medical treatment-related data synchronized by the synchronization unit (155) and the first estimation model (172, 177).
これにより、推定装置１００は、画像関連データと診療関連データとを時系列に同期させた同期データを用いて、より正確かつ容易に診療内容を推定することができる。
As a result, the
［構成７］
第１推定部（１６０）は、同期部（１５５）によって同期される画像関連データおよび診療関連データと、第１推定モデル（１７２，１７７）とに基づき、所定の期間における患者に対する処置内容を推定し、推定した当該処置内容に基づき当該患者の診療内容を推定する。
[Structure 7]
The first estimation unit (160) estimates the treatment content for the patient in a predetermined period based on the image-related data and the medical care-related data synchronized by the synchronization unit (155) and the first estimation model (172, 177). Then, the medical treatment content of the patient is estimated based on the estimated treatment content.
これにより、推定装置１００は、画像関連データと診療関連データとを時系列に同期させた同期データを用いて、先に処置内容を推定した上で、その後に処置内容の推定結果に基づき診療内容を推定する。すなわち、推定装置１００は、情報量の多い画像関連データおよび診療関連データを次元圧縮することで、まずは処置内容の推定結果を算出し、当該推定結果に基づき診療内容を推定するため、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
［構成８］
第１ニューラルネットワーク（１７３，１７８）は、リカレントニューラルネットワークである。
[Structure 8]
The first neural network (173,178) is a recurrent neural network.
これにより、推定装置１００は、時系列に入力される画像関連データおよび診療関連データに適したＡＩ技術であるリカレントニューラルネットワークを用いることで、より正確かつ容易に診療内容を推定することができる。
As a result, the
［構成９］
第１推定モデル（１７２，１７７）は、画像関連データおよび診療関連データに関連付けられた患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき学習されたものである。
[Structure 9]
The first estimation model (172, 177) is based on the medical treatment content of the patient associated with the image-related data and the medical treatment-related data, and the estimation result of the medical treatment content of the patient using the image-related data and the medical treatment-related data. It was learned based on.
これにより、推定装置１００は、画像関連データおよび診療関連データに基づき機械学習を行うことで、正確かつ容易に診療内容を推定することができる。
As a result, the
［構成１０］
第１推定モデル（１７２，１７７）は、第１ニューラルネットワーク（１７３，１７８）によって用いられるパラメータ（１７４，１７９）として、重み付け係数および判定値の少なくともいずれか１つを含み、第１推定モデル（１７２，１７７）は、画像関連データおよび診療関連データに関連付けられた患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき、パラメータ（１７４，１７９）が更新されることで学習される。
[Structure 10]
The first estimation model (172,177) includes at least one of a weighting coefficient and a determination value as a parameter (174,179) used by the first neural network (173,178), and the first estimation model (172,177) includes the first estimation model (173,178). 172, 177) is a parameter (174) based on the medical treatment content of the patient associated with the image-related data and the medical treatment-related data, and the estimation result of the medical treatment content of the patient using the image-related data and the medical treatment-related data. , 179) is updated to learn.
これにより、推定装置１００は、画像関連データおよび診療関連データに基づきパラメータ調整によって機械学習を行うことで、正確かつ容易に診療内容を推定することができる。
As a result, the
［構成１１］
画像関連データは、患者の口腔内、および患者を診療するための診療器具（３０１〜３１９）が置かれるトレー（３０）の少なくともいずれか１つを含む領域の画像のデータ（患者画像データ，トレー画像データ）を含む。
[Structure 11]
The image-related data is image data (patient image data, tray) of an area including at least one of a tray (30) in which a medical device (301 to 319) for treating a patient is placed in the oral cavity of a patient. Image data) is included.
これにより、推定装置１００は、患者の口腔内および診療器具が置かれるトレー３０の少なくともいずれか１つを含む領域の画像のデータに基づいて、正確かつ容易に診療内容を推定することができる。
Thereby, the
［構成１２］
診療関連データは、診療装置（１）のログデータを含む。
[Structure 12]
The medical care-related data includes the log data of the medical care device (1).
これにより、推定装置１００は、診療装置１のログデータに基づいて、正確かつ容易に診療内容を推定することができる。さらに、推定装置１００は、診療内容を推定するにあたって、画像関連データのみではデータが不足している場合があっても、診療装置１のログデータを参照することで、その不足分のデータを補うことができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
［構成１３］
ログデータは、診療装置（１）が備えるチェア（１１）を駆動するデータ、診療装置（１）が備える診療器具（１５）を駆動するデータ、診療装置（１）が備える照明装置（１９）を駆動するデータ、および診療装置（１）が備える給水・排水装置（１２）を駆動するデータの少なくともいずれか１つを含む。
[Structure 13]
The log data includes data for driving the chair (11) included in the medical device (1), data for driving the medical device (15) provided in the medical device (1), and lighting device (19) provided in the medical device (1). It includes at least one of the data to be driven and the data to drive the water supply / drainage device (12) included in the medical device (1).
これにより、推定装置１００は、チェア１１を駆動するデータ、診療器具１５を駆動するデータ、照明装置１９を駆動するデータ、および給水・排水装置（ベースンユニット）１２を駆動するデータなど、診療中において生成されるデータを用いることで、診療内容を推定するための画像関連データの不足分を補うことができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
［構成１４］
推定装置（１００）は、第１推定部（１６０）による推定結果に基づき診療支援を実行する診療支援部（１９０）を備える。
[Structure 14]
The estimation device (100) includes a medical care support unit (190) that executes medical care support based on the estimation result by the first estimation unit (160).
これにより、推定装置１００は、診療内容の推定結果を用いて診療支援を行うことができ、より利便性のある歯科診療を実現することができる。
As a result, the
［構成１５］
推定装置（１００）は、入力部（１５０）から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部（１５６）と、セグメント化部（１５６）によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する第１推定部（１６０）と、を備える。
[Structure 15]
The estimation device (100) is provided by a segmentation unit (156) and a segmentation unit (156) that segment the image-related data and the medical care-related data input from the input unit (150) at a predetermined timing. The first estimation unit (160) that estimates the medical treatment content of a patient based on the segmented image-related data and medical treatment-related data and the first estimation model (172, 177) including the first neural network (173, 178). ) And.
これにより、推定装置１００は、画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化した上で、そのセグメント化された画像関連データおよび診療関連データに基づき診療内容を推定する。すなわち、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
［構成１６］
所定のタイミングは、診療関連データに含まれる、診療装置（１）が備えるチェア（１１）を駆動するデータ、診療装置（１）が備える診療器具（１５）を駆動するデータ、診療装置（１）が備える照明装置（１９）を駆動するデータ、および診療装置（１）が備える給水・排水装置（１２）を駆動するデータの少なくともいずれか１つに基づき診療に関する装置の駆動の発生または継続が判定されるタイミングである。
[Structure 16]
The predetermined timing includes data for driving the chair (11) included in the medical device (1), data for driving the medical device (15) included in the medical device (1), and medical device (1) included in the medical care-related data. The occurrence or continuation of the drive of the device related to medical care is determined based on at least one of the data for driving the lighting device (19) provided in the medical device and the data for driving the water supply / drainage device (12) provided in the medical device (1). It is the timing to be done.
これにより、推定装置１００は、チェア１１を駆動するデータ、診療器具１５を駆動するデータ、照明装置１９を駆動するデータ、および給水・排水装置（ベースンユニット）１２を駆動するデータなど、診療中において生成されるデータに基づき、画像関連データと診療関連データとをセグメント化するため、診療内容の推定における効率および精度が高まる適切なタイミングで画像関連データと診療関連データとを区切ってセグメント化することができる。
As a result, the
［構成１７］
セグメント化部（１５６）は、同期部（１５５）によって同期される画像関連データおよび診療関連データに基づき、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化する。
[Structure 17]
The segmentation unit (156) segments the image-related data and the medical care-related data at a predetermined timing based on the image-related data and the medical care-related data synchronized by the synchronization unit (155).
これにより、推定装置１００は、画像関連データと診療関連データとを時系列に同期させた同期データを用いて、画像関連データと診療関連データとをセグメント化することができる。
Thereby, the
［構成１８］
第１推定部（１６０）は、セグメント化部（１５６）によってセグメント化される画像関連データおよび診療関連データに基づき、所定の期間における患者に対する処置内容を推定し、推定した当該処置内容に基づき当該患者の診療内容を推定する。
[Structure 18]
The first estimation unit (160) estimates the treatment content for the patient in a predetermined period based on the image-related data and the medical treatment-related data segmented by the segmentation unit (156), and the treatment content is based on the estimated treatment content. Estimate the medical treatment of the patient.
これにより、推定装置１００は、セグメント化された画像関連データおよび診療関連データを用いて、先に所定の期間における処置内容を推定した上で、その後に処置内容の推定結果に基づき診療内容を推定する。すなわち、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮することで、まずは所定の期間における処置内容の推定結果を算出し、当該推定結果に基づき診療内容を推定するため、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
［構成１９］
セグメント化部（１５６）は、画像関連データおよび診療関連データの少なくともいずれか１つに含まれる患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化する。
[Structure 19]
The segmentation unit (156) determines the image-related data and the medical care-related data based on the data indicating the occurrence of the patient's medical care-related event included in at least one of the image-related data and the medical care-related data. Segment by dividing by timing.
これにより、推定装置１００は、患者の診療に関するイベントが発生したタイミングなど、処置内容が切り替わるであろうタイミングに基づき、画像関連データと診療関連データとを区切ってセグメント化することができ、効率的に診療内容を推定することができる。
As a result, the
［構成２０］
コンピュータ（１０２）による歯科における診療内容を推定する推定方法は、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力されるステップ（Ｓ２，Ｓ４）と、入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定するステップ（Ｓ１１）と、を含む。
[Structure 20]
The estimation method for estimating the medical treatment content in dentistry by the computer (102) is to acquire the image-related data obtained by taking the medical treatment space for treating the patient with the camera (51, 52, 53) and the medical treatment device (1) for treating the patient. Steps (S2, S4) in which the medical care-related data is input, image-related data and medical care-related data to be input, and a first estimation model (172, 177) including a first neural network (173,178). The step (S11) of estimating the medical treatment content of the patient based on the above is included.
これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
［構成２０］
推定方法は、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップ（Ｓ８）と、セグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定するステップ（Ｓ１１）と、を含む。
[Structure 20]
The estimation method includes a step (S8) of segmenting the input image-related data and the medical care-related data by dividing them at a predetermined timing, the segmented image-related data and the medical care-related data, and the first neural network (1st neural network). Includes a step (S11) of estimating the medical care content of the patient based on the first estimation model (172, 177) including 173,178).
これにより、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
［構成２０］
推定用プログラム（１４１）は、コンピュータ（１０２）に、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力されるステップ（Ｓ２，Ｓ４）と、入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定するステップ（Ｓ１１）と、を実行させる。
[Structure 20]
The estimation program (141) is a computer (102) with image-related data obtained by capturing a medical treatment space for treating a patient with a camera (51, 52, 53) and a medical treatment device (1) for treating a patient. Based on the steps (S2, S4) in which the related data are input, the image-related data and the medical care-related data to be input, and the first estimation model (172, 177) including the first neural network (173,178). , The step (S11) of estimating the medical treatment content of the patient and
これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
［構成２１］
推定用プログラム（１４１）は、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップ（Ｓ８）と、セグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定するステップ（Ｓ１１）と、を実行させる。
[Structure 21]
The estimation program (141) includes a step (S8) of segmenting the input image-related data and the medical care-related data by separating them at a predetermined timing, the segmented image-related data and the medical care-related data, and the first. 1. Based on the first estimation model (172, 177) including the neural network (173, 178), the step (S11) of estimating the medical treatment content of the patient is executed.
これにより、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
＜第２実施形態に係る推定装置の機能構成＞
第１実施形態に係る推定装置１００においては、先に、画像関連データおよび診療関連データに基づき、処置内容推定部１７１によって処置内容を推定した上で、次に、処置内容の推定結果に基づき、診療内容推定部１７６によって診療内容を推定するものであった。しかしながら、推定装置は、以下で説明する第２実施形態に係る推定装置１００ａのように、処置内容を推定することなく、画像関連データおよび診療関連データに基づき、診療内容を推定してもよい。なお、以下では、第２実施形態に係る推定装置１００ａについて、第１実施形態に係る推定装置１００と異なる部分のみを説明し、第１実施形態に係る推定装置１００と共通する部分については同じ符号を付してその説明を省略する。
<Functional configuration of the estimation device according to the second embodiment>
In the
図２４は、第２実施形態に係る推定装置１００ａの学習段階における機能構成を示すブロック図である。図２５は、第２実施形態に係る推定装置１００ａの運用段階における機能構成を示すブロック図である。
FIG. 24 is a block diagram showing a functional configuration in the learning stage of the
図２４および図２５に示すように、第２実施形態に係る推定装置１００ａは、推定部１６０ａを備える。推定部１６０ａは、診療内容推定部１７６ａを有する。診療内容推定部１７６ａは、推定モデル１７７ａを有する。さらに、推定モデル１７７ａは、ニューラルネットワーク１７８ａと、当該ニューラルネットワーク１７８ａによって用いられるパラメータ１７９ａとを含む。パラメータ１７９ａは、ニューラルネットワーク１７８ａによる計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか１つを含む。なお、推定部１６０ａは、「第１推定部」の一実施形態に対応し、推定モデル１７７ａは、「第１推定モデル」の一実施形態に対応し、ニューラルネットワーク１７８ａは、「第１ニューラルネットワーク」の一実施形態に対応する。
As shown in FIGS. 24 and 25, the
第２実施形態に係る診療内容推定部１７６ａは、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データに基づき診療内容を推定する点で診療内容推定部１７６と異なる。具体的には、図２４に示すように、診療内容推定部１７６ａの推定モデル１７７ａは、教師データとしてセグメント化部１５６によってセグメント化された画像関連データおよび診療関連データが入力されると、ニューラルネットワーク１７８ａによって、当該画像関連データおよび当該診療関連データに関連付けられた診療内容を推定する。そして、推定モデル１７７ａは、自身の推定結果と、入力される画像関連データおよび診療関連データに関連付けられた正解データである診療内容とが一致するか否かを判定し、両者が一致すればパラメータ１７９ａを更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１７９ａを更新することで、パラメータ１７９ａを最適化する。
The medical care
このように、学習段階において、推定装置１００ａは、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データとに基づいて、診療内容を推定できるように、ニューラルネットワーク１７８ａを含む推定モデル１７７ａを機械学習させる。
As described above, in the learning stage, the
なお、第２実施形態における推定モデル１７７ａの機械学習について、第１実施形態における推定モデル１７２の機械学習と同様に、診療状況をリアルタイムに観察することで処置内容を把握した関係者によって診療内容の教師データ（正解データ）が与えられて推定モデル１７７ａが機械学習されてもよい。また、全体カメラ５３の撮影動画の再生表示を観察することで処置内容を把握した関係者によって診療内容の教師データ（正解データ）が与えられて推定モデル１７７ａが機械学習されてもよい。
Regarding the machine learning of the
図２５に示すように、運用段階において、診療内容推定部１７６ａは、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、ニューラルネットワーク１７８ａを含む推定モデル１７７ａとに基づき、患者の診療内容を推定し、その推定結果を診療支援部１９０に出力する。
As shown in FIG. 25, in the operation stage, the medical care
このように、運用段階において、推定装置１００ａは、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データと、ニューラルネットワーク１７８ａを含む推定モデル１７７ａとに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを用いて、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As described above, in the operation stage, the
上述したように、推定装置１００ａは、以下のように構成されている。すなわち、推定装置（１００ａ）は、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７８ａ）を含む第１推定モデル（１７７ａ）とに基づき、患者の診療内容を推定する第１推定部（１６０ａ）と、を備える。
As described above, the
これにより、推定装置１００ａは、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
推定装置（１００ａ）は、入力部（１５０）から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部（１５６）と、セグメント化部（１５６）によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７８ａ）を含む第１推定モデル（１７７ａ）とに基づき、患者の診療内容を推定する第１推定部（１６０ａ）と、を備える。 The estimation device (100a) is provided by a segmentation unit (156) and a segmentation unit (156) that segment the image-related data and the medical care-related data input from the input unit (150) at a predetermined timing. A first estimation unit (160a) that estimates the medical treatment content of the patient based on the segmented image-related data and medical treatment-related data and the first estimation model (177a) including the first neural network (178a). Be prepared.
これにより、推定装置１００ａは、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
＜変形例＞
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。
<Modification example>
The present invention is not limited to the above examples, and various modifications and applications are possible. Hereinafter, modifications applicable to the present invention will be described.
[推定部について]
図９および図１０に示す第１実施形態において、推定装置１００は、処置内容を推定した上で、さらに診療内容を推定するものであったが、診療内容を推定することなく、処置内容を推定したものを出力するものであってもよい。具体的には、推定装置１００の推定部１６０は、診療内容推定部１７６を有しなくてもよい。すなわち、推定装置１００は、以下のように構成されてもよい。
[About the estimation part]
In the first embodiment shown in FIGS. 9 and 10, the
推定装置（１００）は、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３）を含む第１推定モデル（１７２）とに基づき、所定の期間における患者に対する処置内容を推定する第１推定部（１６０）と、を備える。 In the estimation device (100), image-related data obtained by taking a picture of the medical care space for treating the patient with a camera (51, 52, 53) and medical care-related data acquired by the medical care device (1) for treating the patient are input. Patients in a predetermined period based on an input unit (150), image-related data and medical care-related data input from the input unit (150), and a first estimation model (172) including a first neural network (173). It is provided with a first estimation unit (160) for estimating the treatment content for the above.
これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に処置内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
推定装置（１００）は、入力部（１５０）から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部（１５６）と、セグメント化部（１５６）によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３）を含む第１推定モデル（１７２）とに基づき、患者の処置内容を推定する第１推定部（１６０）と、を備える。 The estimation device (100) is provided by a segmentation unit (156) and a segmentation unit (156) that segment the image-related data and the medical care-related data input from the input unit (150) at a predetermined timing. A first estimation unit (160) that estimates the treatment content of the patient based on the segmented image-related data and medical treatment-related data and the first estimation model (172) including the first neural network (173). Be prepared.
これにより、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
また、推定装置１００によって推定された処置内容に対して人間が理解できる言葉、記号、および色などでタグ付けされたものが出力される場合、術者によって行われた各処置の流れを言語化されてビジュアライズに表現することができる。このようにすれば、たとえば、熟練の歯科医師によるノウハウを口頭で伝承するのではなく、言語化されてビジュアライズに表現された処置内容を用いて、新米などの他の歯科医師にノウハウを伝えることができる。
In addition, when the treatment content estimated by the
[タグ付け部について]
本実施の形態においては、処置内容推定部１７１によって推定された処置内容に対してタグ付け部１６４がタグ付けした上で、そのタグ付けされた処置内容に基づき診療内容推定部１７６が診療内容を推定するものであった。しかしながら、タグ付け部１６４は必須ではなく、処置内容推定部１７１によって推定された処置内容がタグ付けされることなく診療内容推定部１７６に出力され、診療内容推定部１７６は、タグ付けされていない処置内容に基づき診療内容を推定してもよい。
[About the tagging part]
In the present embodiment, the tagging unit 164 tags the treatment content estimated by the treatment
なお、タグ付け部１６４によってタグ付けされた処置内容の推定結果に基づき、診療内容推定部１７６が診療内容を推定する場合、診療内容推定部１７６が処置内容を何らかのタグによって区別し易くなるため、診療内容の推定精度は向上する。
When the medical treatment
[カメラについて]
本実施の形態においては、トレーカメラ５１、患者カメラ５２、および全体カメラ５３が各１台ずつ診療装置１に取り付けられていたが、これらのカメラは複数台ずつ診療装置１に取り付けられてもよい。
[About the camera]
In the present embodiment, one
トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、固定式に限らず、トレー３０が載せられたトレーテーブル１３の動き、あるいは術者の動きに追従して動く可動式であってもよい。
The
トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、診療装置１に搭載される他、診療装置１の周囲から当該診療装置１方向へ光軸を向けたカメラであってもよい。また、カメラの撮影画像によって把握される診療空間において、撮影において死角が無いように複数のカメラが設置されてもよい。さらに、診療器具に搭載された口腔内用カメラ、マイクロスコープ、または、術者が利用する眼鏡へ搭載されるカメラの撮影画像を利用して、推定装置１００が処置内容ないしは診療内容を推定してもよい。
The
推定装置１００は、トレーカメラ５１の撮影画像を画像認識によって分析することで、トレー３０に置かれた診療器具の有無、形状、および種類などを特定するだけでなく、歯科医師や歯科助手などの術者の手に取られた診療器具、歯科医師や歯科助手などの術者の手に取られていた状況から置かれた診療器具を特定してもよい。
The
画像センサとして、カメラ以外に、生体センサ（たとえば、血圧センサ、呼吸センサ、体温センサ、心電図センサ、心拍センサなど）、音入力センサ（たとえば、マイク）などのセンサによって検知されたデータを推定装置１００へ追加入力させるようにしてもよく、推定装置１００は、これらのデータに基づき、処置内容や診療内容を推定してもよい。
As the image sensor, the
推定装置１００は、事前情報として、以前受診した際の患者のカルテに関するデータを推定装置１００へ追加入力させるようにしてもよく、推定装置１００は、患者のカルテに関するデータに基づき、処置内容や診療内容を推定してもよい。
The
[推定装置について]
本実施の形態においては、推定装置１００は、診療装置１が設置された診療空間内に配置されていたが、診療空間内に設置されたサーバであってもよい。この場合、推定装置１００は、診療空間内に設置された複数の診療装置１に接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、推定装置１００による機械学習の頻度が上がり、推定装置１００は、より精度良く診療内容を推定することができる。
[About the estimation device]
In the present embodiment, the
推定装置１００は、診療装置１が設置された診療空間外に設置されたサーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、推定装置１００は、診療空間内に設置された複数の診療装置１に接続されるとともに、他の歯科医院に設置された複数の診療装置１にも接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、推定装置１００による機械学習の頻度がさらに上がり、推定装置１００は、より精度良く診療内容を推定することができる。また、推定精度が十分な推定モデルを不必要にチューニングして過学習させないようにすることができる。
The
[その他の変形例について]
第１実施形態および第２実施形態において、推定装置は、各カメラ５１〜５３による画像関連データと診療関連データとを同期させてセグメント化させた後に、セグメント化した同期データを推定する推定部に入力させ、当該推定部において処置内容を推定させたが、それらデータと推定部とを分けてもよい。
[About other variants]
In the first embodiment and the second embodiment, the estimation device is used as an estimation unit that estimates the segmented synchronized data after synchronizing and segmenting the image-related data and the medical care-related data by the
たとえば、推定装置は、各カメラ５１〜５３による画像関連データの各々を互いに同期させてセグメント化させた後に、セグメント化した画像関連データの同期データを第１の推定部に入力し、当該第１の推定部において処置内容を推定することで第１推定結果を出力し、一方、複数の診療関連データの各々を互いに同期させてセグメント化させた後に、セグメント化した診療関連データの同期データを第２の推定部に入力し、当該第２の推定部において処置内容を推定することで第２推定結果を出力し、その後、第１推定結果および第２推定結果の２つの推定結果を、第３の推定部に入力し、当該第３の推定部において処置内容を推定することで第３推定結果を出力してもよい。なお、第１の推定部、第２の推定部、および第３の推定部は、同じ推定部であってもよいし、一部が共通する推定部であってもよいし、各々が異なる推定部であってもよい。また、第３の推定部は、リカレントニューラルネットワークを含む推定モデルであってもよい。第１の推定部および第２の推定部については、予め規定した条件を満たす場合に処置内容を推定するといったルールベースのようなアルゴリズムを有してもよい。さらに、第１の推定部は、各カメラ５１〜５３による画像関連データ各々の画像に基づいて各々の推定結果を出力する３つの推定部を含んでいてもよい。このように、入力させるデータの種類ごとに推定モデルを用いれば、推定モデルごとに学習精度を調整（チューニング）することができるため、推定精度が低下している推定モデルをチューニングするだけで全体の推定精度を向上させることができる。
For example, the estimation device synchronizes and segments each of the image-related data by the
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。 It should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present invention is shown by the scope of claims rather than the above description, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims. In addition, the configuration exemplified in this embodiment and the configuration exemplified in the modified example can be appropriately combined.
１ 診療装置、２ 患者、３ 歯科医師、４ 歯科助手、５ ポール、６ アーム、１１ チェア、１１ａ ヘッドレスト、１１ｂ 背もたれ、１１ｃ 座面シート、１１ｄ 足置き台、１２ ベースンユニット、１２ａ 鉢、１２ｂ コップ台、１２ｃ 給水栓、１３ トレーテーブル、１４ 器具ホルダー、１５ 診療器具、１６ フットコントローラ、１７ ディスプレイ、１８ 操作パネル、１９ 照明装置、２０ スピーカ、２１ 器具制御装置、２２ 表示制御装置、３０ トレー、５１ トレーカメラ、５２ 患者カメラ、５３ 全体カメラ、１００，１００ａ 推定装置、１０１ 通信装置、１０２ 演算装置、１０３ メモリ、１０４ ストレージ、１１０ 表示装置、１１１ チェア制御部、１２１ ベースン制御部、１２２ 照明制御部、１２３ 蓄積部、１２４ 通信部、１４１ 推定用プログラム、１５０ 入力部、１５１，１５２，１５３，１６０，１６０ａ 推定部、１５４ 変換部、１５５ 同期部、１５６ セグメント化部、１６１，１７２，１７７，１７７ａ，１５１１ 推定モデル、１６４ タグ付け部、１６５ 記憶部、１６６ タグ参照部、１７１ 処置内容推定部、１７３，１７８，１７８ａ，１５１２ ニューラルネットワーク、１７４，１７９，１７９ａ，１５１３ パラメータ、１７６，１７６ａ 診療内容推定部、１９０ 診療支援部、２１１ 器具制御部、２２１ ディスプレイ制御部、２２２ パネル制御部、３０１ ラバーダム防湿一式、３０２ ラバーダムシート、３０３ 根管長測定器、３０４ バーセット、３０５ ファイル、３０６ 口角対極、３０７ ファールクリップ、３０８ ブローチ、３０９ 洗浄用ニードル、３１０ 洗浄用シリンジ、３１１ 仮封剤充填器、３１２ クレンザー、３１３ タービン、３１４ ピンセット、３１５ バキューム、３１６ ミラー、３１７ エキスカベーター、３１８ 深針、３１９ 根管材料注入器、１０００ 推定システム。 1 Medical device, 2 Patient, 3 Dentist, 4 Dental assistant, 5 pole, 6 arm, 11 chair, 11a headrest, 11b backrest, 11c seat, 11d footrest, 12 basen unit, 12a bowl, 12b cup stand , 12c faucet, 13 tray table, 14 instrument holder, 15 medical instrument, 16 foot controller, 17 display, 18 operation panel, 19 lighting device, 20 speaker, 21 instrument control device, 22 display control device, 30 tray, 51 tray Camera, 52 Patient camera, 53 Overall camera, 100, 100a estimation device, 101 communication device, 102 arithmetic device, 103 memory, 104 storage, 110 display device, 111 chair control unit, 121 baseon control unit, 122 lighting control unit, 123 Storage unit, 124 communication unit, 141 estimation program, 150 input unit, 151,152,153,160,160a estimation unit, 154 conversion unit, 155 synchronization unit, 156 segmentation unit, 161,172,177,177a, 1511 Estimate model, 164 tagging unit, 165 storage unit, 166 tag reference unit, 171 treatment content estimation unit, 173,178,178a, 1512 neural network, 174,179,179a, 1513 parameters, 176,176a medical treatment content estimation unit, 190 Medical support unit, 211 Instrument control unit, 221 Display control unit, 222 Panel control unit, 301 Rubber dam moisture proof set, 302 Rubber dam sheet, 303 Root pipe length measuring instrument, 304 bar set, 305 file, 306 mouth angle counter electrode, 307 foul clip , 308 Brooch, 309 Cleaning Needle, 310 Cleaning Syringe, 311 Temporary Seal Filler, 312 Cleanser, 313 Turbine, 314 Tupset, 315 Vacuum, 316 Mirror, 317 Excavator, 318 Deep Needle, 319 Root Tube Material Injection Vessel, 1000 estimation system.
Claims (16)
患者を診療するための診療器具が置かれるトレーを含む領域をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力される入力部と、
前記入力部から入力される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記患者の診療内容を推定する第１推定部と、を備える、推定装置。 It is an estimation device that estimates the contents of medical treatment in dentistry.
An input unit for inputting image-related data obtained by taking a picture of an area including a tray on which a medical device for treating a patient is placed with a camera and medical treatment-related data acquired by a medical treatment device for treating a patient.
An estimation including the image-related data and the medical care-related data input from the input unit, and a first estimation unit that estimates the medical care content of the patient based on the first estimation model including the first neural network. apparatus.
前記第１推定部は、前記第２推定部による推定結果を含む前記画像関連データおよび前記診療関連データと、前記第１推定モデルとに基づき、前記患者の診療内容を推定する、請求項１に記載の推定装置。 A second estimation unit that estimates at least a medical device for treating a patient based on the image-related data input from the input unit and a second estimation model including a second neural network is provided.
The first estimation unit estimates the medical treatment content of the patient based on the image-related data including the estimation result by the second estimation unit, the medical treatment-related data, and the first estimation model. The estimated device described.
前記第１推定モデルは、前記画像関連データおよび前記診療関連データに関連付けられた前記患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき、前記パラメータが更新されることで学習される、請求項８に記載の推定装置。 The first estimation model includes at least one of a weighting coefficient and a determination value as a parameter used by the first neural network.
The first estimation model is based on the medical treatment content of the patient associated with the image-related data and the medical treatment-related data, and the estimation result of the medical treatment content of the patient using the image-related data and the medical treatment-related data. The estimation device according to claim 8, wherein the estimation device is learned by updating the parameters.
患者を診療するための診療器具が置かれるトレーを含む領域をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力される入力部と、
前記入力部から入力される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、所定の期間における前記患者に対する処置内容を推定する第１推定部と、を備える、推定装置。 It is an estimation device that estimates the treatment content in dentistry.
An input unit for inputting image-related data obtained by taking a picture of an area including a tray on which a medical device for treating a patient is placed with a camera and medical treatment-related data acquired by a medical treatment device for treating a patient.
A first estimation unit that estimates the treatment content for the patient in a predetermined period based on the image-related data and the medical treatment-related data input from the input unit and the first estimation model including the first neural network. An estimation device.
患者を診療するための診療器具が置かれるトレーを含む領域を撮影するカメラと、
前記患者を診療する診療装置と、
前記カメラで撮影した画像関連データと、前記診療装置で取得した診療関連データとに基づき、前記患者の診療内容を推定する推定装置と、を備え、
前記推定装置は、
前記画像関連データと前記診療関連データとが入力される入力部と、
前記入力部から入力される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記患者の診療内容を推定する第１推定部とを含む、推定システム。 It is an estimation system that estimates the contents of medical treatment in dentistry.
A camera that captures the area containing the tray where the medical equipment for treating the patient is placed,
A medical device that treats the patient and
It is provided with an estimation device that estimates the medical treatment content of the patient based on the image-related data taken by the camera and the medical treatment-related data acquired by the medical treatment device.
The estimation device
An input unit in which the image-related data and the medical care-related data are input,
An estimation system including the image-related data and the medical care-related data input from the input unit, and a first estimation unit that estimates the medical care content of the patient based on the first estimation model including the first neural network. ..
患者を診療するための診療器具が置かれるトレーを含む領域をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力されるステップと、
入力される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記患者の診療内容を推定するステップと、を含む、推定方法。 It is an estimation method that estimates the medical treatment contents in dentistry by computer.
A step of inputting image-related data obtained by taking a picture of an area including a tray on which a medical device for treating a patient is placed with a camera and medical treatment-related data acquired by the medical treatment device for treating the patient.
An estimation method including a step of estimating the medical treatment content of the patient based on the input image-related data and the medical treatment-related data, and a first estimation model including a first neural network.
前記推定用プログラムは、コンピュータに、
患者を診療するための診療器具が置かれるトレーを含む領域をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力されるステップと、
入力される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記患者の診療内容を推定するステップと、を実行させる、推定用プログラム。 It is an estimation program that estimates the contents of medical treatment in dentistry.
The estimation program is installed in a computer.
A step of inputting image-related data obtained by taking a picture of an area including a tray on which a medical device for treating a patient is placed with a camera and medical treatment-related data acquired by the medical treatment device for treating the patient.
An estimation program that executes a step of estimating the medical treatment content of the patient based on the input image-related data, the medical treatment-related data, and a first estimation model including a first neural network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020033686A JP6777916B1 (en) | 2020-02-28 | 2020-02-28 | Estimator, estimation system, estimation method, and estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020033686A JP6777916B1 (en) | 2020-02-28 | 2020-02-28 | Estimator, estimation system, estimation method, and estimation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6777916B1 true JP6777916B1 (en) | 2020-10-28 |
| JP2021133134A JP2021133134A (en) | 2021-09-13 |
Family
ID=72916160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020033686A Active JP6777916B1 (en) | 2020-02-28 | 2020-02-28 | Estimator, estimation system, estimation method, and estimation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6777916B1 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5823814B2 (en) * | 2011-10-25 | 2015-11-25 | 株式会社モリタ製作所 | Medical system |
| JP6649912B2 (en) * | 2017-03-15 | 2020-02-19 | 株式会社モリタ | Dental practice training device and dental practice training system |
| JP2019080900A (en) * | 2017-10-27 | 2019-05-30 | 株式会社オプテック | Dental treatment support system |
| US11154375B2 (en) * | 2018-02-02 | 2021-10-26 | Brachium, Inc. | Medical robotic work station |
-
2020
- 2020-02-28 JP JP2020033686A patent/JP6777916B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021133134A (en) | 2021-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6777917B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
| US11559377B2 (en) | Augmented reality enhancements for dental practitioners | |
| KR102267197B1 (en) | Method and apparatus for recording and displaying dental care data on a digital dental image | |
| EP3859671A1 (en) | Segmentation device and method of generating learning model | |
| JP2021524789A (en) | Tooth virtual editing method, system, computer equipment and storage medium | |
| Singi et al. | Extended arm of precision in prosthodontics: Artificial intelligence | |
| JP6829763B2 (en) | Medical medical equipment | |
| JP7398512B2 (en) | Data generation device, scanner system, data generation method, and data generation program | |
| JP6771687B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
| CN111275808B (en) | Method and device for establishing tooth orthodontic model | |
| JP6777916B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
| JP7343470B2 (en) | Control device, control method, and control program | |
| KR102448169B1 (en) | Method and apparatus for predicting orthodontic treatment result based on deep learning | |
| JP7269587B2 (en) | segmentation device | |
| JP7509371B2 (en) | Estimation device, estimation method, and estimation program | |
| JP7496995B2 (en) | Estimation device, estimation method, and estimation program | |
| JP7428634B2 (en) | Control device, control method, and control program | |
| Sornam | Artificial Intelligence in Orthodontics-An exposition | |
| Banerjee | Artificial intelligence in dentistry: A ray of hope | |
| JP6845923B2 (en) | Medical medical equipment | |
| JP7428683B2 (en) | Image processing device, image processing system, image processing method, image processing program | |
| JP7195466B2 (en) | DATA GENERATION DEVICE, SCANNER SYSTEM, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM | |
| JP7421525B2 (en) | Image processing device, image processing system, image processing method, image processing program | |
| Paulose et al. | Smartening up with artificial intelligence in dentistry: A review | |
| Shelke et al. | APPLICATION OF ARTIFICIAL INTELLIGENCE IN PROSTHODONTICS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200703 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200703 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201001 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6777916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R154 | Certificate of patent or utility model (reissue) |
Free format text: JAPANESE INTERMEDIATE CODE: R154 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |