JP6777917B1 - Estimator, estimation system, estimation method, and estimation program - Google Patents
Estimator, estimation system, estimation method, and estimation program Download PDFInfo
- Publication number
- JP6777917B1 JP6777917B1 JP2020033687A JP2020033687A JP6777917B1 JP 6777917 B1 JP6777917 B1 JP 6777917B1 JP 2020033687 A JP2020033687 A JP 2020033687A JP 2020033687 A JP2020033687 A JP 2020033687A JP 6777917 B1 JP6777917 B1 JP 6777917B1
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- related data
- medical
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
【課題】正確かつ容易に診療内容を推定することができる推定装置、推定システム、推定方法、および推定用プログラムを提供する。【解決手段】推定装置(100)は、患者を診療する診療空間をカメラ(51,52,53)で撮影した画像関連データと、患者を診療する診療装置(1)で取得した診療関連データとが入力される入力部(150)と、入力部(150)から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部(156)と、セグメント化部(156)によってセグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173,178)を含む第1推定モデル(172,177)とに基づき、患者の診療内容を推定する第1推定部(160)と、を備える。【選択図】図8PROBLEM TO BE SOLVED: To provide an estimation device, an estimation system, an estimation method, and an estimation program capable of accurately and easily estimating a medical treatment content. An estimation device (100) includes image-related data obtained by photographing a medical treatment space for treating a patient with a camera (51, 52, 53), and medical treatment-related data acquired by a medical treatment device (1) for treating a patient. The segmentation unit (156) and the segmentation unit that segment the input unit (150) into which is input, the image-related data and the medical care-related data input from the input unit (150) at a predetermined timing. The first estimation of the patient's medical treatment content based on the image-related data and the medical treatment-related data segmented by (156) and the first estimation model (172, 177) including the first neural network (173, 178). It includes an estimation unit (160). [Selection diagram] FIG. 8
Description
本発明は、歯科における診療内容を推定する推定装置、推定システム、推定方法、および推定用プログラムに関する。 The present invention relates to an estimation device, an estimation system, an estimation method, and an estimation program for estimating medical treatment contents in dentistry.
近年、AI(Artificial Intelligence)を用いてデータの分析・学習を行い活用するといった技術が生み出されている。たとえば、特許文献1は、機械学習による演算結果に基づいて患者の負担を軽減するようにマニピュレータの駆動を制御する歯科診療装置を開示する。
In recent years, technologies such as data analysis / learning and utilization using AI (Artificial Intelligence) have been created. For example,
特許文献1に開示されるように、AI技術は歯科分野においても適用することが想定されるが、歯科分野においては、FA(Factory Automation)分野のような産業分野に比べてAI技術の発展が未だ乏しい。AI技術を用いて歯科における診療内容を推定することができれば、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As disclosed in
本発明は、正確かつ容易に診療内容を推定することができる推定装置、推定システム、推定方法、および推定用プログラムを提供することを目的とする。 An object of the present invention is to provide an estimation device, an estimation system, an estimation method, and an estimation program capable of estimating medical treatment contents accurately and easily.
本開示の一例に従えば、歯科における診療内容を推定する推定装置が提供される。推定装置は、患者を診療する診療空間をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力される入力部と、入力部から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、セグメント化部によってセグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、患者の診療内容を推定する第1推定部と、を備える。 According to an example of the present disclosure, an estimation device for estimating the medical treatment content in dentistry is provided. The estimation device is an input unit in which image-related data obtained by photographing a medical treatment space for treating a patient with a camera and medical treatment-related data acquired by the medical treatment device for treating a patient are input, and image-related data input from the input unit. The segmentation unit that segments the data and the medical care-related data by dividing them at a predetermined timing, the image-related data and the medical care-related data segmented by the segmentation unit, and the first estimation model including the first neural network. Based on this, it is provided with a first estimation unit that estimates the medical treatment content of the patient.
本開示の一例に従えば、歯科における処置内容を推定する推定装置が提供される。推定装置は、患者を診療する診療空間をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力される入力部と、入力部から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、セグメント化部によってセグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、患者の処置内容を推定する第1推定部と、を備える。 According to an example of the present disclosure, an estimation device for estimating the treatment content in dentistry is provided. The estimation device is an input unit in which image-related data obtained by photographing a medical treatment space for treating a patient with a camera and medical treatment-related data acquired by the medical treatment device for treating a patient are input, and image-related data input from the input unit. The segmentation unit that segments the data and the medical care-related data by dividing them at a predetermined timing, the image-related data and the medical care-related data segmented by the segmentation unit, and the first estimation model including the first neural network. Based on this, it includes a first estimation unit that estimates the treatment content of the patient.
本開示の一例に従えば、歯科における診療内容を推定する推定システムが提供される。推定システムは、患者を診療する診療空間を撮影するカメラと、患者を診療する診療装置と、カメラで撮影した画像関連データと、診療装置で取得した診療関連データとに基づき、患者の診療内容を推定する推定装置と、を備える。推定装置は、画像関連データと診療関連データとが入力される入力部と、入力部から入力される画像関連データおよび診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、セグメント化部によってセグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、患者の診療内容を推定する第1推定部とを含む。 According to an example of the present disclosure, an estimation system for estimating the medical treatment content in dentistry is provided. The estimation system captures the patient's medical treatment contents based on the camera that captures the medical treatment space for treating the patient, the medical treatment device that treats the patient, the image-related data taken by the camera, and the medical treatment-related data acquired by the medical treatment equipment. It is provided with an estimation device for estimating. The estimation device includes an input unit in which image-related data and medical care-related data are input, a segmentation unit in which image-related data and medical care-related data input from the input unit are segmented at a predetermined timing, and a segmentation unit. It includes an image-related data and medical care-related data segmented by the segmentation unit, and a first estimation unit that estimates the medical care content of the patient based on the first estimation model including the first neural network.
本開示の一例に従えば、コンピュータによる歯科における診療内容を推定する推定方法が提供される。推定方法は、患者を診療する診療空間をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力されるステップと、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップと、セグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、患者の診療内容を推定するステップと、を含む。 According to an example of the present disclosure, an estimation method for estimating the medical treatment content in dentistry by a computer is provided. The estimation method consists of a step of inputting image-related data obtained by photographing a medical treatment space for treating a patient with a camera and medical treatment-related data acquired by a medical treatment device for treating a patient, and input image-related data and medical treatment-related data. A step of estimating the medical treatment content of a patient based on a step of segmenting by dividing the data at a predetermined timing, an image-related data and a medical treatment-related data to be segmented, and a first estimation model including a first neural network. And, including.
本開示の一例に従えば、歯科における診療内容を推定する推定用プログラムが提供される。推定用プログラムは、コンピュータに、患者を診療する診療空間をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力されるステップと、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップと、セグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、患者の診療内容を推定するステップと、を実行させる。 According to an example of the present disclosure, an estimation program for estimating the medical treatment content in dentistry is provided. The estimation program is a step in which image-related data obtained by capturing a medical treatment space for treating a patient with a camera and medical treatment-related data acquired by a medical treatment device for treating a patient are input to a computer, and the input image-related data. Based on the step of segmenting the data and the medical care-related data at a predetermined timing, the segmented image-related data and the medical care-related data, and the first estimation model including the first neural network, the medical care content of the patient. And to execute the step of estimating.
本発明によれば、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。 According to the present invention, it is possible to accurately and easily estimate the contents of medical treatment, and it is possible to realize more convenient dental medical treatment.
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals and the description thereof will not be repeated.
<推定システムの全体構成>
図1は、本実施の形態に係る推定システム1000の全体構成を示す模式図である。本実施の形態に係る推定システム1000は、歯科分野において用いられ、歯科における診療内容を推定する。
<Overall configuration of estimation system>
FIG. 1 is a schematic view showing the overall configuration of the
「診療内容」は、歯科医師、歯科助手、歯科大学の先生、歯科大学の生徒、および歯科技工士など、歯科における医療従事者(以下、単に「術者」とも称する。)によって行われる患者に対する診療の内容を含む。「診療」は、診察および治療の少なくともいずれか1つを含む。「診察」は、術者が患者の歯科に関する病状および病因などを探ることを含み、本実施の形態においては、診察の内容を「診察内容」とも称する。「治療」は、術者が患者の歯科に関する病気を治すこと、および術者が患者の歯の美容や健康を保つこと(審美治療)を含み、本実施の形態においては、これら治療の内容を「治療内容」とも称する。すなわち、「診療内容」は、「診察内容」および「治療内容」の少なくともいずれか1つを含む。術者が患者の歯科に関する病気を治すために行う行動(手当)、および術者が患者の歯の美容や健康を保つために行う行動(手当)を処置とも称し、治療は、1または複数の処置の組み合わせで構成される。本実施の形態においては、処置の内容を「処置内容」とも称する。すなわち、「治療内容」は、1または複数の「処置内容」を含む。 "Clinical content" refers to patients performed by dental professionals (hereinafter, also simply referred to as "operators") such as dentists, dental assistants, dental school teachers, dental school students, and dental technicians. Including the content of medical treatment. "Practice" includes at least one of consultation and treatment. The “examination” includes the surgeon searching for the medical condition and etiology of the patient's dentistry, and in the present embodiment, the content of the examination is also referred to as the “examination content”. "Treatment" includes the surgeon's cure of a patient's dental illness and the surgeon's maintenance of the beauty and health of the patient's teeth (aesthetic treatment), and in the present embodiment, the contents of these treatments are included. Also referred to as "treatment content". That is, the "medical examination content" includes at least one of the "medical examination content" and the "treatment content". The actions taken by the surgeon to cure the patient's dental illness (allowance) and the actions taken by the surgeon to maintain the beauty and health of the patient's teeth (allowance) are also called treatments, and the treatment is one or more. It consists of a combination of treatments. In the present embodiment, the content of the treatment is also referred to as "treatment content". That is, the "treatment content" includes one or more "treatment contents".
図1に示すように、推定システム1000は、診療装置1と、推定装置100とを備える。
As shown in FIG. 1, the
診療装置1は、たとえば、術者が患者に対して診療を行うためのチェアユニットである。診療装置1は、チェア11と、ベースンユニット12と、トレーテーブル13と、診療器具15を保持する器具ホルダー14と、フットコントローラ16と、ディスプレイ17と、操作パネル18と、照明装置19と、器具制御装置21と、表示制御装置22とを備える。
The
チェア11は、診療時に患者が座る椅子であり、患者の頭を支えるヘッドレスト11aと、患者の背中を支える背もたれ11bと、患者の尾尻を支える座面シート11cと、患者の足を支える足置き台11dとを含む。
The
ベースンユニット12は、排水口が形成された鉢12aと、コップが載置されるコップ台12bと、コップに給水するための給水栓12cとを含む給水・排水装置である。
The
トレーテーブル13は、診療時の物置台として用いられる。トレーテーブル13は、チェア11またはチェア11が設置された床から延びるアーム(図示は省略する。)に接続されている。術者は、トレーテーブル13をチェア11に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル13の上面にトレー30を置くことがある。トレー30には、患者を診療するための1または複数の診療器具が置かれる。
The tray table 13 is used as a storage table for medical treatment. The tray table 13 is connected to a
「診療器具」は、ピンセット、ミラー、エキスカベーター、および深針など、術者によって診療中に用いられる診療用の器具である。なお、診療装置1の器具ホルダー14によって保持される診療器具15も「診療器具」に含まれるが、トレー30には、器具ホルダー14によって保持されない診療器具が主に置かれる。
A "medical instrument" is a medical instrument used during medical treatment by an operator, such as tweezers, a mirror, an excavator, and a deep needle. The
診療器具15は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置21の制御によって駆動する。なお、診療器具15は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、3次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。
The
フットコントローラ16は、術者の足踏み操作を受け付ける複数のスイッチ(ペダル)を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア11の姿勢を変更する機能をフットコントローラ16のスイッチに対して割り当てることができ、フットコントローラ16が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト11aなどが駆動する。さらに、術者は、診療器具15を駆動する機能をフットコントローラ16のスイッチに対して割り当てることもでき、フットコントローラ16が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置21の制御によって診療器具15が駆動する。なお、術者は、照明装置19の照明および消灯を制御する機能など、フットコントローラ16のスイッチに対してその他の機能を割り当てることもできる。
The
ディスプレイ17は、トレーテーブル13に取り付けられており、表示制御装置22の制御によって各種の画像を表示する。
The
操作パネル18は、チェア11および診療器具15などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア11を動作させるための入力操作を操作パネル18が受け付けると、当該入力操作に基づきチェア11が動作する。たとえば、診療器具15の回転速度などの設定を行うための入力操作を操作パネル18が受け付けると、当該入力操作に基づき診療器具15の回転速度などの設定を行うことができる。
The
照明装置19は、チェア11またはチェア11が設置された床から延びるポール5の上部で分岐するアーム6の先端に設けられている。照明装置19は、照明状態と消灯状態とに切り替えることができ、術者による診療を照明によってサポートする。
The
上述したように構成された診療装置1を用いることで、術者は患者に対して歯科診療を行うことができる。ここで、術者においては、患者に対して行った診療の内容を正確かつ容易に把握するといった要望がある。たとえば、歯科医師は、患者を診療したら遅滞なく経過を記録することが義務付けられているが、その一方で、短時間で効率良く患者を診療することも求められている。このため、術者は、診療中に行った処置ないし治療の内容を、その都度、記録することができない場合もある。近年、AIを用いてデータの分析・学習を行い活用するといった技術が生み出されているが、AI技術を用いて歯科における診療内容を推定することができれば、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
By using the
ここで、歯科診療ならではの特徴として、診療目的に応じて複数の処置を組み合わせたり、各処置のために複数の診療器具の中から適切な診療器具を選択してトレー30から取り出して使ったりするなど、術者は、診療中に様々な動作を行う。また、診療器具を使う順番およびその種類は、診療中の処置の内容を表しているとも言え、さらに、複数の処置の組み合わせから診療の内容が表されるといった階層構造にもなっているため、その階層を理解することができれば、診療内容を推定することが可能となる。
Here, as a feature unique to dental practice, a plurality of treatments are combined according to the purpose of the treatment, or an appropriate medical instrument is selected from a plurality of medical instruments for each treatment and taken out from the
そこで、本実施の形態に係る推定システム1000(推定装置100)は、トレー30、診療装置1の動作、術者の行動、および患者の行動を、AIを用いて分析・学習することで、処置内容ないしは診療内容を推定する技術を提供する。以下、当該技術を具体的に説明する。
Therefore, the estimation system 1000 (estimation device 100) according to the present embodiment treats the
本実施の形態に係る診療装置1には、複数のカメラが取り付けられている。具体的には、ディスプレイ17にはトレーカメラ51が取り付けられ、照明装置19には患者カメラ52が取り付けられ、ポール5の上部には全体カメラ53が取り付けられている。
A plurality of cameras are attached to the
トレーカメラ51は、トレー30を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ51によって得られた画像に関するデータ(以下、「トレー画像データ」とも称する。)は、推定装置100によって取り込まれる。トレーカメラ51におけるシャッタースピードなどの各種設定は、トレー30に置かれた診療器具の有無、形状、および種類などを推定装置100が認識できる程度に予め調整されている。なお、トレーカメラ51は、トレー30を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
The
患者カメラ52は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。通常、診療中においては、照明装置19によって患者の口腔内が照明されるため、照明装置19に取り付けられた患者カメラ52は、自ずと患者の口腔内を少なくとも含む領域を撮影することができる。患者カメラ52によって得られた画像データ(以下、「患者画像データ」とも称する。)は、推定装置100によって取り込まれる。患者カメラ52におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を推定装置100が認識できる程度に予め調整されている。なお、患者カメラ52は、患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
The
全体カメラ53は、患者を診療する診療空間を少なくとも含む領域、つまり、診療空間における、少なくとも、患者、および歯科医師や歯科助手などの術者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ53は、ポール5の上部に取り付けられているため、診療中の術者および患者の行動と、診療装置1の動作とを上空から俯瞰して撮影する。
The
「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、診療中の術者、患者、および診療装置1など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ53によって得られた画像データ(以下、「全体画像データ」とも称する。)は、推定装置100によって取り込まれる。全体カメラ53におけるシャッタースピードなどの各種設定は、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置1の動作などを推定装置100が認識できる程度に予め調整されている。なお、全体カメラ53は、患者を診療する診療空間を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
The "medical treatment space" is not limited to the space including the entire objects included in the medical treatment space, but is a space including some objects among the objects included in the medical treatment space such as the surgeon, the patient, and the
上述したトレー画像データ、患者画像データ、および全体画像データの各々は、「画像関連データ」の一実施形態であり、以下ではこれらのデータをまとめて「画像関連データ」とも称する。なお、詳しくは後述するが、トレー画像データ、患者画像データ、および全体画像データは、撮影画像に映し出された診療器具などのオブジェクトの有無やその種類が画像認識によって推定される。「画像関連データ」は、当該画像認識による推定結果を含むデータの一実施形態でもある。 Each of the tray image data, the patient image data, and the whole image data described above is an embodiment of the "image-related data", and hereinafter, these data are collectively referred to as "image-related data". As will be described in detail later, in the tray image data, the patient image data, and the entire image data, the presence or absence of an object such as a medical device projected on the captured image and its type are estimated by image recognition. The "image-related data" is also an embodiment of data including the estimation result by the image recognition.
推定装置100は、診療装置1から取得した各種のデータに基づき、当該診療装置1を用いて行われた患者に対する診療の内容を推定するコンピュータ(後述する演算装置102)を搭載する。具体的には、推定装置100は、診療装置1に取り付けられたトレーカメラ51、患者カメラ52、および全体カメラ53の少なくともいずれか1つから、画像データを取得する。さらに、推定装置100は、診療装置1で取得した診療に関するデータ(以下、「診療関連データ」とも称する。)を取得する。推定装置100は、診療装置1から取得した画像データおよび診療関連データの少なくともいずれか1つに基づき、患者に対する診療内容を推定する。
The
「診療関連データ」は、診療装置1が備えるチェア11、ベースンユニット12、照明装置19、器具制御装置21、および表示制御装置22の少なくともいずれか1つにおける動作および制御の履歴を示すログデータを含む。具体的には、診療関連データは、チェア11を駆動するデータ、診療器具15を駆動するデータ、照明装置19を駆動するデータ、およびベースンユニット12を駆動するデータの少なくともいずれか1つを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。
The "medical care-related data" is log data showing the history of operation and control in at least one of the
なお、本実施の形態においては、表示装置110が推定装置100に接続されているが、表示装置110に限らずキーボードやマウスなどの操作ツール(ユーザインターフェース)が推定装置100に接続されていてもよい。
In the present embodiment, the
<診療内容および処置内容>
図2は、治療内容および処置内容を説明するための図である。図2に示すように、治療内容としては、治療A、治療B、および治療Cといったように、複数の治療内容が存在する。各治療は、1または複数の処置の組み合わせで構成されている。具体的には、治療Aは、処置a、処置b、処置c、処置d、および処置eから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Aを施すことができる。治療Bは、処置a、処置d、および処置fから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Bを施すことができる。治療Cは、処置b、処置c、処置d、および処置gから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Cを施すことができる。
<Details of medical treatment and treatment>
FIG. 2 is a diagram for explaining a treatment content and a treatment content. As shown in FIG. 2, there are a plurality of treatment contents such as treatment A, treatment B, and treatment C as the treatment contents. Each treatment consists of a combination of one or more treatments. Specifically, the treatment A is composed of the treatment a, the treatment b, the treatment c, the treatment d, and the treatment e, and the operator administers the treatment A to the patient by performing each of these treatments in order. be able to. Treatment B is composed of treatment a, treatment d, and treatment f, and the operator can perform treatment B by performing each of these treatments on the patient in order. Treatment C is composed of treatment b, treatment c, treatment d, and treatment g, and the operator can perform treatment C by performing each of these treatments on the patient in turn.
このように、各治療においては、術者によって1または複数の処置が患者に行われ、互いに異なる複数の治療の間においては共通の処置が含まれる場合がある。たとえば、処置dは、治療A、治療B、および治療Cのいずれにおいても行われる処置である。また、各治療のみで行われる処置もある。たとえば、処置eは、治療Aのみで行われる処置である。 As described above, in each treatment, one or more treatments may be performed on the patient by the operator, and a common treatment may be included between the plurality of treatments different from each other. For example, treatment d is a treatment performed in any of treatment A, treatment B, and treatment C. In addition, some treatments are performed only with each treatment. For example, treatment e is a treatment performed only in treatment A.
治療内容の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも治療内容に含まれる。処置内容の例としては、審査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。 Examples of treatments include caries treatment, root canal treatment, demineralization, implants, corrections, and whitening, but the surgeon cures the patient's dental illness and the surgeon is the patient. Any aesthetic treatment that maintains the beauty and health of your teeth is included in the treatment. Examples of treatments include examination, cutting, filing, root canal cleaning, drying, temporary sealing, impression, scaling, prosthesis correction, periodontal pocket measurement, suction, and tooth extraction. Any treatment that is performed to cure a patient's dental illness or that the surgeon performs to maintain the beauty and health of the patient's teeth is included in the treatment content.
図2においては、治療内容として根管治療の例が示されている。根管治療とは、う蝕の進行によって歯の根の中の歯髄(神経や血管など)が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、審査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。 In FIG. 2, an example of root canal treatment is shown as a treatment content. Root canal treatment is a treatment required when the pulp (nerves, blood vessels, etc.) in the root of the tooth becomes inflamed or infected due to the progress of caries, and the damaged pulp is removed and the root canal is removed. It is a treatment such as cleaning and disinfecting, and filling the roots of teeth to prevent re-infection. Root canal treatment consists of examination, demyelination, root canal length measurement, cleaning / disinfection, root canal filling, and stuffing / covering, and the operator performs each of these treatments on the patient in order. This makes it possible to perform root canal treatment.
審査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定は、歯髄を除去した後の空洞になった根管の長さを測定することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物(クラウン)を被せることを含む処置である。なお、図2に示される根管治療に含まれる処置の内容および数は、一例に過ぎず、根管治療にはその他の処置が含まれてもよいし、図2に示される処置の一部が省かれてもよい。 Examination is a procedure that involves the surgeon conducting a hearing with the patient and examining the patient's oral cavity to identify the patient's dental condition and etiology and formulate a treatment policy. Demyelination is a procedure in root canal treatment that involves removing the damaged pulp. Root canal length measurement is a procedure that involves measuring the length of a hollow root canal after removal of the pulp. Cleaning and disinfection is a procedure that includes cleaning and disinfecting the depths of the hollow root canal. Root canal filling is a procedure that involves burying a special drug in the root canal to prevent bacteria from invading the root canal after cleaning and disinfection. The stuffing / covering is a treatment including stuffing a filling such as rubber in a root canal, forming a base made of metal or fiber on the base, and then covering the base with a covering (crown). The content and number of treatments included in the root canal treatment shown in FIG. 2 are only examples, and the root canal treatment may include other treatments, or a part of the treatments shown in FIG. May be omitted.
<トレーカメラの撮影画像>
図3は、トレーカメラ51の撮影画像の一例を説明するための図である。図3に示すように、トレーカメラ51によって、トレー30に置かれた1または複数の診療器具が撮影される。
<Image taken by tray camera>
FIG. 3 is a diagram for explaining an example of a captured image of the
たとえば、図3に示す例では、ラバーダム防湿一式301、ラバーダムシート302、根管長測定器303、バーセット304、ファイル(リーマ)305、口角対極306、ファールクリップ307、ブローチ308、洗浄用ニードル309、洗浄用シリンジ310、仮封剤充填器311、クレンザー312、タービン313、ピンセット314、バキューム315、ミラー316、エキスカベーター317、深針318、および根管材料注入器319といったように、複数の診療器具がトレー30に置かれた様子が撮影画像に映し出されている。
For example, in the example shown in FIG. 3, rubber dam moisture-
診療中においては、トレー30に置かれた複数の診療器具の中から術者が所望の診療器具を選択して使用することになるが、使用中の診療器具についてはトレーカメラ51の撮影画像に映し出されない。たとえば、診療中にミラー316が使用された場合は、トレー30上からミラー316が存在しないため、トレーカメラ51の撮影画像にミラー316が映し出されない。
During medical treatment, the operator selects and uses the desired medical equipment from the plurality of medical equipment placed on the
推定装置100は、図3に示すようなトレーカメラ51の撮影画像を画像認識によって分析することで、トレー30に置かれた診療器具の有無、形状、および種類などを特定することができる。
The
<患者カメラの撮影画像>
図4は、患者カメラ52の撮影画像の一例を説明するための図である。図4に示すように、患者カメラ52によって、患者の口腔内を少なくとも含む領域が撮影される。
<Image taken by patient camera>
FIG. 4 is a diagram for explaining an example of an image captured by the
たとえば、図4に示す撮影画像では、患者の口腔内において、右頬の下唇の付近の歯に診療器具(この例ではピンセット314およびミラー316)が位置する様子が撮影画像に映し出されている。
For example, in the photographed image shown in FIG. 4, a state in which the medical instruments (
診療中においては、患者の口腔内において診療器具を用いた歯科診療が行われることになるが、図4に示すように、患者カメラ52の撮影画像には、診療中において患者の口腔内に位置する診療器具が映し出される。
During medical treatment, dental treatment using medical instruments is performed in the patient's oral cavity, but as shown in FIG. 4, the image taken by the
推定装置100は、図4に示すような患者カメラ52の撮影画像を画像認識によって分析することで、患者の口腔内における診療器具の位置などを特定することができる。
The
<全体カメラの撮影画像>
図5は、全体カメラ53の撮影画像の一例を説明するための図である。図5に示すように、全体カメラ53によって、診療空間を少なくとも含む領域が撮影される。
<Image taken by the entire camera>
FIG. 5 is a diagram for explaining an example of a captured image of the
たとえば、図5に示す撮影画像では、診療中の術者(この例では歯科医師3や歯科助手4)および患者2の行動と、診療装置1の動作(この例ではトレーテーブル13における操作パネル18やトレー30上の診療器具など)とが撮影画像に映し出されている。
For example, in the photographed image shown in FIG. 5, the actions of the surgeon (
診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、図5に示すように、全体カメラ53の撮影画像には、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置1の動作などが映し出される。
During the medical treatment, the surgeon will perform dental medical treatment using medical instruments. As shown in FIG. 5, the images taken by the
推定装置100は、図5に示すような全体カメラ53の撮影画像を画像認識によって分析することで、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置1の動作などを特定することができる。
The
<推定システムの内部構成>
図6は、本実施の形態に係る推定システム1000の内部構成を示すブロック図である。図6に示すように、推定システム1000は、複数のカメラ(トレーカメラ51、患者カメラ52、全体カメラ53)と、診療装置1と、推定装置100とを備える。
<Internal configuration of estimation system>
FIG. 6 is a block diagram showing an internal configuration of the
[診療装置の内部構成]
診療装置1は、チェア11と、器具制御装置21と、表示制御装置22と、ベースンユニット12とを備える。
[Internal configuration of medical equipment]
The
チェア11は、ヘッドレスト11aと、背もたれ11bと、座面シート11cと、足置き台11dとを含み、これらの各々は、チェア制御部111の制御に基づき駆動する。具体的には、チェア制御部111は、フットコントローラ16または操作パネル18によって受け付けられた術者の操作に基づく入力信号をCAN(Controller Area Network)通信を介して受信すると、当該入力信号に基づき、座面シート11cを上昇または下降させたり、ヘッドレスト11a、背もたれ11b、および足置き台11dを座面シート11cに対して垂直方向または水平方向に移動させたりする。ヘッドレスト11a、背もたれ11b、および足置き台11dが座面シート11cに対して垂直方向に位置すると、チェア11に座った患者が座位姿勢になる。ヘッドレスト11a、背もたれ11b、および足置き台11dが座面シート11cに対して水平方向に位置すると、チェア11に座った患者が仰向け姿勢になる。このように、チェア制御部111は、ヘッドレスト11a、背もたれ11b、座面シート11c、および足置き台11dを駆動させてチェア11の姿勢を変更する。
The
器具制御装置21は、器具制御部211を含む。器具制御部211は、フットコントローラ16または操作パネル18によって受け付けられた術者の操作に基づく入力信号をCAN通信を介して受信すると、当該入力信号に基づき、診療器具15の駆動を制御する。たとえば、術者が、フットコントローラ16におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置21は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。このように、器具制御装置21は、フットコントローラ16または操作パネル18に対する術者の操作に基づき診療器具15の駆動を制御する。
The
表示制御装置22は、ディスプレイ制御部221と、パネル制御部222とを含む。ディスプレイ制御部221は、ディスプレイ17を制御する。パネル制御部222は、操作パネル18を制御する。
The
ベースンユニット12は、ベースン制御部121と、照明制御部122とを含む。ベースン制御部121は、ベースンユニット12における給水および排水を制御する。照明制御部122は、照明装置19の照明および消灯を制御する。
The
上述したチェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、ベースン制御部121、および照明制御部122の各々は、図示しない基板上に実装されたCPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random access memory)などによって構成される。なお、チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、ベースン制御部121、および照明制御部122の各々は、予め診療装置1に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置1に取り付け可能であってもよい。
Each of the
チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、ベースン制御部121、および照明制御部122の各々は、CAN通信によって相互に通信する。CAN通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。
The
さらに、ベースンユニット12は、診療装置1内のログデータを含む診療関連データを蓄積する蓄積部123と、蓄積部123によって蓄積された診療関連データを通信によって推定装置100に出力するための通信部124とを含む。
Further, the
蓄積部123は、チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、ベースン制御部121、および照明制御部122の各々との間でCAN通信によって通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部123は、図示しない基板上に実装されたROMやRAMなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。
The
通信部124は、有線または無線のLAN(Local Area Network)通信によって推定装置100との間で通信する。なお、蓄積部123がメモリカードなどの不揮発の記憶媒体で構成されている場合、推定装置100は、通信装置101によって診療装置1の通信部124を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。また、推定装置100は、一時的に記憶する揮発性の記憶媒体を介して、CAN通信に流れている診療関連データを、直接的に取得してもよい。
The
[推定装置の内部構成]
推定装置100は、通信装置101と、演算装置102と、メモリ103と、ストレージ104とを備える。
[Internal configuration of estimation device]
The
通信装置101は、診療装置1との間で通信する一方で、トレーカメラ51、患者カメラ52、および全体カメラ53の各々との間でも通信可能である。なお、診療装置1との間の通信と、各カメラとの間の通信とは、互いに別の装置で行われてもよい。
While the
通信装置101は、有線または無線のLAN通信によって推定装置100との間で通信することで、診療装置1から診療関連データを取得する。なお、通信装置101は、その他の形式で診療装置1から診療関連データを取得してもよい。たとえば、上述したように、蓄積部123がメモリカードなどの不揮発の記憶媒体で構成されている場合、推定装置100は、通信装置101によって診療装置1の通信部124を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。
The
また、通信装置101は、有線または無線のLAN通信によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置101は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置101は、各カメラから取り出されたメモリカードなどの不揮発の記憶媒体に一時的に記憶される画像関連データを取得してもよい。
Further, the
演算装置102は、各種のプログラム(たとえば、後述する推定用プログラム141)を実行することで、診療内容の推定処理、および診療内容を推定するための学習処理などの各種の処理を実行する演算主体である。演算装置102は、「コンピュータ」の一実施形態である。演算装置102は、たとえば、CPU、FPGA(Field-Programmable Gate Array)、およびGPU(Graphics Processing Unit)などで構成される。
The
なお、演算装置102は、CPU、FPGA、およびGPUのうちの少なくともいずれか1つで構成されてもよいし、CPUとFPGA、FPGAとGPU、CPUとGPU、あるいはCPU、FPGA、およびGPUから構成されてもよい。また、演算装置102は、演算回路(processing circuitry)と称されてもよい。
The
メモリ103は、演算装置102が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ103は、たとえば、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などの揮発性メモリデバイスで構成される。
The
ストレージ104は、診療内容の推定処理、および診療内容を推定するための学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ104は、たとえば、ハードディスクまたはSSD(Solid State Drive)などの不揮発性メモリデバイスで構成される。
The
ストレージ104は、推定モデル161と、推定用プログラム141と、OS(Operating System)142とを格納する。
The
推定モデル161は、各カメラから取得した画像関連データおよび診療装置1から取得した診療関連データの少なくともいずれか1つに基づき、患者の診療内容を推定するために用いられる。推定モデル161は、画像関連データおよび診療関連データの少なくともいずれか1つに基づき機械学習を行うことで最適化(調整)され、患者の診療内容の推定精度を向上させることができる。
The
なお、推定装置100の演算装置102によって診療内容を推定する処理を「推定処理」とも称し、推定装置100の演算装置102によって推定モデルを学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。
The process of estimating the medical treatment content by the
推定用プログラム141は、演算装置102が推定処理および学習処理を実行するためのプログラムである。
The
推定装置100には、表示装置110が接続されている。表示装置110は、たとえば、推定した診療内容を示す画像など、各種の画像を表示する。なお、表示装置110に限らずキーボードやマウスなどの操作ツール(ユーザインターフェース)が推定装置100に接続されていてもよく、術者などのユーザによって学習処理用のデータが入力されるように構成されてもよい。
A
<推定装置の機能構成>
[推定装置の学習段階における機能構成]
図7は、本実施の形態に係る推定装置100の学習段階における機能構成を示すブロック図である。図7に示すように、推定装置100は、主な機能部として、入力部150と、推定部151〜153と、変換部154と、同期部155と、セグメント化部156と、推定部160とを有する。なお、入力部150は、通信装置101の機能部であり、推定部151〜153、変換部154、同期部155、セグメント化部156、および推定部160は、各々演算装置102の機能部である。
<Functional configuration of estimation device>
[Functional configuration at the learning stage of the estimation device]
FIG. 7 is a block diagram showing a functional configuration in the learning stage of the
入力部150には、トレーカメラ51、患者カメラ52、および全体カメラ53の各々で撮影した画像関連データ(トレー画像データ,患者画像データ,全体画像データ)と、診療装置1で取得した診療関連データとが時系列で入力される。
The
推定部151〜153は、入力部150に入力された各画像関連データから、画像に含まれる特徴量を画像認識によって抽出する。たとえば、推定部151は、後述する図15に示すようなトレーカメラ51による複数枚の撮影画像のデータから、後述する図16に示すように、所定のタイミング(後述する図16に示すtA1、tA2、tA3、…)ごとに変化するトレー30に置かれた診療器具の有無、形状、および種類などを推定する。
The
ここで、推定部151の構成についてさらに詳細に説明する。図中の破線部Xに示すように、推定部151は、推定モデル1511を有する。さらに、推定モデル1511は、ニューラルネットワーク1512と、当該ニューラルネットワーク1512によって用いられるパラメータ1513とを含む。パラメータ1513は、ニューラルネットワーク1512による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。なお、推定部151は、「第2推定部」の一実施形態に対応し、推定モデル1511は、「第2推定モデル」の一実施形態に対応し、ニューラルネットワーク1512は、「第2ニューラルネットワーク」の一実施形態に対応する。
Here, the configuration of the
ニューラルネットワーク1512は、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)、リカレントニューラルネットワーク(再帰型ニューラルネットワーク)(RNN:Recurrent Neural Network)、あるいはLSTMネットワーク(Long Short Term Memory Network)など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。
The
推定部151は、トレーカメラ51によって入力部150に入力されたトレー画像データと、ニューラルネットワーク1512を含む推定モデル1511とに基づき、トレー30に置かれた診療器具の有無、形状、および種類などを推定する。
The
学習段階において、推定モデル1511は、トレー画像データに関連付けられた診療器具の有無、形状、および種類などと、当該トレー画像データを用いた診療器具の有無、形状、および種類などの推定結果とに基づき学習されることで最適化(調整)される。具体的には、推定モデル1511は、教師データとしてトレー画像データが入力されると、当該トレー画像データに基づきニューラルネットワーク1512によってトレー30に置かれた診療器具の有無、形状、および種類などを推定する。そして、推定モデル1511は、自身の推定結果と、入力されたトレー画像データに関連付けられた正解データである診療器具の有無、形状、および種類などとが一致するか否かを判定し、両者が一致すればパラメータ1513を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ1513を更新することで、パラメータ1513を最適化する。なお、上述したような推定モデル1511の学習は、学習段階に限らず、運用段階においても行われてもよい。
In the learning stage, the
このような推定モデル1511を用いることで、後述する図15に示すように、推定部151は、トレーカメラ51によって入力部150に時系列で入力されたトレー画像データと、ニューラルネットワーク1512を含む推定モデル1511とに基づき、所定のタイミング(後述する図16に示すtA1、tA2、tA3、…)ごとに、トレー30に置かれた診療器具の有無、形状、および種類などを推定することができる。たとえば、図16に示すトレー画像データにおいては、トレー30上に存在する診療器具に対応する記憶領域に「0」のデータが格納され、トレー30上に存在しない診療器具に対応する記憶領域に「1」のデータが格納される。
By using such an
なお、図示は省略するが、推定部152および推定部153の各々についても、推定部151と同様の構成を有する。
Although not shown, each of the
推定部152は、CNN、RNN、およびLSTMネットワークといった、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデル有する。学習段階において、推定モデルは、患者画像データに関連付けられた患者の口腔内における診療器具の位置などと、当該患者画像データを用いた患者の口腔内における診療器具の位置などの推定結果とに基づき学習されることで最適化(調整)される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。
The
このような推定モデルを用いることで、後述する図17に示すように、推定部152は、患者カメラ52によって入力部150に時系列で入力された患者画像データと、当該推定モデルとに基づき、所定のタイミング(後述する図17に示すtB1、tB2、tB3、…)ごとに、患者の口腔内における診療器具の位置などを推定することができる。たとえば、図17に示す患者画像データにおいては、診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「0」のデータが格納され、両者が所定範囲内に位置する場合に記憶領域に「1」のデータが格納される。
By using such an estimation model, as shown in FIG. 17 described later, the
同様に、推定部153は、CNN、RNN、およびLSTMネットワークといった、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデル有する。学習段階において、推定モデルは、全体画像データに関連付けられた術者および患者の行動、診療装置1の動作などと、当該全体画像データを用いた術者および患者の行動、診療装置1の動作などの推定結果とに基づき学習されることで最適化(調整)される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。
Similarly,
このような推定モデルを用いることで、後述する図18に示すように、推定部153は、全体カメラ53によって入力部150に時系列で入力された全体画像データと、当該推定モデルとに基づき、所定のタイミング(後述する図18に示すtC1、tC2、tC3、…)ごとに、歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置1の動作などを推定することができる。たとえば、図18に示す全体画像データにおいては、歯科医師や歯科助手などの術者、患者、および診療器具などの位置関係において、術者と患者、または診療器具と患者が所定範囲内に位置しない場合に記憶領域に「0」のデータが格納され、術者と患者、または診療器具と患者が所定範囲内に位置する場合に記憶領域に「1」のデータが格納される。
By using such an estimation model, as shown in FIG. 18 described later, the
なお、本実施の形態において、推定部151〜153の各々は、ニューラルネットワークを含む推定モデルによって画像認識を行うものであったが、このようなAI技術に限らず、公知のパターンマッチングなどの技術を用いて画像認識を行ってもよい。また、推定部151〜153の各々の機能は、推定装置100が有するものではなく、各カメラまたは各カメラの近くに配置されたエッジコンピュータが有するものであってもよい。この場合、エッジコンピュータなどによる画像認識の結果を含む画像関連データが入力部150に入力される。
In the present embodiment, each of the
変換部154は、診療装置1から入力部150に入力された診療関連データを、所定の形式に変換する。具体的には、変換部154は、入力部150に入力された診療関連データを、同じく入力部150に入力された画像関連データと同期させるために適した形式に変換する。たとえば、変換部154は、診療関連データの時間軸を、画像関連データの時間軸に合わせるように、診療関連データの形式を変換する。あるいは、変換部154は、診療関連データの時間軸を、画像関連データの時間軸と合わせるための共通の時間軸に合わせるように、診療関連データの形式を変換する。
The
同期部155は、推定部151〜153による推定結果を含む画像関連データと、変換部154によって変換された診療関連データとを時系列に同期させる。たとえば、同期部155は、後述する図20および図21に示すように、画像関連データ(トレー画像データ,患者画像データ,全体画像データ)と診療関連データとを、同期時間の時間軸に合わせて所定のタイミング(後述する図20および図21に示すT1、T2、T3、…)ごとに同期させる。画像関連データと診療関連データとが同期することで得られるデータを「同期データ」とも称する。
The
セグメント化部156は、入力部150から入力された画像関連データおよび診療関連データを所定のタイミングで区切ることでセグメント化する。具体的には、セグメント化部156は、同期部155によって同期された画像関連データおよび診療関連データ(すなわち、同期データ)に対して、所定のタイミングで所定のイベントが発生したことが記録されるように、当該同期データをセグメント化する。「所定のイベントが発生したこと」は、たとえば、ハンドピースなどの診療器具15の駆動開始や駆動停止、照明装置19の点灯開始や点灯終了、ベースンユニット12における給水・排水の開始や終了、トレー30上の診療器具が取り出されたことやトレー30上に診療器具が置かれたことなど、診療に関するイベントを含む。また、セグメント化部156は、同期部155によって同期された画像関連データおよび診療関連データ(同期データ)に対して、所定のタイミングで所定のイベントが継続していることが記録されるように、当該同期データをセグメント化する。「所定のイベントが継続していること」は、たとえば、ハンドピースなどの診療器具15の駆動状態の継続、照明装置19の点灯状態の継続、ベースンユニット12における給水・排水の継続、トレー30上の診療器具が存在する状態の継続や存在しない状態の継続など、診療に関するイベントの継続を含む。
The
たとえば、セグメント化部156は、後述する図22に示すように、画像関連データ(トレー画像データ、患者画像データ、全体画像データ)において格納された「0」または「1」のデータと、診療関連データにおいて格納された「0」または「1」のデータとに基づき、画像関連データおよび診療関連データに対して所定のタイミングごとに区切りを付けることで、同期データを期間ごとにセグメント化する。セグメント化の方法は、所定のタイミングごとにフラグデータをセットしてもよいし、セグメント化した期間ごとに同期データを所定の記憶領域に移動させたりコピーしたりしてもよい。
For example, as shown in FIG. 22, which will be described later, the
セグメント化部156によって同期データが区切られる「所定のタイミング」は、診療関連データに含まれる、診療装置1が備えるチェア11を駆動するデータ、診療装置1が備える診療器具15を駆動するデータ、診療装置1が備える照明装置19を駆動するデータ、および診療装置1が備えるベースンユニット12を駆動するデータの少なくともいずれか1つに基づき、これら診療に関する装置の駆動の発生または継続が判定されるタイミングである。たとえば、図21および図22に示すように、診療器具15のピックアップが「0」から「1」に切り替わったタイミングT3、診療器具のピックアップが「1」から「0」に切り替わったタイミングT6などで、同期データが区切られる。
The "predetermined timing" in which the synchronization data is divided by the
なお、セグメント化部156は、診療関連データに基づき同期データを区切ることができない場合でも、トレー画像データなどの画像関連データに基づき同期データを区切ることもできる。たとえば、図20および図22に示すように、洗浄用ニードル309および洗浄用シリンジ310の有無判定が「0」から「1」に切り替わったタイミングT8、洗浄用ニードル309および洗浄用シリンジ310の有無判定が「1」から「0」に切り替わったタイミングT10などで、同期データが区切られる。すなわち、セグメント化部156は、画像関連データおよび診療関連データの少なくともいずれか1つに含まれる患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該診療関連データとを所定のタイミングでセグメント化する。
The
このように、セグメント化部156は、同期データのセグメント化にあたって、画像関連データおよび診療関連データの各々単体ではデータが不足している場合であっても、両者のデータを組み合わせることで、診療内容または処置内容の推定に適切なタイミングで同期データを区切ることができる。
In this way, when segmenting the synchronous data, the
なお、入力部150から入力された画像関連データにおける画像の撮影タイミングと、診療関連データにおけるログデータの取得タイミングとが予め同期している場合、変換部154および同期部155を用いなくてもよい。この場合、セグメント化部156は、同期データではなく、入力部150から入力された画像関連データおよび診療関連データを直接的に用いて、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化してもよい。
If the image shooting timing of the image-related data input from the
推定部160は、セグメント化部156によってセグメント化された画像関連データおよび診療関連データと、図示しないニューラルネットワークを含む推定モデルとに基づき、患者の診療内容を推定する。なお、推定部160は、「第1推定部」の一実施形態に対応する。
The
学習段階において、推定部160の推定モデルは、セグメント化部156によってセグメント化された画像関連データおよび診療関連データと、当該画像関連データおよび当該診療関連データを用いた診療内容の推定結果とに基づき学習されることで最適化(調整)される。
In the learning stage, the estimation model of the
このように、学習段階において、推定装置100は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置1で取得した診療関連データとに基づいて、診療内容を推定できるように、ニューラルネットワークを含む推定モデルを機械学習させる。
As described above, in the learning stage, the
たとえば、推定部160は、後述するタグ付け部164によってタグ付けされたタグ付け結果を用いて、推定モデル172の学習を行う学習処理を実行する。学習処理においては、診療状況をリアルタイムに観察することで処置内容を把握した関係者(歯科医師や歯科助手などの術者、または推定システム1000におけるシステム設計の関係者など)がディスプレイ17に表示されたタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる教師データ(正解データ)と、そのアイコンの選択タイミング、または、その前後に推定モデル172から出力された処置内容の推定結果に対して付与されたタグが示す処置内容とが比較されることで、当該推定モデル172の学習が行われる。
For example, the
また、録画されていた全体カメラ53の撮影動画がディスプレイ17において再生表示され、これの視聴時に処置内容を把握した関係者がタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる教師データ(正解データ)と、そのアイコンの選択タイミング、または、その前後に推定モデル172から出力された処置内容の推定結果に対して付与されたタグが示す処置内容とが比較されることで、当該推定モデル172の学習が行われてもよい。
In addition, the recorded moving image of the
さらに、各画像関連データや診療関連データに基づいて、推定モデル172が自動で(関係者を介さずに)学習されてもよい。たとえば、推定部160から処置内容の推定結果が出力されたタイミング、または、その前後で、各画像関連データや診療関連データに基づいて正解データとしてバキューム駆動により吸引処理が判定される場合、その判定結果と推定モデル172における処置内容の推定結果とが比較されることで、当該推定モデル172の学習が行われてもよい。この自動で学習されるタイミングは、夜中などの診療がなされない時間帯であることが最適である。
Further, the
上述したように、推定モデル172は、術者などの関係者によって入力されたデータを教師データ(正解データ)として機械学習が行われてもよいし、関係者が介入することなく推定装置100自身が抽出したデータを教師データ(正解データ)として機械学習が行われてもよい。または、それらを混合させた学習処理であってもよい。
As described above, in the
なお、推定装置100は、学習段階に限らず、運用段階においても、ニューラルネットワークを含む推定モデルを機械学習させてもよい。たとえば、運用段階において、推定部160の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な診療内容が入力されると、推定部160の推定モデルは、推定結果と正解データとに基づき学習されることで最適化(再調整)されてもよい。このようにすれば、推定装置100は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど診療内容の推定精度が向上する。
The
[推定装置の運用段階における機能構成]
図8は、本実施の形態に係る推定装置100の運用段階における機能構成を示すブロック図である。図8に示すように、運用段階における推定装置100は、推定部151および推定部160の各々が学習済みとなっている。
[Functional configuration at the operation stage of the estimation device]
FIG. 8 is a block diagram showing a functional configuration in the operation stage of the
運用段階においては、術者が患者を診療した後、あるいは、術者の診療中にリアルタイムで、各カメラから画像関連データが入力部150に入力され、さらに、診療装置1から診療関連データが入力部150に入力される。推定部151〜153は、入力部150に入力された各画像関連データから、画像に含まれる特徴量を画像認識によって抽出する。一方、変換部154は、診療装置1から入力部150に入力された診療関連データを、所定の形式に変換する。同期部155は、推定部151〜153による推定結果を含む画像関連データと、変換部154によって変換された診療関連データとを時系列に同期させて同期データを生成する。セグメント化部156は、入力部150から入力された画像関連データと診療関連データとを所定のタイミングで区切って、同期データをセグメント化する。
In the operation stage, image-related data is input to the
その後、推定部160は、セグメント化部156によってセグメント化された画像関連データおよび診療関連データと、図示しないニューラルネットワークを含む推定モデルとに基づき、患者の診療内容を推定し、その推定結果を診療支援部190に出力する。診療支援部190は、推定部160による推定結果に基づき診療支援を実行する。
After that, the
診療支援部190は、診療支援として、カルテの作成支援、診療装置1の診療支援、アラート出力支援、および術者の評価支援など、推定部160によって推定された診療内容を利用して術者の診療支援を行う。診療支援部190による診療支援については、図11〜図14を参照しながら後述する。
As medical care support, the medical
このように、推定装置100は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置1で取得した診療関連データと、ニューラルネットワークを含む推定モデルとに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを用いて、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As described above, the
<第1実施形態に係る推定装置の機能構成>
図7および図8を参照しながら説明した推定装置100は、推定部160によって診療内容を推定するものであったが、診療内容を推定する態様としては幾つかの態様が考えられる。図9および図10を参照しながら、第1実施形態に係る推定装置100の機能構成について説明する。
<Functional configuration of the estimation device according to the first embodiment>
In the
[第1実施形態に係る推定装置の学習段階における機能構成]
図9は、第1実施形態に係る推定装置100の学習段階における機能構成を示すブロック図である。なお、図9に示す推定装置100の機能構成では、図7に示す推定装置100の機能構成のうち、同期部155よりも後段の機能構成のみを説明し、その他の機能構成については図7に示す推定装置100の機能構成と同じであるため、その説明を省略する。
[Functional configuration in the learning stage of the estimation device according to the first embodiment]
FIG. 9 is a block diagram showing a functional configuration in the learning stage of the
第1実施形態に係る推定装置100においては、推定部160が、時系列に入力される画像関連データおよび診療関連データに基づいて、当該画像関連データおよび当該診療関連データについてセグメント化された期間ごとの処置内容を先に推定し、その後、推定した処置内容の組み合わせに基づいて、診療内容を推定する。
In the
具体的には、図9に示すように、推定部160は、処置内容推定部171と、タグ付け部164と、記憶部165と、診療内容推定部176とを有する。
Specifically, as shown in FIG. 9, the
処置内容推定部171は、画像関連データおよび診療関連データの少なくともいずれか1つに基づいて、処置内容を推定する。処置内容推定部171は、推定モデル172を有する。さらに、推定モデル172は、ニューラルネットワーク173と、当該ニューラルネットワーク173によって用いられるパラメータ174とを含む。パラメータ174は、ニューラルネットワーク173による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか1つを含む。なお、処置内容推定部171は、推定部160に含まれており「第1推定部」の一実施形態に対応し、推定モデル172は、「第1推定モデル」の一実施形態に対応し、ニューラルネットワーク173は、「第1ニューラルネットワーク」の一実施形態に対応する。
The treatment
ニューラルネットワーク173は、たとえば、リカレントニューラルネットワーク(再帰型ニューラルネットワーク)(RNN)、あるいはLSTMネットワーク(Long Short Term Memory Network)など、ディープラーニングによる時系列データに対する処理で用いられる公知のニューラルネットワークが適用される。
As the
学習段階において、処置内容推定部171の推定モデル172は、セグメント化部156によってセグメント化された画像関連データおよび診療関連データと、当該画像関連データおよび当該診療関連データを用いた処置内容の推定結果とに基づき学習されることで最適化(調整)される。
In the learning stage, the
具体的には、推定モデル172は、教師データとしてセグメント化部156によってセグメント化された画像関連データおよび診療関連データが入力されると、ニューラルネットワーク173によって、当該画像関連データおよび当該診療関連データについてセグメント化された所定の期間ごとに処置内容を推定する。そして、推定モデル172は、自身の推定結果と、入力された画像関連データおよび診療関連データに関連付けられた正解データである所定の期間ごとの処置内容とが一致するか否かを判定し、両者が一致すればパラメータ174を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ174を更新することで、パラメータ174を最適化する。
Specifically, in the
このように、学習段階において、推定装置100は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置1で取得した診療関連データとに基づいて、処置内容を推定できるように、ニューラルネットワーク173を含む推定モデル172を機械学習させる。
As described above, in the learning stage, the
また、本実施の形態においては、各画像関連データおよび診療関連データに含まれるデータのうち、セグメント化に寄与しなかったデータについては処置内容推定部171に入力されない。よって、処置内容推定部171は、各画像関連データおよび診療関連データに含まれるデータのうち、セグメント化されるにあたって利用されたデータのみに基づき、処置内容を推定して機械学習を行う。これにより、推定装置100は、情報量の多い画像関連データおよび診療関連データを次元圧縮した上で処置内容を推定するため、情報量の多い画像関連データおよび診療関連データから直接的に処置内容を推定するよりも、効率良く処置内容を推定することができ、より正確かつ容易に処置内容を推定することができる。
Further, in the present embodiment, among the data included in each image-related data and the medical care-related data, the data that did not contribute to the segmentation is not input to the treatment
なお、各画像関連データおよび診療関連データに含まれるデータのうち、セグメント化に寄与したデータに限らず、セグメント化に寄与しなかったデータについても処置内容推定部171に入力されてもよい。つまり、セグメント化によってフラグデータなどの区切りが付けられたデータを含む全てのデータが処置内容推定部171に入力されてもよい。この場合、セグメント化によって区切られたデータが、全てのデータの中でどれに当たるのかを、処置内容推定部171が気づいて把握することができるので、処置内容の推定精度が向上することを期待することができる。
Of the data included in each image-related data and medical care-related data, not only the data that contributed to the segmentation but also the data that did not contribute to the segmentation may be input to the treatment
なお、推定装置100は、学習段階に限らず、運用段階においても、ニューラルネットワーク173を含む推定モデル172を機械学習させてもよい。たとえば、運用段階において、処置内容推定部171の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な処置内容が入力されると、推定モデル172は、推定結果と正解データとに基づき学習されることで最適化(再調整)されてもよい。このようにすれば、推定装置100は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど処置内容の推定精度が向上する。
The
なお、本実施の形態において、処置内容推定部171は、教師あり学習のアルゴリズムを用いていたが、教師なし学習のアルゴリズム、または強化学習のアルゴリズムなど、公知のアルゴリズムを用いて機械学習を行うものであってもよい。たとえば、教師なし学習のアルゴリズムを用いる場合、処置内容推定部171は、画像関連データに基づき、診療中に使用される診療器具の種類やその使用タイミング、診療器具と患者の口腔との位置関係、診療中の術者と患者の行動、および診療装置1における各部のログデータを分類(クラスタリング)し、その分類結果に基づき処置内容を推定する。処置内容推定部171は、このような推定処理を繰り返し行うことで、処置内容の推定結果の精度を向上させることができる。
In the present embodiment, the treatment
処置内容推定部171による推定結果は、タグ付け部164に出力される。タグ付け部164は、処置内容推定部171による処置内容の推定結果に対してタグを付ける。たとえば、タグ付け部164は、処置内容そのものを人間が理解できる名称(たとえば、審査、抜髄、根管長測定など)を推定結果にタグ付けしてもよいし、処置内容を識別可能な記号(たとえば、審査=処置a、抜髄=処置b、根管長測定=処置cなど)を推定結果にタグ付けしてもよいし、推定装置100の演算装置102が処置内容を識別可能な何らかの識別子を推定結果にタグ付けしてもよい。記憶部165は、タグ付け部によってタグ付けられた処置内容の推定結果を記憶する。
The estimation result by the treatment
タグ付け部164は、診療状況をリアルタイムに観察することで処置内容を把握した関係者(歯科医師や歯科助手などの術者、または推定システム1000におけるシステム設計の関係者など)がディスプレイ17に表示されたタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる処置内容に基づくタグを、処置内容推定部171が出力した処置内容の推定結果にタグ付けしてもよい。
The tagging unit 164 is displayed on the
また、タグ付け部164は、録画されていた全体カメラ53の撮影動画がディスプレイ17において再生表示され、これの視聴時に処置内容を把握した関係者がタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる処置内容に基づくタグを、そのアイコンの選択タイミング、または、その前後に処置内容推定部171が出力した処置内容の推定結果にタグ付けしてもよい。
Further, in the tagging unit 164, the recorded moving image of the
さらに、タグ付け部164は、各画像関連データや診療関連データに基づいて、処置内容に基づくタグを、処置内容推定部171が出力した処置内容の推定結果に自動でタグ付けしてもよい。たとえば、処置内容推定部171によって処置内容の推定結果が出力されたタイミング、または、その前後で、各画像関連データや診療関連データに基づいてバキューム駆動により吸引処理が判定される場合、その判定結果である吸引処理を示すタグを、処置内容推定部171が出力した処置内容の推定結果にタグ付けしてもよい。
Further, the tagging unit 164 may automatically tag the tag based on the treatment content with the estimation result of the treatment content output by the treatment
上述したように、タグ付け部164は、術者などの関係者によって入力されたデータに基づくタグを、処置内容推定部171が出力した処置内容の推定結果にタグ付けしてもよいし、関係者が介入することなく推定装置100自身が抽出したデータに基づくタグを、処置内容推定部171が出力した処置内容の推定結果にタグ付けしてもよい。または、それらを混合させた学習処理であってもよい。
As described above, the tagging unit 164 may tag the tag based on the data input by the operator or the like to the estimation result of the treatment content output by the treatment
診療内容推定部176は、処置内容推定部171による処置内容の推定結果(推定された処置内容の組み合わせ)に基づいて、診療内容を推定する。診療内容推定部176は、推定モデル177を有する。さらに、推定モデル177は、ニューラルネットワーク178と、当該ニューラルネットワーク178によって用いられるパラメータ179とを含む。パラメータ179は、ニューラルネットワーク178による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか1つを含む。なお、診療内容推定部176は、推定部160に含まれており「第1推定部」の一実施形態に対応し、推定モデル177は、「第1推定モデル」の一実施形態に対応し、ニューラルネットワーク178は、「第1ニューラルネットワーク」の一実施形態に対応する。
The medical treatment
ニューラルネットワーク178は、たとえば、リカレントニューラルネットワーク(再帰型ニューラルネットワーク)(RNN)、あるいはLSTMネットワーク(Long Short Term Memory Network)など、ディープラーニングによる時系列データに対する処理で用いられる公知のニューラルネットワークが適用される。
As the
診療内容推定部176の推定モデル177は、処置内容推定部171による処置内容の推定結果(推定された処置内容の組み合わせ)と、処置内容の推定結果(推定された処置内容の組み合わせ)を用いた診療内容の推定結果とに基づき学習されることで最適化(調整)される。
The
具体的には、推定モデル177は、教師データとして処置内容推定部171による処置内容の推定結果(推定された処置内容の組み合わせ)が入力されると、ニューラルネットワーク178によって、当該処置内容の推定結果(推定された処置内容の組み合わせ)に関連付けられた診療内容を推定する。そして、推定モデル177は、自身の推定結果と、入力された処置内容の推定結果(推定された処置内容の組み合わせ)に関連付けられた正解データである診療内容とが一致するか否かを判定し、両者が一致すればパラメータ179を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ179を更新することで、パラメータ179を最適化する。
Specifically, in the
このように、学習段階において、推定装置100は、処置内容推定部171による処置内容の推定結果(推定された処置内容の組み合わせ)に基づいて、診療内容を推定できるように、ニューラルネットワーク178を含む推定モデル177を機械学習させる。
As described above, in the learning stage, the
なお、推定装置100は、学習段階に限らず、運用段階においても、ニューラルネットワーク178を含む推定モデル177を機械学習させてもよい。たとえば、運用段階において、診療内容推定部176の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な診療内容が入力されると、推定モデル177は、推定結果と正解データとに基づき学習されることで最適化(再調整)されてもよい。このようにすれば、推定装置100は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど処置内容の推定精度が向上する。
The
なお、本実施の形態において、診療内容推定部176は、教師あり学習のアルゴリズムを用いていたが、教師なし学習のアルゴリズム、または強化学習のアルゴリズムなど、公知のアルゴリズムを用いて機械学習を行うものであってもよい。たとえば、教師なし学習のアルゴリズムを用いる場合、処置内容推定部171は、診療内容推定部176の推定結果を分類(クラスタリング)し、その分類結果に基づき診療内容を推定する。診療内容推定部176は、このような推定処理を繰り返し行うことで、診療内容の推定結果の精度を向上させることができる。
In the present embodiment, the medical treatment
なお、本実施の形態において、診療内容推定部176は、ニューラルネットワーク178を含む推定モデル177によって診療内容を推定するものであったが、このようなAI技術に限らず、公知のルールベースの技術を用いて診療内容を推定してもよい。たとえば、図2に示すように、診療内容(治療内容)と処置内容の組み合わせとが対応付けられたデータテーブルを予め準備しておき、診療内容推定部176は、処置内容推定部171による処置内容の推定結果(推定された処置内容の組み合わせ)と当該データテーブルとに基づき、診療内容を推定してもよい。
In the present embodiment, the medical treatment
[第1実施形態に係る推定装置の運用段階における機能構成]
図10は、第1実施形態に係る推定装置100の運用段階における機能構成を示すブロック図である。なお、図10に示す推定装置100の機能構成では、図8に示す推定装置100の機能構成のうち、同期部155よりも後段の機能構成のみを説明し、その他の機能構成については図8に示す推定装置100の機能構成と同じであるため、その説明を省略する。図10に示すように、運用段階における第1実施形態に係る推定装置100は、処置内容推定部171および診療内容推定部176の各々が学習済みとなっている。
[Functional configuration in the operation stage of the estimation device according to the first embodiment]
FIG. 10 is a block diagram showing a functional configuration in the operation stage of the
運用段階においては、まず、処置内容推定部171は、セグメント化部156によってセグメント化された画像関連データおよび診療関連データと、ニューラルネットワーク173を含む推定モデル172とに基づき、患者の処置内容を推定し、その推定結果をタグ付け部164に出力する。タグ付け部164は、処置内容推定部171による処置内容の推定結果に対してタグを付ける。タグ付け部によってタグ付けられた処置内容の推定結果は、記憶部165によって記憶される。また、タグ付け部によってタグ付けられた処置内容の推定結果は、診療支援部190に出力される。
In the operation stage, first, the treatment
次に、診療内容推定部176は、処置内容推定部171による処置内容の推定結果(推定された処置内容の組み合わせ)と、ニューラルネットワーク178を含む推定モデル177とに基づき、患者の診療内容を推定し、その推定結果を診療支援部190に出力する。
Next, the medical treatment
診療支援部190は、診療内容推定部176による推定結果、およびタグ付け部によってタグ付けられた処置内容の推定結果の少なくともいずれか1つに基づき診療支援を実行する。診療支援部190による診療支援については、図11〜図14を参照しながら後述する。
The medical
このように、推定装置100は、まず、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置1で取得した診療関連データと、ニューラルネットワーク173を含む推定モデル172とに基づき、患者の処置内容を推定する。次に、推定装置100は、処置内容推定部171による処置内容の推定結果(推定された処置内容の組み合わせ)と、ニューラルネットワーク178を含む推定モデル177とに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを用いて、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As described above, the
セグメント化部156によって画像関連データと診療関連データとが所定のタイミングで区切られることで、画像関連データと診療関連データとが所定の期間ごとに予めセグメント化される。そして、処置内容推定部171は、予めセグメント化された画像関連データおよび診療関連データに基づき処置内容の推定処理を行うため、処置内容の推定精度を高めることができる。
The image-related data and the medical care-related data are separated at a predetermined timing by the
処置内容推定部171によって推定された処置内容は、タグ参照部166によって参照されたタグが付されて出力される。具体的には、学習段階において処置内容推定部171によって出力された処置内容の推定結果と、当該推定結果に対してタグ付け部によってタグ付けされたタグ(処置内容)とが関連付けられてメモリなどに一覧データとして記憶される。そして、運用段階において、タグ参照部166は、処置内容推定部171によって出力された処置内容の推定結果に対応するタグを、メモリに記憶された一覧データを参照することで抽出し、抽出したタグを当該推定結果に付して出力する。診療内容推定部176は、タグ参照部166によってタグが付された処置内容の推定結果に基づき診療内容の推定処理を行うことで、処置内容を何らかのタグによって区別し易くなり、診療内容の推定精度を高めることができる。さらに、タグ参照部166によってタグが付された処置内容の推定結果は、診療支援部190による診療支援で用いられるため、より利便性のある歯科診療を実現することができる。
The treatment content estimated by the treatment
<診療支援>
図11〜図14を参照しながら、推定装置100の診療支援部190による診療支援について説明する。
<Medical support>
The medical treatment support by the medical
[カルテの作成支援]
図11は、推定装置100によるカルテの作成支援の一例を説明するための図である。推定装置100は、診療内容推定部176によって推定された診療内容、および処置内容推定部171によって推定された処置内容に対して、術者が理解する言葉でタグ付けすることで、診療内容や処置内容を術者が理解する言葉で記録することができる。そこで、推定装置100は、診療内容推定部176によって推定された診療内容、および処置内容推定部171によって推定された処置内容に基づき、患者のカルテを自動的に作成してもよい。たとえば、図11に示すように、推定装置100は、治療対象となった部位および時系列の処置内容などをカルテに自動的に記入してもよい。なお、推定装置100は、ニューラルネットワークを用いて、画像関連データおよび診療関連データに基づき傷病名(う蝕、歯肉炎など)についても推定するように機械学習を行うようにすれば、傷病名についてもカルテに自動的に記入することもできる。
[Support for creating medical records]
FIG. 11 is a diagram for explaining an example of support for creating a medical record by the
[診療装置の操作支援]
図12は、推定装置100による診療装置1の操作支援の一例を説明するための図である。推定装置100の処置内容推定部171は、時系列で入力される画像関連データおよび診療関連データに基づき、時系列で処置内容を推定するといった学習を繰り返すことで、ある処置が完了した後の次の処置内容を予想することができる。そこで、推定装置100は、処置内容推定部171によって推定された処置内容に基づき、ある処置が完了した後の次の処置内容を術者に報知したり、当該次の処置内容のための行動を促したりしてもよい。たとえば、図12に示すように、推定装置100は、ある処置が完了した後、次の処置のための診療装置1の操作(たとえば、チェア11の操作、診療器具15の操作など)を術者に報知してもよい。報知態様としては、操作パネル18に表示されたアイコン画像を点滅させたり、バキュームおよびエアタービンハンドピースなどの診療器具15の操作ボタンを点滅させたりすればよい。なお、推定装置100は、ブザー音や音声などの音で次の処置内容などを知らせたり、ディスプレイにイラストや文章を表示することで次の処置内容などを知らせたり、表示機能が搭載された眼鏡に表示することで次の処置内容などを知らせたりといったように、その他の報知によって操作支援を行うものであってもよい。
[Operation support for medical equipment]
FIG. 12 is a diagram for explaining an example of operation support of the
[アラート出力支援]
図13は、推定装置100によるアラート出力支援の一例を説明するための図である。推定装置100は、術者や患者の行動が映し出された全体画像のデータに基づき、診療内容推定部176によって診療内容を推定し、処置内容推定部171によって処置内容を推定することができる。そこで、推定装置100は、ある処置において、術者があり得ない異常な行動をしている場合に、アラートを出力してもよい。たとえば、図13に示すように、推定装置100は、ある処置内において歯科医師3が診療器具を持ちながら後ろを向いている場合、患者である小児が治療時に突然動いた場合、あるいは、診療器具が頬や舌に接触しそうになる場合に、操作パネル18およびスピーカ20からアラートを出力してもよい。さらに、術者の行動の異常度(危険度)が高ければ高いほど、アラートの出力レベル(輝度や音量のレベル)を高くしたり、アラートの出力頻度を高くしたりしてもよい。また、推定装置100は、診療器具のうち、たとえば、駆動中のエアタービンハンドピースやモータハンドピースの回転数を下げたり、これらを停止する制御を実行したりしてもよい。
[Alert output support]
FIG. 13 is a diagram for explaining an example of alert output support by the
[術者の評価支援]
図14は、推定装置100による術者の評価支援の一例を説明するための図である。推定装置100の処置内容推定部171は、熟練者の診療中に時系列で入力される画像関連データおよび診療関連データに基づき、時系列で処置内容を推定するといった学習を繰り返すことで、治療ごとに熟練者による理想的な処置の手順、処置のタイミング、および処置内容における術者の行動を機械学習することができる。さらに、推定装置100の処置内容推定部171は、理想的な術者の姿勢、ポジショニング、診療器具のグリップ方法なども機械学習することができる。そこで、推定装置100は、一連の治療が完了した後、または、治療中にリアルタイムで、完了した処置の手順、処置のタイミング、および処置内における術者の行動の評価結果を報知してもよい。たとえば、図14に示すように、推定装置100は、一連の治療が完了した後、あるいは、治療中にリアルタイムで、表でまとめられた術者の行動の評価結果を表示装置110に表示してもよいし、当該評価結果をデータベースに蓄積することで評価の推移が分かるようにしてもよい。
[Surgeon evaluation support]
FIG. 14 is a diagram for explaining an example of evaluation support of the operator by the
<診療内容の推定の一例>
図15〜図22を参照しながら、推定装置100による診療内容の推定の一例について説明する。なお、図15〜図22には、根管治療の例が示されている。
<Example of estimation of medical treatment content>
An example of estimating the medical treatment content by the
診療中においては、トレーカメラ51によって、シャッタータイミングに依存する所定のタイミング(tA1、tA2、tA3、…)ごとに、トレー30に置かれた1または複数の診療器具が撮影される。
During medical treatment, the
たとえば、図15は、根管治療におけるトレーカメラ51の撮影画像の一例を説明するための図である。図15に示すように、根管治療に含まれる処置として審査が行われているタイミングtA2では、術者によってピンセット314、ミラー316、および深針318が使用されるため、トレーカメラ51の撮影画像にはピンセット314、ミラー316、および深針318が映し出されない。根管治療に含まれる処置として抜髄が行われているタイミングtA3では、術者によってファイル305およびバキューム315が使用されるため、トレーカメラ51の撮影画像にはファイル305およびバキューム315が映し出されない。根管治療に含まれる処置として根管長測定が行われているタイミングtA5では、術者によって根管長測定器303およびファイル305が使用されるため、トレーカメラ51の撮影画像には根管長測定器303およびファイル305が映し出されない。根管治療に含まれる処置として消毒・洗浄が行われているタイミングtA7では、術者によって洗浄用ニードル309、洗浄用シリンジ310、およびバキューム315が使用されるため、トレーカメラ51の撮影画像には洗浄用ニードル309、洗浄用シリンジ310、およびバキューム315が映し出されない。根管治療に含まれる処置として根管充填が行われているタイミングtA9では、術者によってミラー316および根管材料注入器319が使用されるため、トレーカメラ51の撮影画像にはミラー316および根管材料注入器319が映し出されない。根管治療に含まれる処置として詰め込み・被せが行われているタイミングtA11では、術者によって仮封剤充填器311、ピンセット314、およびミラー316が使用されるため、トレーカメラ51の撮影画像には仮封剤充填器311、ピンセット314、およびミラー316が映し出されない。
For example, FIG. 15 is a diagram for explaining an example of an image taken by the
このように、診療中においては、トレー30に置かれた診療器具の有無、形状、および種類などが、トレーカメラ51の撮影画像によって映し出される。
In this way, during medical treatment, the presence, shape, type, and the like of the medical equipment placed on the
推定装置100は、上述したようなトレーカメラ51の撮影画像のデータ(トレー画像データとしての画像関連データ)が入力部150から入力されると、推定部151による画像認識によって、画像に含まれる特徴量を抽出する。
When the data of the captured image of the tray camera 51 (image-related data as tray image data) as described above is input from the
たとえば、図16は、トレーカメラ51の撮影画像から取得されたトレー画像データの一例を説明するための図である。図16に示すように、推定装置100は、所定のタイミング(tA1、tA2、tA3、…)ごとに、トレー30に置かれた診療器具の有無、形状、および種類などを推定し、トレー30上に存在する診療器具に対応する記憶領域に「0」のデータを格納し、トレー30上に存在しない診療器具に対応する記憶領域に「1」のデータを格納する。これにより、図16に示すように、推定装置100は、所定のタイミングごとに診療器具の有無を区別可能なデータ(画像関連データ)を得ることができる。
For example, FIG. 16 is a diagram for explaining an example of tray image data acquired from a captured image of the
また、診療中においては、患者カメラ52によって、シャッタータイミングに依存する所定のタイミング(tB1、tB2、tB3、…)ごとに、患者の口腔内が撮影される。
In addition, during medical treatment, the
そして、推定装置100は、患者カメラ52の撮影画像のデータ(患者画像データとしての画像関連データ)が入力部150から入力されると、推定部152による画像認識によって、画像に含まれる特徴量を抽出する。
Then, when the data of the image captured by the patient camera 52 (image-related data as the patient image data) is input from the
たとえば、図17は、患者カメラ52の撮影画像から取得された患者画像データの一例を説明するための図である。図17に示すように、推定装置100は、所定のタイミング(tB1、tB2、tB3、…)ごとに、患者の口腔内における診療器具の位置などを推定し、診療器具と患者の唇、または診療器具と患者の頬との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「0」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「1」のデータを格納する。これにより、図17に示すように、推定装置100は、所定のタイミングごとに患者の口腔内における診療器具の位置を特定可能なデータ(画像関連データ)を得ることができる。
For example, FIG. 17 is a diagram for explaining an example of patient image data acquired from an image captured by the
また、診療中においては、全体カメラ53によって、シャッタータイミングに依存する所定のタイミング(tC1、tC2、tC3、…)ごとに、術者および患者の行動、診療装置1の動作などが撮影される。
In addition, during medical treatment, the
そして、推定装置100は、全体カメラ53の撮影画像のデータ(全体画像データとしての画像関連データ)が入力部150から入力されると、推定部153による画像認識によって、画像に含まれる特徴量を抽出する。
Then, when the data of the image captured by the entire camera 53 (image-related data as the entire image data) is input from the
たとえば、図18は、全体カメラ53の撮影画像から取得された全体画像データの一例を説明するための図である。図18に示すように、推定装置100は、所定のタイミング(tC1、tC2、tC3、…)ごとに、歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置1の動作などを推定し、術者と患者、または診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「0」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「1」のデータを格納する。これにより、図18に示すように、推定装置100は、所定のタイミングごとに術者の行動、患者の行動、および診療装置1の動作を特定可能なデータ(画像関連データ)を得ることができる。
For example, FIG. 18 is a diagram for explaining an example of overall image data acquired from an image captured by the
また、診療中においては、ログデータの取得タイミングに依存する所定のタイミング(tD1、tD2、tD3、…)ごとに、診療装置1が備えるチェア11、ベースンユニット12、照明装置19、器具制御装置21、および表示制御装置22の少なくともいずれか1つにおける動作および制御を示すログデータが、診療装置1から出力される。
Further, during medical treatment, the
たとえば、図19は、診療装置1から取得された診療関連データの一例を説明するための図である。図19に示すように、診療関連データにおいては、診療器具15について、ピックアップの有無、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、バキュームシリンジの動作、サライバエジェクタの動作、および注水の動作状態などを表すログデータが含まれ、チェア11について、座面高さ、背板角度、およびチェア11の動作状態などを表すログデータが含まれ、フットコントローラ16について、踏込量、踏込パターン、およびスイッチ状態などを表すログデータが含まれ、照明装置19について、点灯状態および発光強度などを表すログデータが含まれ、ベースンユニット12について、コップの載置の有無などを表すログデータが含まれる。
For example, FIG. 19 is a diagram for explaining an example of medical care-related data acquired from the
なお、ログデータは、ログデータの取得タイミングに依存する所定のタイミング(tD1、tD2、tD3、…)ごとに診療装置1から出力されるものに限らず、イベントの発生(たとえば、チェア11の動作の切り替え、診療器具15の動作の切り替えなど)ごとに診療装置1から出力されるものであってもよい。
The log data is not limited to the one output from the
推定装置100は、診療関連データが入力部150から入力されると、変換部154によって、画像関連データと同期させるために適した形式に診療関連データを変換する。
When the medical care-related data is input from the
次に、推定装置100は、同期部155によって、図16〜図18に示す画像関連データと図20に示す診療関連データとを、同期時間の時間軸に合わせて所定のタイミング(T1、T2、T3、…)ごとに同期させる。
Next, the
たとえば、図20および図21は、同期データの一例を説明するための図である。図20および図21に示すように、同期データには、同期時間の時間軸に合わせて所定のタイミング(T1、T2、T3、…)ごとに、画像関連データと診療関連データとを同期させたデータが含まれる。 For example, FIGS. 20 and 21 are diagrams for explaining an example of synchronization data. As shown in FIGS. 20 and 21, in the synchronized data, the image-related data and the medical care-related data were synchronized at predetermined timings (T1, T2, T3, ...) According to the time axis of the synchronization time. Contains data.
たとえば、図16に示すトレー画像データにおけるtA3、tA4のデータは、図20に示す同期データにおけるT3〜T5のデータに対応付けられ、図16に示すトレー画像データにおけるtA7のデータは、図20に示す同期データにおけるT8,T9のデータに対応付けられている。図19に示す患者画像データにおけるtB3、tB4のデータは、図20に示す同期データにおけるT3〜T5のデータに対応付けられ、図19に示す患者画像データにおけるtB7のデータは、図20に示す同期データにおけるT8,T9のデータに対応付けられている。図18に示す全体画像データにおけるtC3、tC4のデータは、図20に示す同期データにおけるT3〜T5のデータに対応付けられ、図18に示す全体画像データにおけるtC7のデータは、図20に示す同期データにおけるT8,T9のデータに対応付けられている。 For example, the data of tA3 and tA4 in the tray image data shown in FIG. 16 is associated with the data of T3 to T5 in the synchronization data shown in FIG. 20, and the data of tA7 in the tray image data shown in FIG. 16 is shown in FIG. It is associated with the data of T8 and T9 in the synchronized data shown. The data of tB3 and tB4 in the patient image data shown in FIG. 19 are associated with the data of T3 to T5 in the synchronization data shown in FIG. 20, and the data of tB7 in the patient image data shown in FIG. 19 is the synchronization shown in FIG. It is associated with the data of T8 and T9 in the data. The data of tC3 and tC4 in the whole image data shown in FIG. 18 is associated with the data of T3 to T5 in the synchronization data shown in FIG. 20, and the data of tC7 in the whole image data shown in FIG. 18 is the synchronization shown in FIG. It is associated with the data of T8 and T9 in the data.
次に、推定装置100は、セグメント化部156によって、図20および図21に示す同期データに含まれる画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化する。
Next, the
たとえば、図22は、画像関連データおよび診療関連データのセグメント化の一例を説明するための図である。図22に示すように、画像関連データと診療関連データとの関連付けが行われると、所定のタイミングごとに同期データが区切られる。 For example, FIG. 22 is a diagram for explaining an example of segmentation of image-related data and medical care-related data. As shown in FIG. 22, when the image-related data and the medical care-related data are associated with each other, the synchronization data is separated at predetermined timing intervals.
ここで、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータに変化がなくても、その他のデータを参照すればデータに変化が生じている場合もある。すなわち、推定装置100は、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々から、複数のデータを参照して組み合わせることで、適切なタイミングで同期データを区切ることができる。
Here, even if there is no change in the tray image data, the patient image data, the whole image data, and the medical care-related data alone, the data may be changed by referring to the other data. That is, the
たとえば、図22に示すように、トレー画像データにおいては、T8〜T10の各々のデータが同じであるが、全体画像データおよび診療関連データにおいては、T8,T9のデータとT10のデータとで異なる。よって、推定装置100は、全体画像データおよび診療関連データに基づいて、確率が高いと予想されるT9のデータとT10のデータとの間で同期データを区切る。
For example, as shown in FIG. 22, in the tray image data, each data of T8 to T10 is the same, but in the whole image data and the medical care-related data, the data of T8 and T9 and the data of T10 are different. .. Therefore, the
また、たとえば、図22に示すように、診療関連データにおいては、T1〜T3の各々のデータが同じであるが、トレー画像データおよび全体画像データにおいては、T1,T2のデータとT3のデータとで異なる。よって、推定装置100は、トレー画像データおよび全体画像データに基づいて、確率が高いと予想されるT2のデータとT3のデータとの間で同期データを区切る。
Further, for example, as shown in FIG. 22, in the medical care-related data, the respective data of T1 to T3 are the same, but in the tray image data and the whole image data, the data of T1 and T2 and the data of T3 Is different. Therefore, the
このように、推定装置100は、同期データのセグメント化にあたって、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータが不足している場合があっても、他のデータを参照することで、適切なタイミングで同期データを区切ることができる。
As described above, in segmenting the synchronous data, the
次に、推定装置100は、セグメント化部156によってセグメント化された画像関連データおよび診療関連データに基づき、推定部160(処置内容推定部171)によって、処置内容を推定する。
Next, the
たとえば、図22に示すように、セグメント化された期間ごとの同期データに対して、処置内容を推定する。具体的には、推定装置100は、T1およびT2に対応する同期データから、処置内容として「審査」を推定し、T3〜T5に対応する同期データから、処置内容として「抜髄」を推定し、T6およびT7に対応する同期データから、処置内容として「根管長測定」を推定し、T8およびT9に対応する同期データから、処置内容として「洗浄・消毒」を推定し、T10およびT11に対応する同期データから、処置内容として「根管充填」を推定し、T12およびT13に対応する同期データから、処置内容として「詰め込み・被せ」を推定する。
For example, as shown in FIG. 22, the treatment content is estimated for the synchronized data for each segmented period. Specifically, the
その後、推定装置100は、推定部160(診療内容推定部176)によって、上述した処置内容の推定結果に基づき、診療内容として「根管治療」を推定する。
After that, the
なお、推定装置100は、タグ付け部164によって、上述した処置内容の推定結果に対してタグを付けてもよく、さらに、そのタグ付けた処置内容の推定結果を、術者などのユーザが理解できるように表示装置110などに表示してもよい。
The
以上のように、推定装置100は、ニューラルネットワークなどの所謂AI技術を用いて、トレー画像データ、患者画像データ、および全体画像データの少なくともいずれか1つに基づき、診療内容ないし処置内容を推定するための特徴を見出すことで、診療内容ないし処置内容を推定することができる。
As described above, the
<推定装置の推定処理>
図23を参照しながら、運用段階において推定装置100が実行する推定処理について説明する。図23は、推定装置100が実行する推定処理の一例を説明するためのフローチャートである。図23に示す各ステップ(以下、「S」で示す。)は、推定装置100の演算装置102がOS142および推定用プログラム141を実行することで実現される。
<Estimation processing of estimation device>
The estimation process executed by the
図23に示すように、推定装置100は、推定処理の開始条件が成立したか否かを判定する(S1)。開始条件は、たとえば、推定装置100の電源を立ち上げたときに成立してもよいし、推定装置100の電源を立ち上げた後に推定処理に対応するモードに切り替えられたときに成立してもよい。また、開始条件は、一定量の画像関連データおよび診療関連データが取得されたときに成立してもよい。さらに、開始条件は、術者によって診療の開始を通知する入力操作(たとえば、推定装置の開始スイッチの操作)が行われたときに成立してもよいし、術者によって診療の終了を通知する入力操作(たとえば、推定装置の終了スイッチの操作)が行われたときに成立してもよい。開始条件は、推定装置100において何らかの開始イベントが発生したときに成立するものであればよい。
As shown in FIG. 23, the
推定装置100は、開始条件が成立していない場合(S1でNO)、本処理を終了する。一方、推定装置100は、開始条件が成立した場合(S1でYES)、画像関連データが入力されたか否かを判定する(S2)。推定装置100は、画像関連データが入力された場合(S2でYES)、推定部151〜153によって、画像関連データに含まれるオブジェクト(物体)の特徴量を抽出してオブジェクトを推定する(S3)。これにより、推定装置100は、診療器具などのオブジェクトの画像認識を行う。
If the start condition is not satisfied (NO in S1), the
推定装置100は、画像関連データが入力されていない場合(S2でNO)、またはS3の処理の後、診療関連データが入力されたか否かを判定する(S4)。推定装置100は、診療関連データが入力された場合(S4でYES)、変換部154によって、診療関連データを所定の形式に変換する(S5)。
The
推定装置100は、診療関連データが入力されていない場合(S4でNO)、またはS5の処理の後、画像関連データおよび診療関連データを所定量蓄積したか否かを判定する(S6)。たとえば、推定装置100は、診療内容を推定するために必要となるデータ量を蓄積したか否かを判定する。推定装置100は、画像関連データおよび診療関連データを所定量蓄積していない場合(S6でNO)、S2の処理に戻る。
The
一方、推定装置100は、画像関連データおよび診療関連データを所定量蓄積した場合(S6でYES)、同期部155によって、画像関連データと診療関連データとを同期させることで同期データを生成する(S7)。なお、推定装置100は、定期的に行われる画像関連データおよび診療関連データの蓄積における所定周期の一周期(たとえば、60msec)が経過したか否かという条件を、S6の処理に替えて判定してもよい。この場合、推定装置100は、一周期(たとえば、60msec)が経過した場合に、S7の処理を実行すればよい。
On the other hand, when the
次に、推定装置100は、セグメント化部156によって、同期データに基づき、画像関連データと診療関連データとを所定のタイミングで区切ることで、同期データをセグメント化する(S8)。
Next, the
次に、推定装置100は、処置内容推定部171によって、セグメント化された同期データに基づき、処置内容を推定する(S9)。次に、推定装置100は、タグ参照部166によって、推定した処置内容に対して参照したタグを付ける(S10)。
Next, the
次に、推定装置100は、診療内容推定部176によって、タグが付された処置内容の組み合わせに基づき、診療内容を推定する(S11)。次に、推定装置100は、推定した診療内容を、診療支援部190によって用いられる装置(たとえば、表示装置110、診療装置1など)に出力し(S12)、本処理を終了する。
Next, the
このように、推定装置100は、推定用プログラム141によって規定された推定方法を用いることにより、ニューラルネットワークなどの所謂AI技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As described above, the
<主な開示>
以上のように、本実施の形態では以下のような開示を含む。
<Main disclosure>
As described above, the present embodiment includes the following disclosure.
[構成1]
推定装置(100)は、患者を診療する診療空間をカメラ(51,52,53)で撮影した画像関連データと、患者を診療する診療装置(1)で取得した診療関連データとが入力される入力部(150)と、入力部(150)から入力される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173,178)を含む第1推定モデル(172,177)とに基づき、患者の診療内容を推定する第1推定部(160)と、を備える。
[Structure 1]
In the estimation device (100), image-related data obtained by taking a picture of the medical care space for treating the patient with a camera (51, 52, 53) and medical care-related data acquired by the medical care device (1) for treating the patient are input. A patient based on an input unit (150), image-related data and clinical-related data input from the input unit (150), and a first estimation model (172,177) including a first neural network (173,178). It is provided with a first estimation unit (160) for estimating the medical treatment contents of the above.
これにより、推定装置100は、ニューラルネットワークなどの所謂AI技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
[構成2]
推定システム(1000)は、患者を診療する診療空間を撮影するカメラ(51,52,53)と、患者を診療する診療装置(1)と、カメラ(51,52,53)で撮影した画像関連データと、診療装置(1)で取得した診療関連データとに基づき、患者の診療内容を推定する推定装置(100)と、を備え、推定装置(100)は、画像関連データと診療関連データとが入力される入力部(150)と、入力部(150)から入力される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173,178)を含む第1推定モデルとに基づき、患者の診療内容を推定する第1推定部(160)とを含む。
[Structure 2]
The estimation system (1000) is related to images taken by a camera (51, 52, 53) that captures a medical treatment space for treating a patient, a medical treatment device (1) that treats a patient, and a camera (51, 52, 53). The estimation device (100) includes an estimation device (100) that estimates the medical treatment content of the patient based on the data and the medical treatment-related data acquired by the medical treatment device (1), and the estimation device (100) includes image-related data and medical treatment-related data. Based on the input unit (150) into which is input, the image-related data and clinical-related data input from the input unit (150), and the first estimation model including the first neural network (173,178). It includes a first estimation unit (160) for estimating medical treatment contents.
これにより、推定システム1000は、ニューラルネットワークなどの所謂AI技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
[構成3]
推定装置(100)は、入力部(150)から入力される画像関連データと、第2ニューラルネットワーク(1512)を含む第2推定モデル(1511)とに基づき、患者を診療するための診療器具(301〜319)を少なくとも推定する第2推定部(151)を備え、第1推定部(160)は、第2推定部(151)による推定結果を含む画像関連データおよび診療関連データと、第1推定モデル(172,177)とに基づき、患者の診療内容を推定する。
[Structure 3]
The estimation device (100) is a medical device (1511) for treating a patient based on the image-related data input from the input unit (150) and the second estimation model (1511) including the second neural network (1512). A second estimation unit (151) that estimates at least 301 to 319) is provided, and the first estimation unit (160) includes image-related data and medical treatment-related data including estimation results by the second estimation unit (151), and a first. Based on the estimation model (172, 177), the medical treatment content of the patient is estimated.
これにより、推定装置100は、ニューラルネットワークなどの所謂AI技術を用いて、画像関連データに基づき診療器具を推定した上で、当該推定結果に基づき診療内容を推定するため、診療器具の推定結果を利用して、診療内容の推定結果に基づいた種々の診療支援機能の提供を実現することができる。
As a result, the
[構成4]
推定装置(100)は、入力部(150)から入力される診療関連データを、所定の形式に変換する変換部(154)を備える。
[Structure 4]
The estimation device (100) includes a conversion unit (154) that converts medical treatment-related data input from the input unit (150) into a predetermined format.
これにより、推定装置100は、診療関連データを変換することで、診療関連データの形式を診療内容の推定に適した形式とすることができ、診療関連データを効率良く活用することができる。
As a result, the
[構成5]
推定装置(100)は、第2推定部(151)による推定結果を含む画像関連データと、変換部(154)によって変換される診療関連データとを時系列に同期させる同期部(155)を備える。
[Structure 5]
The estimation device (100) includes a synchronization unit (155) that synchronizes the image-related data including the estimation result by the second estimation unit (151) and the medical care-related data converted by the conversion unit (154) in time series. ..
これにより、たとえば、推定部151〜153による画像認識処理の時間が変換部154による変換処理の時間よりも長くなるような場合でも、推定装置100は、画像関連データと診療関連データとを時系列に同期させることで、画像関連データと診療関連データと効率的に比較し易くすることができるため、より正確かつ容易に診療内容を推定することができる。
As a result, for example, even if the image recognition processing time by the
[構成6]
第1推定部(160)は、同期部(155)によって同期される画像関連データおよび診療関連データと、第1推定モデル(172,177)とに基づき、患者の診療内容を推定する。
[Structure 6]
The first estimation unit (160) estimates the medical treatment content of the patient based on the image-related data and the medical treatment-related data synchronized by the synchronization unit (155) and the first estimation model (172, 177).
これにより、推定装置100は、画像関連データと診療関連データとを時系列に同期させた同期データを用いて、より正確かつ容易に診療内容を推定することができる。
As a result, the
[構成7]
第1推定部(160)は、同期部(155)によって同期される画像関連データおよび診療関連データと、第1推定モデル(172,177)とに基づき、所定の期間における患者に対する処置内容を推定し、推定した当該処置内容に基づき当該患者の診療内容を推定する。
[Structure 7]
The first estimation unit (160) estimates the treatment content for the patient in a predetermined period based on the image-related data and the medical care-related data synchronized by the synchronization unit (155) and the first estimation model (172, 177). Then, the medical treatment content of the patient is estimated based on the estimated treatment content.
これにより、推定装置100は、画像関連データと診療関連データとを時系列に同期させた同期データを用いて、先に処置内容を推定した上で、その後に処置内容の推定結果に基づき診療内容を推定する。すなわち、推定装置100は、情報量の多い画像関連データおよび診療関連データを次元圧縮することで、まずは処置内容の推定結果を算出し、当該推定結果に基づき診療内容を推定するため、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
[構成8]
第1ニューラルネットワーク(173,178)は、リカレントニューラルネットワークである。
[Structure 8]
The first neural network (173,178) is a recurrent neural network.
これにより、推定装置100は、時系列に入力される画像関連データおよび診療関連データに適したAI技術であるリカレントニューラルネットワークを用いることで、より正確かつ容易に診療内容を推定することができる。
As a result, the
[構成9]
第1推定モデル(172,177)は、画像関連データおよび診療関連データに関連付けられた患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき学習されたものである。
[Structure 9]
The first estimation model (172, 177) is based on the medical treatment content of the patient associated with the image-related data and the medical treatment-related data, and the estimation result of the medical treatment content of the patient using the image-related data and the medical treatment-related data. It was learned based on.
これにより、推定装置100は、画像関連データおよび診療関連データに基づき機械学習を行うことで、正確かつ容易に診療内容を推定することができる。
As a result, the
[構成10]
第1推定モデル(172,177)は、第1ニューラルネットワーク(173,178)によって用いられるパラメータ(174,179)として、重み付け係数および判定値の少なくともいずれか1つを含み、第1推定モデル(172,177)は、画像関連データおよび診療関連データに関連付けられた患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき、パラメータ(174,179)が更新されることで学習される。
[Structure 10]
The first estimation model (172,177) includes at least one of a weighting coefficient and a determination value as a parameter (174,179) used by the first neural network (173,178), and the first estimation model (172,177) includes the first estimation model (173,178). 172, 177) is a parameter (174) based on the medical treatment content of the patient associated with the image-related data and the medical treatment-related data, and the estimation result of the medical treatment content of the patient using the image-related data and the medical treatment-related data. , 179) is updated to learn.
これにより、推定装置100は、画像関連データおよび診療関連データに基づきパラメータ調整によって機械学習を行うことで、正確かつ容易に診療内容を推定することができる。
As a result, the
[構成11]
画像関連データは、患者の口腔内、および患者を診療するための診療器具(301〜319)が置かれるトレー(30)の少なくともいずれか1つを含む領域の画像のデータ(患者画像データ,トレー画像データ)を含む。
[Structure 11]
The image-related data is image data (patient image data, tray) of an area including at least one of a tray (30) in which a medical device (301 to 319) for treating a patient is placed in the oral cavity of a patient. Image data) is included.
これにより、推定装置100は、患者の口腔内および診療器具が置かれるトレー30の少なくともいずれか1つを含む領域の画像のデータに基づいて、正確かつ容易に診療内容を推定することができる。
Thereby, the
[構成12]
診療関連データは、診療装置(1)のログデータを含む。
[Structure 12]
The medical care-related data includes the log data of the medical care device (1).
これにより、推定装置100は、診療装置1のログデータに基づいて、正確かつ容易に診療内容を推定することができる。さらに、推定装置100は、診療内容を推定するにあたって、画像関連データのみではデータが不足している場合があっても、診療装置1のログデータを参照することで、その不足分のデータを補うことができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
[構成13]
ログデータは、診療装置(1)が備えるチェア(11)を駆動するデータ、診療装置(1)が備える診療器具(15)を駆動するデータ、診療装置(1)が備える照明装置(19)を駆動するデータ、および診療装置(1)が備える給水・排水装置(12)を駆動するデータの少なくともいずれか1つを含む。
[Structure 13]
The log data includes data for driving the chair (11) included in the medical device (1), data for driving the medical device (15) provided in the medical device (1), and lighting device (19) provided in the medical device (1). It includes at least one of the data to be driven and the data to drive the water supply / drainage device (12) included in the medical device (1).
これにより、推定装置100は、チェア11を駆動するデータ、診療器具15を駆動するデータ、照明装置19を駆動するデータ、および給水・排水装置(ベースンユニット)12を駆動するデータなど、診療中において生成されるデータを用いることで、診療内容を推定するための画像関連データの不足分を補うことができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
[構成14]
推定装置(100)は、第1推定部(160)による推定結果に基づき診療支援を実行する診療支援部(190)を備える。
[Structure 14]
The estimation device (100) includes a medical care support unit (190) that executes medical care support based on the estimation result by the first estimation unit (160).
これにより、推定装置100は、診療内容の推定結果を用いて診療支援を行うことができ、より利便性のある歯科診療を実現することができる。
As a result, the
[構成15]
推定装置(100)は、入力部(150)から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部(156)と、セグメント化部(156)によってセグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173,178)を含む第1推定モデル(172,177)とに基づき、患者の診療内容を推定する第1推定部(160)と、を備える。
[Structure 15]
The estimation device (100) is provided by a segmentation unit (156) and a segmentation unit (156) that segment the image-related data and the medical care-related data input from the input unit (150) at a predetermined timing. The first estimation unit (160) that estimates the medical treatment content of a patient based on the segmented image-related data and medical treatment-related data and the first estimation model (172, 177) including the first neural network (173, 178). ) And.
これにより、推定装置100は、画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化した上で、そのセグメント化された画像関連データおよび診療関連データに基づき診療内容を推定する。すなわち、推定装置100は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
[構成16]
所定のタイミングは、診療関連データに含まれる、診療装置(1)が備えるチェア(11)を駆動するデータ、診療装置(1)が備える診療器具(15)を駆動するデータ、診療装置(1)が備える照明装置(19)を駆動するデータ、および診療装置(1)が備える給水・排水装置(12)を駆動するデータの少なくともいずれか1つに基づき診療に関する装置の駆動の発生または継続が判定されるタイミングである。
[Structure 16]
The predetermined timing includes data for driving the chair (11) included in the medical device (1), data for driving the medical device (15) included in the medical device (1), and medical device (1) included in the medical care-related data. The occurrence or continuation of the drive of the device related to medical care is determined based on at least one of the data for driving the lighting device (19) provided in the medical device and the data for driving the water supply / drainage device (12) provided in the medical device (1). It is the timing to be done.
これにより、推定装置100は、チェア11を駆動するデータ、診療器具15を駆動するデータ、照明装置19を駆動するデータ、および給水・排水装置(ベースンユニット)12を駆動するデータなど、診療中において生成されるデータに基づき、画像関連データと診療関連データとをセグメント化するため、診療内容の推定における効率および精度が高まる適切なタイミングで画像関連データと診療関連データとを区切ってセグメント化することができる。
As a result, the
[構成17]
セグメント化部(156)は、同期部(155)によって同期される画像関連データおよび診療関連データに基づき、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化する。
[Structure 17]
The segmentation unit (156) segments the image-related data and the medical care-related data at a predetermined timing based on the image-related data and the medical care-related data synchronized by the synchronization unit (155).
これにより、推定装置100は、画像関連データと診療関連データとを時系列に同期させた同期データを用いて、画像関連データと診療関連データとをセグメント化することができる。
Thereby, the
[構成18]
第1推定部(160)は、セグメント化部(156)によってセグメント化される画像関連データおよび診療関連データに基づき、所定の期間における患者に対する処置内容を推定し、推定した当該処置内容に基づき当該患者の診療内容を推定する。
[Structure 18]
The first estimation unit (160) estimates the treatment content for the patient in a predetermined period based on the image-related data and the medical treatment-related data segmented by the segmentation unit (156), and the treatment content is based on the estimated treatment content. Estimate the medical treatment of the patient.
これにより、推定装置100は、セグメント化された画像関連データおよび診療関連データを用いて、先に所定の期間における処置内容を推定した上で、その後に処置内容の推定結果に基づき診療内容を推定する。すなわち、推定装置100は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮することで、まずは所定の期間における処置内容の推定結果を算出し、当該推定結果に基づき診療内容を推定するため、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
[構成19]
セグメント化部(156)は、画像関連データおよび診療関連データの少なくともいずれか1つに含まれる患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化する。
[Structure 19]
The segmentation unit (156) determines the image-related data and the medical care-related data based on the data indicating the occurrence of the patient's medical care-related event included in at least one of the image-related data and the medical care-related data. Segment by dividing by timing.
これにより、推定装置100は、患者の診療に関するイベントが発生したタイミングなど、処置内容が切り替わるであろうタイミングに基づき、画像関連データと診療関連データとを区切ってセグメント化することができ、効率的に診療内容を推定することができる。
As a result, the
[構成20]
コンピュータ(102)による歯科における診療内容を推定する推定方法は、患者を診療する診療空間をカメラ(51,52,53)で撮影した画像関連データと、患者を診療する診療装置(1)で取得した診療関連データとが入力されるステップ(S2,S4)と、入力される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173,178)を含む第1推定モデル(172,177)とに基づき、患者の診療内容を推定するステップ(S11)と、を含む。
[Structure 20]
The estimation method for estimating the medical treatment content in dentistry by the computer (102) is to acquire the image-related data obtained by taking the medical treatment space for treating the patient with the camera (51, 52, 53) and the medical treatment device (1) for treating the patient. Steps (S2, S4) in which the medical care-related data is input, image-related data and medical care-related data to be input, and a first estimation model (172, 177) including a first neural network (173,178). The step (S11) of estimating the medical treatment content of the patient based on the above is included.
これにより、推定装置100は、ニューラルネットワークなどの所謂AI技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
[構成20]
推定方法は、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップ(S8)と、セグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173,178)を含む第1推定モデル(172,177)とに基づき、患者の診療内容を推定するステップ(S11)と、を含む。
[Structure 20]
The estimation method includes a step (S8) of segmenting the input image-related data and the medical care-related data by dividing them at a predetermined timing, the segmented image-related data and the medical care-related data, and the first neural network (1st neural network). Includes a step (S11) of estimating the medical care content of the patient based on the first estimation model (172, 177) including 173,178).
これにより、推定装置100は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
[構成20]
推定用プログラム(141)は、コンピュータ(102)に、患者を診療する診療空間をカメラ(51,52,53)で撮影した画像関連データと、患者を診療する診療装置(1)で取得した診療関連データとが入力されるステップ(S2,S4)と、入力される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173,178)を含む第1推定モデル(172,177)とに基づき、患者の診療内容を推定するステップ(S11)と、を実行させる。
[Structure 20]
The estimation program (141) is a computer (102) with image-related data obtained by capturing a medical treatment space for treating a patient with a camera (51, 52, 53) and a medical treatment device (1) for treating a patient. Based on the steps (S2, S4) in which the related data are input, the image-related data and the medical care-related data to be input, and the first estimation model (172, 177) including the first neural network (173,178). , The step (S11) of estimating the medical treatment content of the patient and
これにより、推定装置100は、ニューラルネットワークなどの所謂AI技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
[構成21]
推定用プログラム(141)は、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップ(S8)と、セグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173,178)を含む第1推定モデル(172,177)とに基づき、患者の診療内容を推定するステップ(S11)と、を実行させる。
[Structure 21]
The estimation program (141) includes a step (S8) of segmenting the input image-related data and the medical care-related data by separating them at a predetermined timing, the segmented image-related data and the medical care-related data, and the first. 1. Based on the first estimation model (172, 177) including the neural network (173, 178), the step (S11) of estimating the medical treatment content of the patient is executed.
これにより、推定装置100は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
<第2実施形態に係る推定装置の機能構成>
第1実施形態に係る推定装置100においては、先に、画像関連データおよび診療関連データに基づき、処置内容推定部171によって処置内容を推定した上で、次に、処置内容の推定結果に基づき、診療内容推定部176によって診療内容を推定するものであった。しかしながら、推定装置は、以下で説明する第2実施形態に係る推定装置100aのように、処置内容を推定することなく、画像関連データおよび診療関連データに基づき、診療内容を推定してもよい。なお、以下では、第2実施形態に係る推定装置100aについて、第1実施形態に係る推定装置100と異なる部分のみを説明し、第1実施形態に係る推定装置100と共通する部分については同じ符号を付してその説明を省略する。
<Functional configuration of the estimation device according to the second embodiment>
In the
図24は、第2実施形態に係る推定装置100aの学習段階における機能構成を示すブロック図である。図25は、第2実施形態に係る推定装置100aの運用段階における機能構成を示すブロック図である。
FIG. 24 is a block diagram showing a functional configuration in the learning stage of the
図24および図25に示すように、第2実施形態に係る推定装置100aは、推定部160aを備える。推定部160aは、診療内容推定部176aを有する。診療内容推定部176aは、推定モデル177aを有する。さらに、推定モデル177aは、ニューラルネットワーク178aと、当該ニューラルネットワーク178aによって用いられるパラメータ179aとを含む。パラメータ179aは、ニューラルネットワーク178aによる計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか1つを含む。なお、推定部160aは、「第1推定部」の一実施形態に対応し、推定モデル177aは、「第1推定モデル」の一実施形態に対応し、ニューラルネットワーク178aは、「第1ニューラルネットワーク」の一実施形態に対応する。
As shown in FIGS. 24 and 25, the
第2実施形態に係る診療内容推定部176aは、セグメント化部156によってセグメント化された画像関連データおよび診療関連データに基づき診療内容を推定する点で診療内容推定部176と異なる。具体的には、図24に示すように、診療内容推定部176aの推定モデル177aは、教師データとしてセグメント化部156によってセグメント化された画像関連データおよび診療関連データが入力されると、ニューラルネットワーク178aによって、当該画像関連データおよび当該診療関連データに関連付けられた診療内容を推定する。そして、推定モデル177aは、自身の推定結果と、入力される画像関連データおよび診療関連データに関連付けられた正解データである診療内容とが一致するか否かを判定し、両者が一致すればパラメータ179aを更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ179aを更新することで、パラメータ179aを最適化する。
The medical care
このように、学習段階において、推定装置100aは、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置1で取得した診療関連データとに基づいて、診療内容を推定できるように、ニューラルネットワーク178aを含む推定モデル177aを機械学習させる。
As described above, in the learning stage, the
なお、第2実施形態における推定モデル177aの機械学習について、第1実施形態における推定モデル172の機械学習と同様に、診療状況をリアルタイムに観察することで処置内容を把握した関係者によって診療内容の教師データ(正解データ)が与えられて推定モデル177aが機械学習されてもよい。また、全体カメラ53の撮影動画の再生表示を観察することで処置内容を把握した関係者によって診療内容の教師データ(正解データ)が与えられて推定モデル177aが機械学習されてもよい。
Regarding the machine learning of the
図25に示すように、運用段階において、診療内容推定部176aは、セグメント化部156によってセグメント化された画像関連データおよび診療関連データと、ニューラルネットワーク178aを含む推定モデル177aとに基づき、患者の診療内容を推定し、その推定結果を診療支援部190に出力する。
As shown in FIG. 25, in the operation stage, the medical care
このように、運用段階において、推定装置100aは、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置1で取得した診療関連データと、ニューラルネットワーク178aを含む推定モデル177aとに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを用いて、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As described above, in the operation stage, the
上述したように、推定装置100aは、以下のように構成されている。すなわち、推定装置(100a)は、患者を診療する診療空間をカメラ(51,52,53)で撮影した画像関連データと、患者を診療する診療装置(1)で取得した診療関連データとが入力される入力部(150)と、入力部(150)から入力される画像関連データおよび診療関連データと、第1ニューラルネットワーク(178a)を含む第1推定モデル(177a)とに基づき、患者の診療内容を推定する第1推定部(160a)と、を備える。
As described above, the
これにより、推定装置100aは、ニューラルネットワークなどの所謂AI技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
推定装置(100a)は、入力部(150)から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部(156)と、セグメント化部(156)によってセグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワーク(178a)を含む第1推定モデル(177a)とに基づき、患者の診療内容を推定する第1推定部(160a)と、を備える。 The estimation device (100a) is provided by a segmentation unit (156) and a segmentation unit (156) that segment the image-related data and the medical care-related data input from the input unit (150) at a predetermined timing. A first estimation unit (160a) that estimates the medical treatment content of the patient based on the segmented image-related data and medical treatment-related data and the first estimation model (177a) including the first neural network (178a). Be prepared.
これにより、推定装置100aは、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
<変形例>
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。
<Modification example>
The present invention is not limited to the above examples, and various modifications and applications are possible. Hereinafter, modifications applicable to the present invention will be described.
[推定部について]
図9および図10に示す第1実施形態において、推定装置100は、処置内容を推定した上で、さらに診療内容を推定するものであったが、診療内容を推定することなく、処置内容を推定したものを出力するものであってもよい。具体的には、推定装置100の推定部160は、診療内容推定部176を有しなくてもよい。すなわち、推定装置100は、以下のように構成されてもよい。
[About the estimation part]
In the first embodiment shown in FIGS. 9 and 10, the
推定装置(100)は、患者を診療する診療空間をカメラ(51,52,53)で撮影した画像関連データと、患者を診療する診療装置(1)で取得した診療関連データとが入力される入力部(150)と、入力部(150)から入力される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173)を含む第1推定モデル(172)とに基づき、所定の期間における患者に対する処置内容を推定する第1推定部(160)と、を備える。 In the estimation device (100), image-related data obtained by taking a picture of the medical care space for treating the patient with a camera (51, 52, 53) and medical care-related data acquired by the medical care device (1) for treating the patient are input. Patients in a predetermined period based on an input unit (150), image-related data and medical care-related data input from the input unit (150), and a first estimation model (172) including a first neural network (173). It is provided with a first estimation unit (160) for estimating the treatment content for the above.
これにより、推定装置100は、ニューラルネットワークなどの所謂AI技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に処置内容を推定することができ、より利便性のある歯科診療を実現することができる。
As a result, the
推定装置(100)は、入力部(150)から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部(156)と、セグメント化部(156)によってセグメント化される画像関連データおよび診療関連データと、第1ニューラルネットワーク(173)を含む第1推定モデル(172)とに基づき、患者の処置内容を推定する第1推定部(160)と、を備える。 The estimation device (100) is provided by a segmentation unit (156) and a segmentation unit (156) that segment the image-related data and the medical care-related data input from the input unit (150) at a predetermined timing. A first estimation unit (160) that estimates the treatment content of the patient based on the segmented image-related data and medical treatment-related data and the first estimation model (172) including the first neural network (173). Be prepared.
これにより、推定装置100は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。
As a result, the
また、推定装置100によって推定された処置内容に対して人間が理解できる言葉、記号、および色などでタグ付けされたものが出力される場合、術者によって行われた各処置の流れを言語化されてビジュアライズに表現することができる。このようにすれば、たとえば、熟練の歯科医師によるノウハウを口頭で伝承するのではなく、言語化されてビジュアライズに表現された処置内容を用いて、新米などの他の歯科医師にノウハウを伝えることができる。
In addition, when the treatment content estimated by the
[タグ付け部について]
本実施の形態においては、処置内容推定部171によって推定された処置内容に対してタグ付け部164がタグ付けした上で、そのタグ付けされた処置内容に基づき診療内容推定部176が診療内容を推定するものであった。しかしながら、タグ付け部164は必須ではなく、処置内容推定部171によって推定された処置内容がタグ付けされることなく診療内容推定部176に出力され、診療内容推定部176は、タグ付けされていない処置内容に基づき診療内容を推定してもよい。
[About the tagging part]
In the present embodiment, the tagging unit 164 tags the treatment content estimated by the treatment
なお、タグ付け部164によってタグ付けされた処置内容の推定結果に基づき、診療内容推定部176が診療内容を推定する場合、診療内容推定部176が処置内容を何らかのタグによって区別し易くなるため、診療内容の推定精度は向上する。
When the medical treatment
[カメラについて]
本実施の形態においては、トレーカメラ51、患者カメラ52、および全体カメラ53が各1台ずつ診療装置1に取り付けられていたが、これらのカメラは複数台ずつ診療装置1に取り付けられてもよい。
[About the camera]
In the present embodiment, one
トレーカメラ51、患者カメラ52、および全体カメラ53は、固定式に限らず、トレー30が載せられたトレーテーブル13の動き、あるいは術者の動きに追従して動く可動式であってもよい。
The
トレーカメラ51、患者カメラ52、および全体カメラ53は、診療装置1に搭載される他、診療装置1の周囲から当該診療装置1方向へ光軸を向けたカメラであってもよい。また、カメラの撮影画像によって把握される診療空間において、撮影において死角が無いように複数のカメラが設置されてもよい。さらに、診療器具に搭載された口腔内用カメラ、マイクロスコープ、または、術者が利用する眼鏡へ搭載されるカメラの撮影画像を利用して、推定装置100が処置内容ないしは診療内容を推定してもよい。
The
推定装置100は、トレーカメラ51の撮影画像を画像認識によって分析することで、トレー30に置かれた診療器具の有無、形状、および種類などを特定するだけでなく、歯科医師や歯科助手などの術者の手に取られた診療器具、歯科医師や歯科助手などの術者の手に取られていた状況から置かれた診療器具を特定してもよい。
The
画像センサとして、カメラ以外に、生体センサ(たとえば、血圧センサ、呼吸センサ、体温センサ、心電図センサ、心拍センサなど)、音入力センサ(たとえば、マイク)などのセンサによって検知されたデータを推定装置100へ追加入力させるようにしてもよく、推定装置100は、これらのデータに基づき、処置内容や診療内容を推定してもよい。
As the image sensor, the
推定装置100は、事前情報として、以前受診した際の患者のカルテに関するデータを推定装置100へ追加入力させるようにしてもよく、推定装置100は、患者のカルテに関するデータに基づき、処置内容や診療内容を推定してもよい。
The
[推定装置について]
本実施の形態においては、推定装置100は、診療装置1が設置された診療空間内に配置されていたが、診療空間内に設置されたサーバであってもよい。この場合、推定装置100は、診療空間内に設置された複数の診療装置1に接続され、これら複数の診療装置1の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、推定装置100による機械学習の頻度が上がり、推定装置100は、より精度良く診療内容を推定することができる。
[About the estimation device]
In the present embodiment, the
推定装置100は、診療装置1が設置された診療空間外に設置されたサーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、推定装置100は、診療空間内に設置された複数の診療装置1に接続されるとともに、他の歯科医院に設置された複数の診療装置1にも接続され、これら複数の診療装置1の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、推定装置100による機械学習の頻度がさらに上がり、推定装置100は、より精度良く診療内容を推定することができる。また、推定精度が十分な推定モデルを不必要にチューニングして過学習させないようにすることができる。
The
[その他の変形例について]
第1実施形態および第2実施形態において、推定装置は、各カメラ51〜53による画像関連データと診療関連データとを同期させてセグメント化させた後に、セグメント化した同期データを推定する推定部に入力させ、当該推定部において処置内容を推定させたが、それらデータと推定部とを分けてもよい。
[About other variants]
In the first embodiment and the second embodiment, the estimation device is used as an estimation unit that estimates the segmented synchronized data after synchronizing and segmenting the image-related data and the medical care-related data by the
たとえば、推定装置は、各カメラ51〜53による画像関連データの各々を互いに同期させてセグメント化させた後に、セグメント化した画像関連データの同期データを第1の推定部に入力し、当該第1の推定部において処置内容を推定することで第1推定結果を出力し、一方、複数の診療関連データの各々を互いに同期させてセグメント化させた後に、セグメント化した診療関連データの同期データを第2の推定部に入力し、当該第2の推定部において処置内容を推定することで第2推定結果を出力し、その後、第1推定結果および第2推定結果の2つの推定結果を、第3の推定部に入力し、当該第3の推定部において処置内容を推定することで第3推定結果を出力してもよい。なお、第1の推定部、第2の推定部、および第3の推定部は、同じ推定部であってもよいし、一部が共通する推定部であってもよいし、各々が異なる推定部であってもよい。また、第3の推定部は、リカレントニューラルネットワークを含む推定モデルであってもよい。第1の推定部および第2の推定部については、予め規定した条件を満たす場合に処置内容を推定するといったルールベースのようなアルゴリズムを有してもよい。さらに、第1の推定部は、各カメラ51〜53による画像関連データ各々の画像に基づいて各々の推定結果を出力する3つの推定部を含んでいてもよい。このように、入力させるデータの種類ごとに推定モデルを用いれば、推定モデルごとに学習精度を調整(チューニング)することができるため、推定精度が低下している推定モデルをチューニングするだけで全体の推定精度を向上させることができる。
For example, the estimation device synchronizes and segments each of the image-related data by the
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。 It should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present invention is shown by the scope of claims rather than the above description, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims. In addition, the configuration exemplified in this embodiment and the configuration exemplified in the modified example can be appropriately combined.
1 診療装置、2 患者、3 歯科医師、4 歯科助手、5 ポール、6 アーム、11 チェア、11a ヘッドレスト、11b 背もたれ、11c 座面シート、11d 足置き台、12 ベースンユニット、12a 鉢、12b コップ台、12c 給水栓、13 トレーテーブル、14 器具ホルダー、15 診療器具、16 フットコントローラ、17 ディスプレイ、18 操作パネル、19 照明装置、20 スピーカ、21 器具制御装置、22 表示制御装置、30 トレー、51 トレーカメラ、52 患者カメラ、53 全体カメラ、100,100a 推定装置、101 通信装置、102 演算装置、103 メモリ、104 ストレージ、110 表示装置、111 チェア制御部、121 ベースン制御部、122 照明制御部、123 蓄積部、124 通信部、141 推定用プログラム、150 入力部、151,152,153,160,160a 推定部、154 変換部、155 同期部、156 セグメント化部、161,172,177,177a,1511 推定モデル、164 タグ付け部、165 記憶部、166 タグ参照部、171 処置内容推定部、173,178,178a,1512 ニューラルネットワーク、174,179,179a,1513 パラメータ、176,176a 診療内容推定部、190 診療支援部、211 器具制御部、221 ディスプレイ制御部、222 パネル制御部、301 ラバーダム防湿一式、302 ラバーダムシート、303 根管長測定器、304 バーセット、305 ファイル、306 口角対極、307 ファールクリップ、308 ブローチ、309 洗浄用ニードル、310 洗浄用シリンジ、311 仮封剤充填器、312 クレンザー、313 タービン、314 ピンセット、315 バキューム、316 ミラー、317 エキスカベーター、318 深針、319 根管材料注入器、1000 推定システム。 1 Medical device, 2 Patient, 3 Dentist, 4 Dental assistant, 5 pole, 6 arm, 11 chair, 11a headrest, 11b backrest, 11c seat, 11d footrest, 12 basen unit, 12a bowl, 12b cup stand , 12c faucet, 13 tray table, 14 instrument holder, 15 medical instrument, 16 foot controller, 17 display, 18 operation panel, 19 lighting device, 20 speaker, 21 instrument control device, 22 display control device, 30 tray, 51 tray Camera, 52 Patient camera, 53 Overall camera, 100, 100a estimation device, 101 communication device, 102 arithmetic device, 103 memory, 104 storage, 110 display device, 111 chair control unit, 121 baseon control unit, 122 lighting control unit, 123 Storage unit, 124 communication unit, 141 estimation program, 150 input unit, 151,152,153,160,160a estimation unit, 154 conversion unit, 155 synchronization unit, 156 segmentation unit, 161,172,177,177a, 1511 Estimate model, 164 tagging unit, 165 storage unit, 166 tag reference unit, 171 treatment content estimation unit, 173,178,178a, 1512 neural network, 174,179,179a, 1513 parameters, 176,176a medical treatment content estimation unit, 190 Medical support unit, 211 Instrument control unit, 221 Display control unit, 222 Panel control unit, 301 Rubber dam moisture proof set, 302 Rubber dam sheet, 303 Root pipe length measuring instrument, 304 bar set, 305 file, 306 mouth angle counter electrode, 307 foul clip , 308 Brooch, 309 Cleaning Needle, 310 Cleaning Syringe, 311 Temporary Seal Filler, 312 Cleanser, 313 Turbine, 314 Tupset, 315 Vacuum, 316 Mirror, 317 Excavator, 318 Deep Needle, 319 Root Tube Material Injection Vessel, 1000 estimation system.
Claims (18)
患者を診療する診療空間をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力される入力部と、
前記入力部から入力される前記画像関連データと前記診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、
前記セグメント化部によってセグメント化される前記画像関連データおよび前記診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、前記患者の診療内容を推定する第1推定部と、を備える、推定装置。 It is an estimation device that estimates the contents of medical treatment in dentistry.
An input unit for inputting image-related data obtained by photographing a medical treatment space for treating a patient with a camera and medical treatment-related data acquired by the medical treatment device for treating a patient.
A segmentation unit for segmenting the image-related data and the medical care-related data input from the input unit at a predetermined timing.
It includes the image-related data segmented by the segmentation unit, the medical care-related data, and a first estimation unit that estimates the medical care content of the patient based on the first estimation model including the first neural network. , Estimator.
前記第1推定部は、前記第2推定部による推定結果を含む前記画像関連データおよび前記診療関連データと、前記第1推定モデルとに基づき、前記患者の診療内容を推定する、請求項1または請求項2に記載の推定装置。 A second estimation unit that estimates at least a medical device for treating a patient based on the image-related data input from the input unit and a second estimation model including a second neural network is provided.
The first estimation unit estimates the medical treatment content of the patient based on the image-related data including the estimation result by the second estimation unit, the medical treatment-related data, and the first estimation model. The estimation device according to claim 2.
前記第1推定モデルは、前記画像関連データおよび前記診療関連データに関連付けられた前記患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき、前記パラメータが更新されることで学習される、請求項9に記載の推定装置。 The first estimation model includes at least one of a weighting coefficient and a determination value as a parameter used by the first neural network.
The first estimation model is based on the medical treatment content of the patient associated with the image-related data and the medical treatment-related data, and the estimation result of the medical treatment content of the patient using the image-related data and the medical treatment-related data. The estimation device according to claim 9, which is learned by updating the parameters.
患者を診療する診療空間をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力される入力部と、
前記入力部から入力される前記画像関連データと前記診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、
前記セグメント化部によってセグメント化される前記画像関連データおよび前記診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、前記患者の処置内容を推定する第1推定部と、を備える、推定装置。 It is an estimation device that estimates the treatment content in dentistry.
An input unit for inputting image-related data obtained by photographing a medical treatment space for treating a patient with a camera and medical treatment-related data acquired by the medical treatment device for treating a patient.
A segmentation unit for segmenting the image-related data and the medical care-related data input from the input unit at a predetermined timing.
It includes the image-related data segmented by the segmentation unit, the medical care-related data, and a first estimation unit that estimates the treatment content of the patient based on the first estimation model including the first neural network. , Estimator.
患者を診療する診療空間を撮影するカメラと、
前記患者を診療する診療装置と、
前記カメラで撮影した画像関連データと、前記診療装置で取得した診療関連データとに基づき、前記患者の診療内容を推定する推定装置と、を備え、
前記推定装置は、
前記画像関連データと前記診療関連データとが入力される入力部と、
前記入力部から入力される前記画像関連データおよび前記診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、
前記セグメント化部によってセグメント化される前記画像関連データおよび前記診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、前記患者の診療内容を推定する第1推定部とを含む、推定システム。 It is an estimation system that estimates the contents of medical treatment in dentistry.
A camera that captures the medical space where patients are treated,
A medical device that treats the patient and
It is provided with an estimation device that estimates the medical treatment content of the patient based on the image-related data taken by the camera and the medical treatment-related data acquired by the medical treatment device.
The estimation device
An input unit in which the image-related data and the medical care-related data are input,
A segmentation unit for segmenting the image-related data and the medical care-related data input from the input unit at a predetermined timing.
The image-related data segmented by the segmentation unit, the medical care-related data, and a first estimation unit that estimates the medical care content of the patient based on the first estimation model including the first neural network. Estimate system.
患者を診療する診療空間をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力されるステップと、
入力される前記画像関連データと前記診療関連データとを所定のタイミングで区切ることでセグメント化するステップと、
セグメント化される前記画像関連データおよび前記診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、前記患者の診療内容を推定するステップと、を含む、推定方法。 It is an estimation method that estimates the medical treatment contents in dentistry by computer.
A step in which image-related data obtained by taking a picture of a medical treatment space for treating a patient with a camera and medical treatment-related data acquired by the medical treatment device for treating the patient are input.
A step of segmenting the input image-related data and the medical care-related data by separating them at a predetermined timing, and
An estimation method including a step of estimating the medical treatment content of the patient based on the segmented image-related data and the medical treatment-related data, and a first estimation model including a first neural network.
前記推定用プログラムは、コンピュータに、
患者を診療する診療空間をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力されるステップと、
入力される前記画像関連データと前記診療関連データとを所定のタイミングで区切ることでセグメント化するステップと、
セグメント化される前記画像関連データおよび前記診療関連データと、第1ニューラルネットワークを含む第1推定モデルとに基づき、前記患者の診療内容を推定するステップと、を実行させる、推定用プログラム。 It is an estimation program that estimates the contents of medical treatment in dentistry.
The estimation program is installed in a computer.
A step in which image-related data obtained by taking a picture of a medical treatment space for treating a patient with a camera and medical treatment-related data acquired by the medical treatment device for treating the patient are input.
A step of segmenting the input image-related data and the medical care-related data by separating them at a predetermined timing, and
An estimation program that executes a step of estimating the medical care content of the patient based on the segmented image-related data and the medical care-related data, and a first estimation model including a first neural network.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020033687A JP6777917B1 (en) | 2020-02-28 | 2020-02-28 | Estimator, estimation system, estimation method, and estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020033687A JP6777917B1 (en) | 2020-02-28 | 2020-02-28 | Estimator, estimation system, estimation method, and estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6777917B1 true JP6777917B1 (en) | 2020-10-28 |
JP2021133135A JP2021133135A (en) | 2021-09-13 |
Family
ID=72916130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020033687A Active JP6777917B1 (en) | 2020-02-28 | 2020-02-28 | Estimator, estimation system, estimation method, and estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6777917B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022100897A (en) * | 2020-12-24 | 2022-07-06 | 株式会社モリタ製作所 | Control apparatus, control method, control program, and data structure of data for learning |
JP7496995B2 (en) | 2021-04-28 | 2024-06-10 | 国立大学法人大阪大学 | Estimation device, estimation method, and estimation program |
JP7509371B2 (en) | 2021-04-28 | 2024-07-02 | 国立大学法人大阪大学 | Estimation device, estimation method, and estimation program |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023149013A1 (en) * | 2022-02-01 | 2023-08-10 | 富士フイルム株式会社 | Medical assistance device, endoscope device, medical assistance method, and program |
JP7133733B1 (en) | 2022-02-07 | 2022-09-08 | 一道 白坂 | ROBOT SYSTEM, ROBOT OPERATING METHOD, AND ROBOT OPERATING PROGRAM |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5823814B2 (en) * | 2011-10-25 | 2015-11-25 | 株式会社モリタ製作所 | Medical system |
JP6649912B2 (en) * | 2017-03-15 | 2020-02-19 | 株式会社モリタ | Dental practice training device and dental practice training system |
JP2019080900A (en) * | 2017-10-27 | 2019-05-30 | 株式会社オプテック | Dental treatment support system |
US11154375B2 (en) * | 2018-02-02 | 2021-10-26 | Brachium, Inc. | Medical robotic work station |
-
2020
- 2020-02-28 JP JP2020033687A patent/JP6777917B1/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022100897A (en) * | 2020-12-24 | 2022-07-06 | 株式会社モリタ製作所 | Control apparatus, control method, control program, and data structure of data for learning |
JP7428634B2 (en) | 2020-12-24 | 2024-02-06 | 株式会社モリタ製作所 | Control device, control method, and control program |
JP7496995B2 (en) | 2021-04-28 | 2024-06-10 | 国立大学法人大阪大学 | Estimation device, estimation method, and estimation program |
JP7509371B2 (en) | 2021-04-28 | 2024-07-02 | 国立大学法人大阪大学 | Estimation device, estimation method, and estimation program |
Also Published As
Publication number | Publication date |
---|---|
JP2021133135A (en) | 2021-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6777917B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
US11559377B2 (en) | Augmented reality enhancements for dental practitioners | |
KR102267197B1 (en) | Method and apparatus for recording and displaying dental care data on a digital dental image | |
JP2021524789A (en) | Tooth virtual editing method, system, computer equipment and storage medium | |
Singi et al. | Extended arm of precision in prosthodontics: Artificial intelligence | |
JP6829763B2 (en) | Medical medical equipment | |
JP7398512B2 (en) | Data generation device, scanner system, data generation method, and data generation program | |
JP6771687B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
CN111275808B (en) | Method and device for establishing tooth orthodontic model | |
JP6777916B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
JP7343470B2 (en) | Control device, control method, and control program | |
KR102448169B1 (en) | Method and apparatus for predicting orthodontic treatment result based on deep learning | |
JP7269587B2 (en) | segmentation device | |
JP7509371B2 (en) | Estimation device, estimation method, and estimation program | |
JP7496995B2 (en) | Estimation device, estimation method, and estimation program | |
JP7428634B2 (en) | Control device, control method, and control program | |
Sornam | Artificial Intelligence in Orthodontics-An exposition | |
Banerjee | Artificial intelligence in dentistry: A ray of hope | |
JP6845923B2 (en) | Medical medical equipment | |
JP7428683B2 (en) | Image processing device, image processing system, image processing method, image processing program | |
JP7195466B2 (en) | DATA GENERATION DEVICE, SCANNER SYSTEM, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM | |
JP7421525B2 (en) | Image processing device, image processing system, image processing method, image processing program | |
Paulose et al. | Smartening up with artificial intelligence in dentistry: A review | |
JP2023154641A (en) | Data processing device, data processing method, and data processing program | |
Shelke et al. | APPLICATION OF ARTIFICIAL INTELLIGENCE IN PROSTHODONTICS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200703 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200703 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6777917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |