JP7428683B2 - Image processing device, image processing system, image processing method, image processing program - Google Patents

Image processing device, image processing system, image processing method, image processing program Download PDF

Info

Publication number
JP7428683B2
JP7428683B2 JP2021139890A JP2021139890A JP7428683B2 JP 7428683 B2 JP7428683 B2 JP 7428683B2 JP 2021139890 A JP2021139890 A JP 2021139890A JP 2021139890 A JP2021139890 A JP 2021139890A JP 7428683 B2 JP7428683 B2 JP 7428683B2
Authority
JP
Japan
Prior art keywords
image
photographed
image processing
patient
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021139890A
Other languages
Japanese (ja)
Other versions
JP2023033923A (en
Inventor
興一 園部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
J Morita Manufaturing Corp
Original Assignee
J Morita Manufaturing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by J Morita Manufaturing Corp filed Critical J Morita Manufaturing Corp
Priority to JP2021139890A priority Critical patent/JP7428683B2/en
Publication of JP2023033923A publication Critical patent/JP2023033923A/en
Application granted granted Critical
Publication of JP7428683B2 publication Critical patent/JP7428683B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Processing (AREA)

Description

本開示は、画像を処理する画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムに関する。 The present disclosure relates to an image processing device, an image processing system, an image processing method, and an image processing program that process images.

従来、診察中または治療中の患者をカメラで撮影することによって、診察中または治療中の患者を観察することが行われている。たとえば、特許文献１は、光感受性物質が蓄積された腫瘍組織に治療光を照射することによって腫瘍組織を消滅させるとともに、治療光を照射しながら通常光を照射して被検体内を撮影する電子内視鏡システムを開示する。 2. Description of the Related Art Conventionally, a patient being examined or treated has been observed by photographing the patient with a camera. For example, Patent Document 1 discloses that the tumor tissue in which photosensitizers have accumulated is irradiated with therapeutic light to eliminate the tumor tissue, and at the same time the tumor tissue is irradiated with therapeutic light and normal light is irradiated to photograph the inside of the subject. An endoscope system is disclosed.

特開２０１２－５０６００号公報Japanese Patent Application Publication No. 2012-50600

特許文献１に開示された電子内視鏡システムにおいては、治療光が通常光よりも高出力であるため、治療光を照射しながら通常光を照射して被検体内を撮影すると、治療光の照射位置およびその周辺が白くぼけやる現象（以下、「ハレーション」とも称する。）が生じる場合があった。このように、患者の撮影部位に対して光が照射された状態で患者を撮影する場合、光の照射具合によってはハレーションが生じて適切に患者を撮影することができないおそれがあった。 In the electronic endoscope system disclosed in Patent Document 1, since the therapeutic light has a higher output than normal light, when the inside of the subject is photographed by irradiating normal light while irradiating therapeutic light, the therapeutic light is A phenomenon in which the irradiation position and its surroundings appear white and blurry (hereinafter also referred to as "halation") may occur. As described above, when photographing a patient while the patient's photographed region is irradiated with light, there is a risk that halation may occur depending on the condition of the light irradiation, making it impossible to properly photograph the patient.

本開示は、かかる問題を解決するためになされたものであり、その目的は、光が照射された状態であっても適切に患者を撮影する技術を提供することである。 The present disclosure has been made to solve such problems, and the purpose is to provide a technique for appropriately photographing a patient even when the patient is illuminated with light.

本開示の一例に従えば、画像を処理する画像処理装置が提供される。画像処理装置は、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される入力部と、複数の撮影画像を処理する画像処理部とを備える。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第１撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを含む。画像処理部は、第１撮影画像と第２撮影画像とを合成する。 According to an example of the present disclosure, an image processing device that processes an image is provided. The image processing device includes an input section into which a plurality of captured images obtained by photographing a patient from above while the patient's oral cavity is irradiated with light by a lighting device while lying on a dental chair are inputted. , and an image processing unit that processes a plurality of captured images. The plurality of photographed images include a first photographed image photographed with exposure adjusted to the central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity. The image processing unit combines the first captured image and the second captured image.

本開示の一例に従えば、画像を処理する画像処理システムが提供される。画像処理システムは、歯科用の診療椅子に横たわる患者の口腔内を中心に光を照射する照明装置と、照明装置によって光が照射された状態で患者を上方から撮影する少なくとも１つのカメラと、患者の撮影画像を処理する画像処理装置とを備える。少なくとも１つのカメラは、口腔の中心部分に露出を合わせて患者を撮影する第１撮影部と、口腔の中心部分以外に露出を合わせて患者を撮影する第２撮影部とを備える。画像処理装置は、第１撮影部によって撮影された第１撮影画像と第２撮影部によって撮影された第２撮影画像とを合成する。 According to one example of the present disclosure, an image processing system for processing images is provided. The image processing system includes: an illumination device that emits light mainly into the oral cavity of a patient lying on a dental treatment chair; at least one camera that photographs the patient from above while the patient is irradiated with light by the illumination device; and an image processing device that processes the captured images. The at least one camera includes a first imaging section that photographs the patient with exposure adjusted to the central portion of the oral cavity, and a second imaging section that photographs the patient with exposure adjusted to areas other than the central portion of the oral cavity. The image processing device combines a first photographed image photographed by the first photographing section and a second photographed image photographed by the second photographing section.

本開示の一例に従えば、コンピュータによる画像を処理する画像処理方法が提供される。画像処理方法は、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される第１ステップと、複数の撮影画像を処理する第２ステップとを含む。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第１撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを含む。第２ステップは、第１撮影画像と第２撮影画像とを合成する。 According to an example of the present disclosure, an image processing method for processing an image using a computer is provided. The image processing method includes a first step in which a plurality of captured images obtained by photographing a patient from above while the patient's oral cavity is illuminated by a lighting device while lying on a dental chair are input. and a second step of processing a plurality of captured images. The plurality of photographed images include a first photographed image photographed with exposure adjusted to the central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity. The second step is to combine the first photographed image and the second photographed image.

本開示の一例に従えば、画像を処理する画像処理プログラムが提供される。画像処理プログラムは、コンピュータに、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される第１ステップと、複数の撮影画像を処理する第２ステップとを実行させる。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第１撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを含む。第２ステップは、第１撮影画像と第２撮影画像とを合成する。 According to an example of the present disclosure, an image processing program for processing an image is provided. In the image processing program, a plurality of captured images obtained by photographing a patient from above while the patient's oral cavity is irradiated with light by a lighting device are input into a computer while lying on a dental chair. A first step and a second step of processing a plurality of captured images are executed. The plurality of photographed images include a first photographed image photographed with exposure adjusted to the central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity. The second step is to combine the first photographed image and the second photographed image.

本開示は、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影した場合に、口腔の中心部分に露出を合わせて撮影された第１撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを合成することによって、口腔の中心部分および中心部分以外のいずれにおいても露出が調整された撮影画像を得ることができる。これにより、光が照射された状態であっても適切に患者を撮影することができる。 The present disclosure relates to a method of photographing a patient lying on a dental chair from above, with the patient's oral cavity irradiated with light by a lighting device, and the patient is photographed from above with the exposure adjusted to the center of the oral cavity. By combining the first photographed image and the second photographed image, which was photographed with the exposure adjusted to areas other than the central part of the oral cavity, a photographed image in which the exposure was adjusted both in the central part of the oral cavity and other than the central part is obtained. be able to. Thereby, it is possible to appropriately photograph the patient even when the patient is irradiated with light.

本実施の形態に係る画像処理システムの全体構成を示す模式図である。1 is a schematic diagram showing the overall configuration of an image processing system according to the present embodiment. 第１カメラおよび第２カメラの一例を説明するための図である。It is a figure for explaining an example of a 1st camera and a 2nd camera. 本実施の形態に係る画像処理システムの内部構成を示すブロック図である。FIG. 1 is a block diagram showing the internal configuration of an image processing system according to the present embodiment. 推定用の同期データの一例を説明するための図である。It is a figure for explaining an example of synchronization data for estimation. 第１カメラおよび第２カメラの各々のダイナミックレンジの一例を説明するための図である。FIG. 3 is a diagram for explaining an example of the dynamic range of each of a first camera and a second camera. 第１カメラの第１撮影画像の一例を説明するための図である。It is a figure for explaining an example of the 1st photographed image of the 1st camera. 第２カメラの第２撮影画像の一例を説明するための図である。It is a figure for explaining an example of the 2nd photographed image of the 2nd camera. 第１カメラの第１撮影画像と第２カメラの第２撮影画像とを合成した合成画像の一例を説明するための図である。FIG. 3 is a diagram for explaining an example of a composite image obtained by combining a first image captured by a first camera and a second image captured by a second camera. 本実施の形態に係る画像処理装置の機能構成を示すブロック図である。FIG. 1 is a block diagram showing the functional configuration of an image processing device according to the present embodiment. 本実施の形態に係る画像処理装置が実行する画像処理の一例を説明するためのフローチャートである。3 is a flowchart for explaining an example of image processing performed by the image processing apparatus according to the present embodiment. 変形例に係る患者カメラの撮影態様を説明するための図である。FIG. 7 is a diagram for explaining a photographing mode of a patient camera according to a modified example.

本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 Embodiments of the present disclosure will be described in detail with reference to the drawings. Note that the same or corresponding parts in the figures are designated by the same reference numerals, and the description thereof will not be repeated.

＜画像処理システムの全体構成＞
図１は、本実施の形態に係る画像処理システム１０００の全体構成を示す模式図である。図１に示すように、画像処理システム１０００は、診療装置１と、画像処理装置１００とを備える。 <Overall configuration of image processing system>
FIG. 1 is a schematic diagram showing the overall configuration of an image processing system 1000 according to this embodiment. As shown in FIG. 1, an image processing system 1000 includes a medical device 1 and an image processing device 100.

診療装置１は、たとえば、術者が患者に対して歯科の診療を行うためのチェアユニットである。「診療」は、歯科医師、歯科助手、歯科大学の先生、歯科大学の学生、および歯科技工士など、歯科における医療従事者（以下、「術者」とも称する。）によって行われる患者に対する診察および治療の少なくともいずれか１つを含む。本実施の形態においては、診療の内容を「診療内容」とも称する。「診察」は、術者が患者の歯科に関する病状および病因などを探ることを含む。本実施の形態においては、診察の内容を「診察内容」とも称する。「治療」は、術者が患者の歯科に関する病気を治すこと、および術者が患者の歯の美容や健康を保つこと（審美治療）を含む。本実施の形態においては、治療の内容を「治療内容」とも称する。「診療内容」は、「診察内容」および「治療内容」の少なくともいずれか１つを含む。術者が患者の歯科に関する病気を治すために行う行動（手当）、および術者が患者の歯の美容や健康を保つために行う行動（手当）を処置とも称し、治療は、１または複数の処置の組み合わせで構成される。本実施の形態においては、処置の内容を「処置内容」とも称する。「治療内容」は、１または複数の「処置内容」を含む。 The medical treatment device 1 is, for example, a chair unit for an operator to perform dental treatment on a patient. "Medical treatment" refers to the examination and treatment of patients by dental medical professionals (hereinafter also referred to as "surgeons"), such as dentists, dental assistants, dental school teachers, dental school students, and dental technicians. including at least one of the following treatments. In this embodiment, the contents of medical treatment are also referred to as "medical treatment contents." "Examination" includes the operator investigating the patient's dental condition and etiology. In this embodiment, the contents of the medical examination are also referred to as "medical examination contents." "Treatment" includes the operator curing a patient's dental disease and the operator maintaining the beauty and health of the patient's teeth (aesthetic treatment). In this embodiment, the contents of treatment are also referred to as "treatment contents." The "medical treatment contents" include at least one of the "medical examination contents" and the "treatment contents." Actions (treatments) that a surgeon performs to cure a patient's dental disease and actions (treatments) that a surgeon performs to maintain the beauty and health of the patient's teeth are also called treatments. Consists of a combination of treatments. In this embodiment, the contents of the treatment are also referred to as "treatment contents." "Treatment content" includes one or more "treatment content."

治療内容の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも治療内容に含まれる。処置内容の例としては、診査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。 Examples of treatment contents include caries treatment, root canal treatment, plaque removal, implants, orthodontics, and whitening. Any cosmetic treatment that maintains the beauty and health of teeth is included in the treatment content. Examples of procedures include examination, cutting, filing, root canal cleaning, drying, temporary sealing, impressions, scaling, prosthesis modification, periodontal pocket measurement, suction, and tooth extraction. The content of treatment includes the content of treatment performed to cure a patient's dental disease, and the content of treatment performed by an operator to maintain the beauty and health of the patient's teeth.

たとえば、根管治療は、う蝕の進行によって歯の根の中の歯髄（神経や血管など）が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、診査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。 For example, root canal treatment is a treatment that is necessary when the dental pulp (nerves, blood vessels, etc.) in the root of a tooth becomes inflamed or infected due to the progression of dental caries. The treatment involves cleaning and disinfecting the tooth, and placing a filling inside the root of the tooth to prevent reinfection. Root canal treatment consists of examination, pulp extraction, root canal length measurement, cleaning/disinfection, root canal filling, and filling/covering, and the surgeon performs each of these procedures on the patient in order. This allows root canal treatment to be performed.

診査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定は、歯髄を除去した後の空洞になった根管の長さを測定することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物（クラウン）を被せることを含む処置である。 An examination is a procedure that includes an operator interviewing a patient and inspecting the patient's oral cavity to identify the patient's dental condition and etiology and establishing a treatment plan. Pulp extraction is a procedure that involves removing the damaged pulp during root canal treatment. Root canal length measurement is a procedure that involves measuring the length of the hollow root canal after the pulp has been removed. Cleaning and disinfection is a procedure that involves deep cleaning and disinfection of the hollow root canal. Root canal filling is a procedure that involves filling the root canal with a special drug to prevent bacteria from entering the root canal after cleaning and disinfection. Filling/covering is a procedure that involves filling the root canal with a rubber-like filling, creating a metal or fiber base on top of it, and then placing a crown on the base.

診療装置１は、チェア１１と、ベースンユニット１２と、トレーテーブル１３と、診療器具１５を保持する器具ホルダ１４と、フットコントローラ１６と、ディスプレイ１７と、操作パネル１８と、照明装置（オペライト）１９と、器具制御装置２１と、表示制御装置２２と、スピーカ３５とを備える。 The medical device 1 includes a chair 11, a basin unit 12, a tray table 13, an instrument holder 14 that holds medical instruments 15, a foot controller 16, a display 17, an operation panel 18, and a lighting device (operite) 19. , an appliance control device 21 , a display control device 22 , and a speaker 35 .

チェア１１は、診療時に患者が座ったり横たわったりするための診療椅子である。チェア１１は、患者の頭を支えるヘッドレスト１１ａと、患者の背中を支える背もたれ１１ｂと、患者の尾尻を支える座面シート１１ｃと、患者の足を支える足置き台１１ｄとを含む。なお、診療装置１は、チェア１１に代えて、患者が横たわる診療台を備えてもよい。 The chair 11 is a medical chair on which a patient sits or lies during medical treatment. The chair 11 includes a headrest 11a that supports the patient's head, a backrest 11b that supports the patient's back, a seat sheet 11c that supports the patient's tail, and a footrest 11d that supports the patient's feet. Note that, instead of the chair 11, the medical device 1 may include a medical table on which a patient lies.

ベースンユニット１２は、排水口が形成された鉢１２ａと、コップが載置されるコップ台１２ｂと、コップに給水するための給水栓１２ｃとを含む給水・排水装置である。 The basin unit 12 is a water supply/drainage device that includes a bowl 12a in which a drainage port is formed, a cup stand 12b on which a cup is placed, and a water tap 12c for supplying water to the cup.

トレーテーブル１３は、診療時の物置台として用いられる。トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）に接続されている。なお、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）によって吊り下げられてもよい。たとえば、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６によって吊り下げられてもよい。術者は、トレーテーブル１３をチェア１１に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル１３の上面にトレー３０を置くことがある。トレー３０には、患者を診療するための１または複数の診療器具が置かれる。 The tray table 13 is used as a storage stand during medical treatment. The tray table 13 is connected to an arm (not shown) extending from the chair 11 or the floor on which the chair 11 is installed. Note that the tray table 13 may be suspended by an arm (not shown) extending from the chair 11 or the floor on which the chair 11 is installed. For example, the tray table 13 may be suspended by an arm 6 that branches at the top of a pole 5 that extends from the chair 11 or the floor on which the chair 11 is installed. The operator can manually rotate, horizontally move, and vertically move the tray table 13 with respect to the chair 11. During medical treatment, the surgeon may place the tray 30 on the upper surface of the tray table 13. One or more medical instruments for treating a patient are placed on the tray 30.

「診療器具」は、ラバーダム防湿一式、ラバーダムシート、根管長測定器、バーセット、ファイル（リーマ）、口角対極、ファールクリップ、ブローチ、洗浄用ニードル、洗浄用シリンジ、仮封材充填器、クレンザー、タービン、ピンセット、バキューム、ミラー、エキスカベーター、探針、および根管材料注入器など、術者によって診療中に用いられる診療用の器具である。なお、診療装置１の器具ホルダ１４によって保持される診療器具１５も「診療器具」に含まれるが、トレー３０には、器具ホルダ１４によって保持されない診療器具が主に置かれる。 "Medical equipment" includes a rubber dam moisture-proof set, rubber dam sheet, root canal length measuring device, bur set, file (reamer), mouth corner counter electrode, fur clip, brooch, cleaning needle, cleaning syringe, temporary sealant filler, cleanser. , turbines, tweezers, vacuums, mirrors, excavators, probes, root canal material injectors, and other medical instruments used by surgeons during medical treatment. Note that although the medical instruments 15 held by the instrument holder 14 of the medical device 1 are also included in the "medical instruments," medical instruments that are not held by the instrument holder 14 are mainly placed on the tray 30.

診療器具１５は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置２１の制御によって駆動する。なお、診療器具１５は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、３次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。 The medical instrument 15 is an instrument for dental treatment, such as an air turbine handpiece, a micromotor handpiece, an ultrasonic scaler, and a vacuum syringe, and is driven under the control of the instrument control device 21 . The medical instruments 15 are not limited to these, and may be an intraoral camera, a photopolymerization irradiator, a root canal length measuring device, a three-dimensional scanner, a root canal expander, or a mirror, a syringe, and a root canal expander. It may also be a non-driven device, such as a filling device.

フットコントローラ１６は、術者の足踏み操作を受け付ける複数のスイッチ（ペダル）を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア１１の態様を変更する機能をフットコントローラ１６のスイッチに対して割り当てることができ、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト１１ａなどが駆動する。さらに、術者は、診療器具１５を駆動する機能をフットコントローラ１６のスイッチに対して割り当てることもでき、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置２１の制御によって診療器具１５が駆動する。なお、術者は、照明装置１９の照明および消灯を制御する機能など、フットコントローラ１６のスイッチに対してその他の機能を割り当てることもできる。 The foot controller 16 has a plurality of switches (pedals) that accept foot operations by the operator. The operator can assign a predetermined function to each of the plurality of switches. For example, the surgeon can assign the function of changing the mode of the chair 11 to a switch of the foot controller 16, and when the foot controller 16 accepts the operator's foot operation of the switch, the headrest will be adjusted based on the foot operation. 11a etc. are driven. Furthermore, the operator can also assign the function of driving the medical instrument 15 to a switch of the foot controller 16, and when the foot controller 16 receives a foot operation of the switch by the operator, the instrument is controlled based on the foot operation. The medical instrument 15 is driven by the control of the device 21. Note that the surgeon can also assign other functions to the switches of the foot controller 16, such as a function to control lighting and turning off of the lighting device 19.

ディスプレイ１７は、トレーテーブル１３に取り付けられており、表示制御装置２２の制御によって各種の画像を表示する。 The display 17 is attached to the tray table 13 and displays various images under the control of the display control device 22.

操作パネル１８は、チェア１１および診療器具１５などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア１１を動作させるための入力操作を操作パネル１８が受け付けると、当該入力操作に基づきチェア１１が動作する。たとえば、診療器具１５の回転速度などの設定を行うための入力操作を操作パネル１８が受け付けると、当該入力操作に基づき診療器具１５の回転速度などの設定を行うことができる。 The operation panel 18 includes switches for operating the chair 11, the medical instruments 15, etc., or for setting the operations. For example, when the operation panel 18 receives an input operation for operating the chair 11, the chair 11 operates based on the input operation. For example, when the operation panel 18 receives an input operation for setting the rotational speed of the medical instrument 15, etc., the rotational speed and the like of the medical instrument 15 can be set based on the input operation.

照明装置１９は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６の先端に設けられている。照明装置１９は、照明状態と消灯状態とに切り替えることができ、主に患者の口腔内を中心に光を照射することによって術者による診療をサポートする。術者は、アームを動かすことによって、照明装置１９の位置を変更することができる。なお、照明装置１９に限らず、ディスプレイ１７も、ポール５またはアーム６の先端に取り付けられてもよい。 The lighting device 19 is provided at the tip of an arm 6 that branches at the top of the pole 5 extending from the chair 11 or the floor on which the chair 11 is installed. The lighting device 19 can be switched between a lighting state and a non-lighting state, and supports medical treatment by a surgeon by mainly emitting light to the patient's oral cavity. The operator can change the position of the illumination device 19 by moving the arm. Note that not only the lighting device 19 but also the display 17 may be attached to the tip of the pole 5 or the arm 6.

スピーカ３５は、術者および患者などに対してアラートを発する音、および診療を補助するアシスト音など、各種の音を出力する。 The speaker 35 outputs various sounds, such as a sound to alert the surgeon and the patient, and an assist sound to assist in medical treatment.

上述したように構成された診療装置１を用いることで、術者は患者に対して歯科診療を行うことができる。ここで、画像処理システム１０００は、歯科診療中の術者および患者の様子を撮影し、撮影によって得られた画像（以下、「撮影画像」とも称する。）を蓄積して記憶するように構成されている。診療中の撮影画像を蓄積して残すことで、診療中に生じたアクシデントを記録することができ、また、歯科診療の教材として撮影画像を用いることもできる。 By using the medical treatment apparatus 1 configured as described above, a surgeon can perform dental treatment on a patient. Here, the image processing system 1000 is configured to take pictures of the operator and patient during dental treatment, and to accumulate and store images obtained by taking pictures (hereinafter also referred to as "photographed images"). ing. By accumulating and preserving images taken during medical treatment, accidents that occur during medical treatment can be recorded, and the photographed images can also be used as teaching materials for dental treatment.

さらに、本実施の形態においては、画像処理装置１００は、診療中の撮影画像などに関するデータと、機械学習がなされたニューラルネットワークを含む推定モデルとを用いて、処置内容ないしは診療内容を推定することができるように構成されている。具体的には、術者においては、患者に対する診療内容を正確かつ容易に把握するといった要望がある。たとえば、歯科医師は、患者を診療したら遅滞なく経過を記録することが義務付けられている。しかしながら、歯科医師は、短時間で効率よく患者を診療することも求められているため、診療中に行った処置ないしは治療の内容を、その都度、記録することができない場合もある。近年、ＡＩ（Artificial Intelligence）を用いてデータの分析・学習を行い活用するといった技術が生み出されているが、ＡＩ技術を用いて歯科における診療内容などを推定することができれば、正確かつ容易に診療内容などを推定することができ、より利便性のある歯科診療を実現することができる。 Furthermore, in the present embodiment, the image processing device 100 estimates the treatment content or medical treatment content using data related to images taken during medical treatment, etc., and an estimation model including a neural network subjected to machine learning. It is configured so that it can be done. Specifically, there is a demand for surgeons to accurately and easily understand the contents of medical treatment for patients. For example, dentists are required to record the progress of a patient's treatment without delay. However, since dentists are also required to treat patients efficiently in a short period of time, they may not be able to record the details of the treatments or treatments performed during each treatment. In recent years, technology has been created that uses AI (Artificial Intelligence) to analyze, learn, and utilize data.If AI technology can be used to estimate the content of dental treatment, it will be possible to conduct treatment accurately and easily. It is possible to estimate the content, etc., and realize more convenient dental treatment.

ここで、歯科診療ならではの特徴として、診療目的に応じて複数の処置を組み合わせたり、各処置のために複数の診療器具の中から適切な診療器具を選択してトレー３０から取り出して使ったりするなど、術者は、診療中に様々な動作を行う。また、診療器具を使う順番およびその種類は、診療中の処置の内容を表しているとも言える。さらに、複数の処置内容の組み合わせから診療内容が表されるといった階層構造にもなっているため、その階層を理解することができれば、診療内容を推定することが可能となる。 Here, as a feature unique to dental treatment, multiple treatments may be combined depending on the medical purpose, and appropriate medical instruments may be selected from among multiple medical instruments for each treatment and used by taking them out from the tray 30. The surgeon performs various actions during treatment. It can also be said that the order in which medical instruments are used and their types represent the content of the treatment being performed. Furthermore, since it has a hierarchical structure in which the medical treatment content is expressed from a combination of multiple treatment contents, if the hierarchy can be understood, it becomes possible to estimate the medical treatment content.

そこで、上述したように、本実施の形態に係る画像処理システム１０００（画像処理装置１００）は、トレー３０、診療装置１の動作、術者の行動、および患者の行動を、ＡＩを用いて分析・学習することで、処置内容ないしは診療内容を推定するように構成されている。 Therefore, as described above, the image processing system 1000 (image processing device 100) according to the present embodiment analyzes the operations of the tray 30, the medical device 1, the operator's actions, and the patient's actions using AI.・It is configured to estimate the treatment or medical treatment content through learning.

図１に示すように、診療装置１には、複数のカメラが取り付けられている。具体的には、画像処理システム１０００は、ディスプレイ１７に取り付けられたトレーカメラ５１と、ポール５の上部に取り付けられた全体カメラ５２と、照明装置１９に取り付けられた患者カメラとして第１カメラ５３および第２カメラ５４とを備える。第１カメラ５３は、「第１カメラ」の一実施形態である。第２カメラ５４は、「第２カメラ」の一実施形態である。トレーカメラ５１、全体カメラ５２、第１カメラ５３、および第２カメラ５４は、ＣＣＤ（Charge Coupled Devices）イメージセンサおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどのイメージングデバイスを搭載したカメラである。 As shown in FIG. 1, a plurality of cameras are attached to the medical treatment device 1. Specifically, the image processing system 1000 includes a tray camera 51 attached to the display 17, an overall camera 52 attached to the top of the pole 5, and a first camera 53 as a patient camera attached to the illumination device 19. A second camera 54 is provided. The first camera 53 is an embodiment of a "first camera." The second camera 54 is an embodiment of a "second camera." The tray camera 51, the overall camera 52, the first camera 53, and the second camera 54 are cameras equipped with imaging devices such as a CCD (Charge Coupled Devices) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

トレーカメラ５１は、トレー３０を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ５１によって得られた撮影情報を含む画像データ（以下、「トレー画像データ」とも称する。）は、画像処理装置１００によって取得される。トレーカメラ５１におけるシャッタースピードなどの各種設定は、トレー３０に置かれた診療器具の有無、形状、種類、およびトレーカメラ５１の撮影領域における診療器具の位置などを画像処理装置１００が認識できる程度に予め調整されている。なお、トレーカメラ５１は、トレー３０を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。 The tray camera 51 is arranged to take a video or still image of an area including at least the tray 30. Image data including photographic information obtained by the tray camera 51 (hereinafter also referred to as “tray image data”) is obtained by the image processing device 100. Various settings such as the shutter speed of the tray camera 51 are set to such an extent that the image processing device 100 can recognize the presence, shape, and type of medical instruments placed on the tray 30, and the position of the medical instruments in the imaging area of the tray camera 51. Adjusted in advance. Note that the tray camera 51 may be installed at any location as long as it can photograph an area including at least the tray 30.

全体カメラ５２は、診療装置１を含む診療空間を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、全体カメラ５２は、診療装置１を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ５２は、ポール５の上部に取り付けられているため、診療中の歯科医師、歯科助手、および患者の各々の行動と、診療装置１の動作とを上空から俯瞰して撮影する。 The general camera 52 is arranged so as to photograph a region including at least the medical treatment space including the medical treatment device 1 as a moving image or a still image. Specifically, the overall camera 52 is arranged so as to take a video or still image of a wide area including at least the dentist, dental assistant, and patient in the medical treatment space during medical treatment using the medical treatment device 1. There is. Since the general camera 52 is attached to the top of the pole 5, it photographs the actions of the dentist, dental assistant, and patient during treatment, as well as the operation of the medical treatment apparatus 1 from above.

「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、診療中の術者、患者、および診療装置１など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ５２によって得られた撮影情報を含む画像データ（以下、「全体画像データ」とも称する。）は、画像処理装置１００によって取得される。全体カメラ５２におけるシャッタースピードなどの各種設定は、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを画像処理装置１００が認識できる程度に予め調整されている。 "Clinical care space" is not limited to a space that includes all of the objects included in the medical care space, but also a space that includes some of the objects included in the medical care space, such as the operator undergoing treatment, the patient, and the medical treatment device 1. It may be. Image data including photographic information obtained by the overall camera 52 (hereinafter also referred to as “overall image data”) is acquired by the image processing device 100. Various settings such as the shutter speed in the overall camera 52 are adjusted in advance to the extent that the image processing device 100 can recognize the actions of the dentist, dental assistant, or other surgeon during the treatment, the actions of the patient, and the actions of the medical treatment device 1. has been done.

なお、全体カメラ５２は、患者を診療する診療空間を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。全体カメラ５２は、診療空間を平面で認識する他に、診療空間を奥行き方向で認識可能なデプスカメラであってもよい。全体カメラ５２は、診療空間を全方位で撮影可能な３６０度カメラであってもよい。さらに、全体カメラ５２は、診療空間に存在する撮影対象（たとえば、術者および患者などの人物）を追尾することができるものであってもよい。 Note that the general camera 52 may be installed at any location as long as it can photograph an area including at least the medical treatment space where patients are treated. The overall camera 52 may be a depth camera that can recognize the medical treatment space not only in a plane but also in the depth direction. The general camera 52 may be a 360-degree camera capable of photographing the medical treatment space in all directions. Further, the overall camera 52 may be capable of tracking a subject to be photographed (for example, a person such as a surgeon and a patient) present in the medical treatment space.

第１カメラ５３および第２カメラ５４は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、第１カメラ５３および第２カメラ５４は、患者の口腔内を主として、患者の顔および顔の周辺を撮影する。 The first camera 53 and the second camera 54 are arranged to take a video or still image of an area including at least the inside of the patient's oral cavity. Specifically, the first camera 53 and the second camera 54 mainly photograph the inside of the patient's oral cavity, and the patient's face and the surrounding area of the face.

図２は、第１カメラおよび第２カメラの一例を説明するための図である。たとえば、図２に示すように、照明装置１９は、点灯と消灯とを切り替え可能な複数の照明部１９０が環状に配置されるように構成されている。第１カメラ５３は、環状に配置された複数の照明部１９０の上方に位置するようにして照明装置１９に取り付けられている。第２カメラ５４は、環状に配置された複数の照明部１９０によって取り囲まれるようにして照明装置１９に取り付けられている。第１カメラ５３および第２カメラ５４は、照明装置１９に取り付けられているため、照明装置１９が移動することに従って第１カメラ５３および第２カメラ５４も移動する。 FIG. 2 is a diagram for explaining an example of the first camera and the second camera. For example, as shown in FIG. 2, the illumination device 19 is configured such that a plurality of illumination units 190 that can be turned on and off are arranged in a ring. The first camera 53 is attached to the lighting device 19 so as to be located above the plurality of lighting sections 190 arranged in a ring shape. The second camera 54 is attached to the lighting device 19 so as to be surrounded by a plurality of lighting sections 190 arranged in an annular manner. Since the first camera 53 and the second camera 54 are attached to the lighting device 19, the first camera 53 and the second camera 54 also move as the lighting device 19 moves.

通常、診療中において、照明装置１９は、患者の顔の正面に位置して、患者の口腔内を中心に複数の照明部１９０からの光を照射する。照明装置１９からの光の照射方向と、第１カメラ５３および第２カメラ５４による撮影方向とは、同一または略同一である。このため、照明装置１９が患者の顔の正面に位置すると、照明装置１９に取り付けられた第１カメラ５３および第２カメラ５４は、自然と患者の顔を含む領域を正面から撮影することができる。また、照明装置１９の位置、すなわち第１カメラ５３および第２カメラ５４の位置は、被写体である患者の位置と十分に離れている。このため、後述する図６および図７に示すように、第１カメラ５３の撮影領域と、第２カメラ５４の撮影領域とは概ね一致する。 Normally, during medical treatment, the illumination device 19 is positioned in front of the patient's face and irradiates light from a plurality of illumination units 190 mainly into the patient's oral cavity. The direction of irradiation of light from the illumination device 19 and the direction of photographing by the first camera 53 and the second camera 54 are the same or substantially the same. Therefore, when the illumination device 19 is located in front of the patient's face, the first camera 53 and the second camera 54 attached to the illumination device 19 can naturally photograph the area including the patient's face from the front. . Further, the position of the illumination device 19, that is, the positions of the first camera 53 and the second camera 54 are sufficiently far from the position of the patient, who is the subject. Therefore, as shown in FIGS. 6 and 7, which will be described later, the photographing area of the first camera 53 and the photographing area of the second camera 54 generally match.

第１カメラ５３および第２カメラ５４の各々によって得られた撮影情報を含む画像データ（以下、「患者画像データ」とも称する。）は、画像処理装置１００によって取得される。第１カメラ５３および第２カメラ５４におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を画像処理装置１００が認識できる程度に予め調整されている。 Image data including imaging information obtained by each of the first camera 53 and the second camera 54 (hereinafter also referred to as “patient image data”) is acquired by the image processing device 100. Various settings such as the shutter speed in the first camera 53 and the second camera 54 are adjusted in advance to the extent that the image processing device 100 can recognize the inside of the oral cavity of the patient being treated.

なお、第１カメラ５３および第２カメラ５４は、照明装置１９からの光の照射方向と同一または略同一の撮影方向で患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、照明装置１９におけるいずれの場所に取り付けられてもよい。第１カメラ５３および第２カメラ５４は、口腔周辺の部位と診療器具とにおける奥行き方向（たとえば、第１カメラ５３および第２カメラ５４から患者を見る方向）の位置関係を画像処理装置１００が検出できるように、全体カメラ５２と同様に三次元の位置座標を検出可能であってもよい。 Note that the first camera 53 and the second camera 54 may be placed at a location where they can photograph an area including at least the inside of the patient's oral cavity in the same or substantially the same photographing direction as the direction of light irradiation from the illumination device 19. It may be attached anywhere in the lighting device 19. The image processing device 100 detects the positional relationship between the first camera 53 and the second camera 54 in the depth direction (for example, the direction in which the patient is viewed from the first camera 53 and the second camera 54) between the area around the oral cavity and the medical instruments. It may be possible to detect three-dimensional position coordinates similarly to the overall camera 52.

上述したトレー画像データ、全体画像データ、および患者画像データをまとめて「画像関連データ」とも称する。なお、「画像関連データ」という用語は、トレー画像データ、全体画像データ、および患者画像データの全てを意味する場合もあるが、トレー画像データ、全体画像データ、および患者画像データのうちの少なくともいずれか１つを意味する場合もある。 The above-mentioned tray image data, whole image data, and patient image data are also collectively referred to as "image-related data." Note that the term "image-related data" may mean all of tray image data, whole image data, and patient image data; however, it may mean at least any of tray image data, whole image data, and patient image data. It can also mean one of the following.

画像処理装置１００は、主にトレー画像データおよび患者画像データに基づき、撮影画像に含まれる診療器具などのオブジェクトの有無やその種類を検出する。画像処理装置１００は、主に全体画像データに基づき、撮影画像に含まれる歯科医師、歯科助手、および患者などの人物の位置を検出する。「画像関連データ」は、上述した画像処理装置１００による検出結果を含んでいてもよい。つまり、「画像関連データ」は、トレー画像データ、全体画像データ、および患者画像データそのものを含んでいてもよいし、これらのデータに基づき画像処理装置１００の画像認識によって取得された検出結果を含んでいてもよい。 The image processing device 100 detects the presence or absence of an object such as a medical instrument included in a photographed image and its type, mainly based on tray image data and patient image data. The image processing device 100 detects the positions of people, such as a dentist, a dental assistant, and a patient, included in a photographed image, mainly based on whole image data. "Image-related data" may include detection results by the image processing device 100 described above. In other words, "image-related data" may include tray image data, whole image data, and patient image data themselves, or may include detection results obtained by image recognition by the image processing device 100 based on these data. It's okay to stay.

画像処理装置１００は、取得した各種のデータに基づき、診療装置１を用いて行われた患者に対する診療の内容を推定するコンピュータ（後述する演算装置１０２）を搭載する。具体的には、画像処理装置１００は、診療装置１に取り付けられたトレーカメラ５１、全体カメラ５２、第１カメラ５３、および第２カメラ５４の少なくともいずれか１つから、画像関連データを取得する。 The image processing device 100 is equipped with a computer (computation device 102 to be described later) that estimates the contents of medical treatment for a patient performed using the medical treatment device 1 based on various acquired data. Specifically, the image processing device 100 acquires image-related data from at least one of the tray camera 51, the overall camera 52, the first camera 53, and the second camera 54 attached to the medical treatment device 1. .

なお、本実施の形態においては、表示装置１１０が画像処理装置１００に接続されているが、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が画像処理装置１００に接続されていてもよい。 Note that in this embodiment, the display device 110 is connected to the image processing device 100, but not only the display device 110 but also operation tools (user interfaces) such as a keyboard and a mouse are connected to the image processing device 100. You can.

＜画像処理システムの内部構成＞
図３は、本実施の形態に係る画像処理システム１０００の内部構成を示すブロック図である。図３に示すように、画像処理システム１０００は、複数のカメラ（トレーカメラ５１、全体カメラ５２、第１カメラ５３、第２カメラ５４）と、診療装置１と、画像処理装置１００とを備える。 <Internal configuration of image processing system>
FIG. 3 is a block diagram showing the internal configuration of image processing system 1000 according to this embodiment. As shown in FIG. 3, the image processing system 1000 includes a plurality of cameras (a tray camera 51, an overall camera 52, a first camera 53, and a second camera 54), a medical device 1, and an image processing device 100.

［診療装置の内部構成］
診療装置１は、チェア１１と、器具制御装置２１と、表示制御装置２２と、音制御装置３２と、ベースンユニット１２とを備える。診療装置１の内部において、チェア１１、器具制御装置２１、表示制御装置２２、音制御装置３２、およびベースンユニット１２の各々は、ＣＡＮ（Controller Area Network）通信を介してデータの送受信を行うことができる。また、診療装置１は、画像処理装置１００との間で、有線または無線のＬＡＮ（Local Area Network）通信、たとえばＷｉＦｉによる通信を介してデータの送受信を行うことができる。なお、診療装置１は、画像処理装置１００との間で、ＵＳＢ（Universal Serial Bus）接続による通信を介してデータの送受信を行ってもよい。 [Internal configuration of medical device]
The medical device 1 includes a chair 11 , an instrument control device 21 , a display control device 22 , a sound control device 32 , and a basin unit 12 . Inside the medical treatment device 1, each of the chair 11, instrument control device 21, display control device 22, sound control device 32, and basin unit 12 can transmit and receive data via CAN (Controller Area Network) communication. can. Further, the medical device 1 can send and receive data to and from the image processing device 100 via wired or wireless LAN (Local Area Network) communication, for example, communication using WiFi. Note that the medical device 1 may send and receive data to and from the image processing device 100 via communication using a USB (Universal Serial Bus) connection.

チェア１１は、ヘッドレスト１１ａと、背もたれ１１ｂと、座面シート１１ｃと、足置き台１１ｄとを含み、これらの各々は、チェア制御部１１１の制御に基づき駆動する。具体的には、チェア制御部１１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、座面シート１１ｃを上昇または下降させたり、ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄを座面シート１１ｃに対して垂直方向または水平方向に移動させたりする。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して垂直方向に位置すると、チェア１１が起立した態様となる。これにより、患者がチェア１１に座った姿勢になる。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して水平方向に位置すると、チェア１１が傾斜した態様となる。これにより、患者がチェア１１に横たわり、仰向け姿勢になる。このように、チェア制御部１１１は、ヘッドレスト１１ａ、背もたれ１１ｂ、座面シート１１ｃ、および足置き台１１ｄを駆動させてチェア１１の姿勢を変更する。 The chair 11 includes a headrest 11a, a backrest 11b, a seat 11c, and a footrest 11d, each of which is driven under the control of the chair controller 111. Specifically, upon receiving control data based on the operator's operation accepted by the foot controller 16 or the operation panel 18, or control data from the image processing device 100, the chair control unit 111 performs control data based on the control data. , the seat 11c is raised or lowered, and the headrest 11a, the backrest 11b, and the footrest 11d are moved vertically or horizontally with respect to the seat 11c. When the headrest 11a, backrest 11b, and footrest 11d are positioned perpendicularly to the seat 11c, the chair 11 is in an upright state. As a result, the patient assumes a sitting position on the chair 11. When the headrest 11a, the backrest 11b, and the footrest 11d are positioned horizontally with respect to the seat 11c, the chair 11 is in an inclined state. As a result, the patient lies down on the chair 11 and assumes a supine posture. In this way, the chair control unit 111 changes the posture of the chair 11 by driving the headrest 11a, the backrest 11b, the seat seat 11c, and the footrest 11d.

器具制御装置２１は、器具制御部２１１を含む。器具制御部２１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、診療器具１５の駆動または設定内容を制御する。たとえば、術者が、フットコントローラ１６におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置２１は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。たとえば、画像処理装置１００が、エアハンドピースの回転方向または回転速度などを制御するための制御データを出力すると、器具制御装置２１は、制御データに基づき、エアタービンハンドピースの回転方向または回転速度などを設定する。このように、器具制御装置２１は、フットコントローラ１６または操作パネル１８に対する術者の操作に基づき診療器具１５の駆動を制御する。 The instrument control device 21 includes an instrument control section 211. When the instrument control unit 211 receives control data based on the operator's operation accepted by the foot controller 16 or the operation panel 18, or control data from the image processing device 100, the instrument control unit 211 controls the medical instrument 15 based on the control data. Control the drive or settings. For example, when the operator presses a switch for driving the air turbine handpiece in the foot controller 16, the instrument control device 21 rotates the cutting tool held in the head of the air turbine handpiece. For example, when the image processing device 100 outputs control data for controlling the rotational direction or rotational speed of the air handpiece, the instrument control device 21 outputs the rotational direction or rotational speed of the air turbine handpiece based on the control data. etc. In this manner, the instrument control device 21 controls the driving of the medical instrument 15 based on the operator's operations on the foot controller 16 or the operation panel 18.

表示制御装置２２は、ディスプレイ制御部２２１と、パネル制御部２２２とを含む。ディスプレイ制御部２２１は、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、ディスプレイ１７を制御する。パネル制御部２２２は、画像処理装置１００の制御に基づく制御データを受信すると、当該制御データに基づき、操作パネル１８を制御する。 Display control device 22 includes a display control section 221 and a panel control section 222. Upon receiving the control data from the image processing device 100, the display control unit 221 controls the display 17 based on the control data. Upon receiving control data based on the control of the image processing device 100, the panel control unit 222 controls the operation panel 18 based on the control data.

音制御装置３２は、音制御部３２１を含む。音制御部３２１は、画像処理装置１００からの制御データをＣＡＮ通信を受信すると、当該制御データに基づき、スピーカ３５を制御する。 The sound control device 32 includes a sound control section 321. When the sound control unit 321 receives control data from the image processing device 100 via CAN communication, the sound control unit 321 controls the speaker 35 based on the control data.

ベースンユニット１２は、ベースン制御部１２１と、照明制御部１２２とを含む。ベースン制御部１２１は、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、ベースンユニット１２における給水および排水を制御する。照明制御部１２２は、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、照明装置１９の照明および消灯を制御する。 Basin unit 12 includes a basin control section 121 and a lighting control section 122. Upon receiving the control data from the image processing device 100, the basin control unit 121 controls water supply and drainage in the basin unit 12 based on the control data. Upon receiving the control data from the image processing device 100, the lighting control unit 122 controls lighting and extinguishing of the lighting device 19 based on the control data.

上述したチェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、図示しない基板上に実装されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random access memory）などによって構成される。なお、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、予め診療装置１に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置１に取り付け可能であってもよい。 Each of the chair control section 111, appliance control section 211, display control section 221, panel control section 222, sound control section 321, basin control section 121, and lighting control section 122 described above is a CPU mounted on a board (not shown). (Central Processing Unit), ROM (Read Only Memory), and RAM (Random Access Memory). Note that each of the chair control section 111, instrument control section 211, display control section 221, panel control section 222, sound control section 321, basin control section 121, and lighting control section 122 is installed in the medical device 1 in advance. Alternatively, it may be modularized so that it can be attached to the medical device 1 as an option.

チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々におけるＣＡＮ通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。 CAN communication in each of the chair control section 111, appliance control section 211, display control section 221, panel control section 222, sound control section 321, basin control section 121, and lighting control section 122 includes log data for each control section. The control units communicate with each other by converting medical care-related data into communication packets. Note that in communication between the control units, as long as the medical care-related data is transmitted and received, the medical care-related data does not necessarily need to be converted into communication packets.

「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、操作パネル１８の少なくともいずれか１つにおける過去および現在の少なくとも１つの制御データを含む。たとえば、上述したように、「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、および操作パネル１８の各々における動作および制御の履歴を示すログデータを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。さらに、「診療関連データ」は、各種装置における現在のステータスに関するデータを含んでいてもよい。たとえば、「診療関連データ」は、チェア１１の現在の態様（姿勢および位置など）を特定するためのデータを含んでいてもよい。 "Medical care related data" includes at least any of the chair 11, basin unit 12, lighting device 19, instrument control device 21, display control device 22, medical instrument 15, foot controller 16, display 17, and operation panel 18 provided in the medical device 1. The control data includes at least one past and present control data for one of the above. For example, as described above, "medical care related data" includes the chair 11, basin unit 12, lighting device 19, instrument control device 21, display control device 22, medical instrument 15, foot controller 16, display 17, which the medical device 1 includes. , and log data indicating the operation and control history of each of the operation panels 18. Note that the "medical care-related data" is not limited to historical data of operations and controls in various devices such as log data, but may include real-time data of operations and controls in various devices. Furthermore, the "medical treatment-related data" may include data regarding the current status of various devices. For example, the "medical treatment-related data" may include data for specifying the current aspect (posture, position, etc.) of the chair 11.

ベースンユニット１２は、診療装置１内のログデータを含む診療関連データを蓄積する蓄積部１２３と、蓄積部１２３によって蓄積された診療関連データを通信によって画像処理装置１００に出力するための通信部１２４とを含む。 The basin unit 12 includes an accumulation section 123 that accumulates medical care-related data including log data in the medical device 1, and a communication section 124 that outputs the medical care-related data accumulated by the accumulation section 123 to the image processing apparatus 100 through communication. including.

蓄積部１２３は、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々との間でＣＡＮ通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部１２３は、図示しない基板上に実装されたＲＯＭまたはＲＡＭなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。 The storage unit 123 communicates with each of the chair control unit 111 , appliance control unit 211 , display control unit 221 , panel control unit 222 , sound control unit 321 , basin control unit 121 , and lighting control unit 122 via CAN communication. The system collects and accumulates medical treatment-related data from each control unit. The storage unit 123 may be configured with a memory such as a ROM or RAM mounted on a substrate (not shown), or may be configured with a nonvolatile storage medium such as a memory card.

通信部１２４は、有線または無線のＬＡＮ通信、あるいはＵＳＢ接続によって画像処理装置１００との間で通信する。なお、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、画像処理装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。また、画像処理装置１００は、一時的に記憶する揮発性の記憶媒体を介して、ＣＡＮ通信に流れている診療関連データを、直接的に取得してもよい。 The communication unit 124 communicates with the image processing apparatus 100 through wired or wireless LAN communication or USB connection. Note that when the storage unit 123 is configured with a non-volatile storage medium such as a memory card, the image processing device 100 stores data in the storage medium via the communication unit 124 of the medical device 1 by the communication device 101. Medical care related data may also be acquired. Further, the image processing apparatus 100 may directly acquire medical care-related data flowing through CAN communication via a volatile storage medium that temporarily stores the data.

［画像処理装置の内部構成］
画像処理装置１００は、通信装置１０１と、演算装置１０２と、記憶装置１０３とを備える。 [Internal configuration of image processing device]
The image processing device 100 includes a communication device 101, a calculation device 102, and a storage device 103.

通信装置１０１は、診療装置１との間で通信する一方で、トレーカメラ５１、全体カメラ５２、第１カメラ５３、および第２カメラ５４の各々との間で通信可能である。通信装置１０１は、有線または無線のＬＡＮ通信、あるいはＵＳＢ接続によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置１０１は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置１０１は、各カメラから取り出されたメモリカードなどの不揮発の記録媒体に一時的に記録される画像関連データを取得してもよい。なお、診療装置１との間の通信と、各カメラとの間の通信とは、互いに別の装置で行われてもよい。 The communication device 101 can communicate with each of the tray camera 51, the overall camera 52, the first camera 53, and the second camera 54 while communicating with the medical treatment device 1. The communication device 101 acquires image-related data from each camera by communicating with each camera through wired or wireless LAN communication or USB connection. Note that the communication device 101 may acquire image-related data from each camera in other formats. For example, the communication device 101 may acquire image-related data that is temporarily recorded on a nonvolatile recording medium such as a memory card taken out from each camera. Note that communication with the medical device 1 and communication with each camera may be performed by different devices.

通信装置１０１は、有線または無線のＬＡＮ通信、あるいはＵＳＢ接続によって診療装置１との間で通信することで、診療装置１から診療関連データを取得する。なお、通信装置１０１は、その他の形式で診療装置１から診療関連データを取得してもよい。たとえば、上述したように、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、画像処理装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。 The communication device 101 acquires medical care-related data from the medical device 1 by communicating with the medical device 1 through wired or wireless LAN communication or USB connection. Note that the communication device 101 may acquire medical treatment-related data from the medical treatment device 1 in other formats. For example, as described above, if the storage unit 123 is configured with a nonvolatile storage medium such as a memory card, the image processing device 100 uses the communication device 101 to communicate with the storage medium through the communication unit 124 of the medical treatment device 1. It is also possible to obtain medical care-related data stored in .

演算装置１０２は、各種のプログラムを実行することで、各種の処理を実行する演算主体（コンピュータ）である。演算装置１０２は、たとえば、ＣＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。 The computing device 102 is a computing entity (computer) that executes various processes by executing various programs. The arithmetic device 102 includes, for example, a CPU, an FPGA (Field-Programmable Gate Array), and a GPU (Graphics Processing Unit).

なお、演算装置１０２は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵのうちの少なくともいずれか１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵから構成されてもよい。また、演算装置１０２は、演算回路（processing circuitry）で構成されてもよい。 Note that the arithmetic device 102 may be composed of at least one of a CPU, an FPGA, and a GPU, or may be composed of a CPU and an FPGA, an FPGA and a GPU, a CPU and a GPU, or a CPU, an FPGA, and a GPU. may be done. Further, the arithmetic device 102 may be configured with a processing circuitry.

記憶装置１０３は、演算装置１０２が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の第１記憶領域（たとえば、ワーキングエリア）を含む。たとえば、記憶装置１０３は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。さらに、記憶装置１０３は、不揮発性の第２記憶領域を含む。たとえば、記憶装置１０３は、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。 The storage device 103 includes a volatile first storage area (for example, a working area) that temporarily stores program codes, work memory, etc. when the arithmetic unit 102 executes an arbitrary program. For example, the storage device 103 is configured with a volatile memory device such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory). Furthermore, the storage device 103 includes a nonvolatile second storage area. For example, the storage device 103 is configured with a nonvolatile memory device such as a hard disk or a solid state drive (SSD).

なお、本実施の形態においては、揮発性の第１記憶領域と不揮発性の第２記憶領域とが同一の記憶装置１０３に含まれる例を示したが、揮発性の第１記憶領域と不揮発性の第２記憶領域とが互いに異なる記憶装置に含まれていてもよい。たとえば、演算装置１０２が揮発性の第１記憶領域を含んでいてもよい。画像処理装置１００は、演算装置１０２と、記憶装置１０３とを含むマイクロコンピュータを備えていてもよい。 Note that in this embodiment, an example is shown in which the volatile first storage area and the nonvolatile second storage area are included in the same storage device 103, but the volatile first storage area and the nonvolatile second storage area are may be included in different storage devices. For example, the computing device 102 may include a volatile first storage area. The image processing device 100 may include a microcomputer including a calculation device 102 and a storage device 103.

記憶装置１０３は、画像処理装置１００が備えるものに限らない。たとえば、診療装置１に通信可能に接続された院内サーバが記憶装置１０３を備えていてもよいし、診療装置１が設置された診療空間外に設置された院外サーバが記憶装置１０３を備えていてもよい。さらに、記憶装置１０３は、複数の診療装置１のそれぞれが備える複数の画像処理装置１００が通信可能なクラウドコンピューティングの態様で存在してもよい。このようにすれば、複数の診療装置１から取得した画像関連データおよび診療関連データを記憶装置１０３によって一律に蓄積しかつ管理することができる。 The storage device 103 is not limited to that included in the image processing apparatus 100. For example, an in-hospital server communicably connected to the medical device 1 may include the storage device 103, or an external server installed outside the medical treatment space where the medical device 1 is installed may include the storage device 103. Good too. Furthermore, the storage device 103 may exist in a cloud computing mode in which a plurality of image processing devices 100 included in each of the plurality of medical treatment devices 1 can communicate with each other. In this way, image-related data and medical treatment-related data acquired from a plurality of medical treatment devices 1 can be uniformly stored and managed by the storage device 103.

記憶装置１０３は、推定モデル１６１と、推定プログラム１４１と、画像処理プログラム１４２とを格納する。 The storage device 103 stores an estimation model 161, an estimation program 141, and an image processing program 142.

推定モデル１６１は、たとえば、ニューラルネットワークと、ニューラルネットワークにおける処理で用いられるパラメータ（判定閾値、重み係数など）とを含み、各カメラから取得した画像関連データおよび診療装置１から取得した診療関連データの少なくともいずれか１つと、ニューラルネットワークなどとに基づき、患者の診療内容を推定する。推定モデル１６１は、画像関連データおよび診療関連データの少なくともいずれか１つに基づき機械学習を行うことで最適化（調整）される。具体的には、推定モデル１６１は、ニューラルネットワークにおける処理で用いられるパラメータが教師データ（たとえば、画像関連データおよび診療関連データと、正解データである診療内容とのセット）などに基づいて適正化されることで、患者の診療内容の推定精度を向上させることができる。 The estimation model 161 includes, for example, a neural network and parameters used in processing in the neural network (judgment thresholds, weighting coefficients, etc.), and estimates the image-related data obtained from each camera and the medical care-related data obtained from the medical device 1. The content of the patient's medical treatment is estimated based on at least one of these and a neural network. The estimation model 161 is optimized (adjusted) by performing machine learning based on at least one of image-related data and medical treatment-related data. Specifically, in the estimation model 161, the parameters used in the processing in the neural network are optimized based on training data (for example, a set of image-related data, medical treatment-related data, and medical treatment content that is correct data). By doing so, it is possible to improve the accuracy of estimating the details of the patient's medical treatment.

なお、演算装置１０２が診療内容を推定する処理を「推定処理」とも称し、演算装置１０２が推定モデルを学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。なお、画像関連データおよび診療関連データは、診療内容の推定処理に用いられるため、まとめて「推定用データ」とも称される。 Note that the processing in which the computing device 102 estimates the contents of medical treatment is also referred to as "estimation processing," and the processing in which the computing device 102 learns the estimation model is also referred to as "learning processing." Furthermore, the estimation model that has been optimized through the learning process is also particularly referred to as a "trained model." That is, in this embodiment, while the pre-learning estimation model and the learned estimation model are collectively referred to as the "estimation model", the learned estimation model is also particularly referred to as the "trained model". Note that the image-related data and the medical treatment-related data are also collectively referred to as "estimation data" because they are used in the process of estimating the contents of the medical treatment.

推定プログラム１４１は、演算装置１０２が推定処理および学習処理を実行するためのプログラムである。なお、画像処理装置１００は、推定処理によって得られた推定結果に基づき、各制御対象を制御するための制御データを生成するとともに、生成した制御データを各制御対象に出力する制御プログラムを含んでいてもよい。 The estimation program 141 is a program for the arithmetic device 102 to execute estimation processing and learning processing. Note that the image processing device 100 includes a control program that generates control data for controlling each controlled object based on the estimation result obtained by the estimation process, and outputs the generated control data to each controlled object. You can stay there.

画像処理プログラム１４２は、各カメラによる診療空間または患者の撮影を制御するとともに、各カメラによって得られた撮影画像に対して画像処理を実行するためのプログラムである。 The image processing program 142 is a program for controlling the imaging of a medical treatment space or a patient by each camera, and for executing image processing on the captured images obtained by each camera.

たとえば、画像処理プログラム１４２は、第１カメラ５３および第２カメラ５４を含む各カメラにおける撮影時の露出を調整するためのソースコードを含む。「露出」とは、カメラの撮像素子（イメージングセンサ）に光を取り込むこと、またはその光の量のことである。露出は、絞り（Ｆ値）、シャッタースピード、およびＩＳＯ感度の少なくともいずれか１つを調整することで調整され得る。絞り（Ｆ値）を調整することで、カメラのレンズの内径の大きさが調整され得る。シャッタースピードを調整することで、カメラの撮像素子に光を取り込む時間が調整され得る。ＩＳＯ感度を調整することで、カメラの撮像素子に取り込んだ光に対する感度が調整され得る。画像処理装置１００は、演算装置１０２が画像処理プログラム１４２を実行することで、第１カメラ５３および第２カメラ５４の各々における撮影時の露出を調整することができる。なお、画像処理装置１００が各カメラの露出を調整することに限らず、各カメラにおいて予め露出が調整されていてもよい。 For example, the image processing program 142 includes source code for adjusting the exposure during shooting in each camera including the first camera 53 and the second camera 54. "Exposure" refers to the amount of light that enters the camera's image sensor (imaging sensor). Exposure can be adjusted by adjusting at least one of the aperture (F number), shutter speed, and ISO sensitivity. By adjusting the aperture (F number), the size of the inner diameter of the camera lens can be adjusted. By adjusting the shutter speed, the time for light to be captured by the camera's image sensor can be adjusted. By adjusting the ISO sensitivity, the sensitivity to light captured by the image sensor of the camera can be adjusted. The image processing device 100 can adjust the exposure at the time of photographing in each of the first camera 53 and the second camera 54 by the arithmetic device 102 executing the image processing program 142. Note that the image processing apparatus 100 is not limited to adjusting the exposure of each camera, and the exposure of each camera may be adjusted in advance.

さらに、画像処理プログラム１４２は、第１カメラ５３によって得られた撮影画像（以下、「第１撮影画像」とも称する。）と、第２カメラ５４によって得られた撮影画像（以下、「第２撮影画像」とも称する。）とを合成するためのソースコードを含む。画像処理装置１００は、画像処理プログラム１４２を実行することで、第１カメラ５３の第１撮影画像と、第２カメラ５４の第２撮影画像とを合成することができる。 Further, the image processing program 142 processes the captured image obtained by the first camera 53 (hereinafter also referred to as "first captured image") and the captured image obtained by the second camera 54 (hereinafter referred to as "second captured image"). Contains source code for synthesizing images (also referred to as "images"). The image processing device 100 can combine the first image taken by the first camera 53 and the second image taken by the second camera 54 by executing the image processing program 142.

画像処理装置１００には、表示装置１１０が接続されている。表示装置１１０は、たとえば、推定した診療内容または処置内容を示す内容（文字、アイコン、画像など）、各種の画像を表示する。なお、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が画像処理装置１００に接続されていてもよく、術者などのユーザによって学習処理用のデータが入力されるように構成されてもよい。表示装置１１０は、画像処理装置１００が備えていてもよい。 A display device 110 is connected to the image processing device 100. The display device 110 displays, for example, contents (text, icons, images, etc.) indicating the estimated contents of medical treatment or treatment, and various images. Note that not only the display device 110 but also an operation tool (user interface) such as a keyboard and a mouse may be connected to the image processing device 100, and the configuration is such that data for learning processing is input by a user such as a surgeon. may be done. The display device 110 may be included in the image processing device 100.

上述した例では、画像処理装置１００が診療装置１と別体となるように構成されていたが、画像処理装置１００は、エッジコンピューティングの態様で、診療装置１の内部に小型のコンピュータとして実装されてもよい。この場合、画像処理装置１００は、診療装置１に含まれるチェア１１、器具制御装置２１、表示制御装置２２、音制御装置３２、およびベースンユニット１２の各々との間で、ＣＡＮ通信を介してデータの送受信を行ってもよい。 In the example described above, the image processing device 100 was configured to be separate from the medical device 1, but the image processing device 100 is implemented as a small computer inside the medical device 1 in the form of edge computing. may be done. In this case, the image processing device 100 communicates data via CAN communication with each of the chair 11, instrument control device 21, display control device 22, sound control device 32, and basin unit 12 included in the medical treatment device 1. may also be sent and received.

＜診療内容の推定の一例＞
図４を参照しながら、画像処理装置１００による診療内容の推定の一例について説明する。図４は、推定用の同期データの一例を説明するための図である。なお、図４には、画像関連データを用いて根管治療を推定する例が示されている。 <Example of estimation of medical treatment details>
An example of estimating medical treatment content by the image processing device 100 will be described with reference to FIG. 4. FIG. 4 is a diagram for explaining an example of synchronization data for estimation. Note that FIG. 4 shows an example of estimating root canal treatment using image-related data.

診療中においては、トレーカメラ５１によって、シャッタータイミングに依存する所定のタイミングごとに、トレー３０に置かれた１または複数の診療器具が撮影される。画像処理装置１００は、トレーカメラ５１の撮影画像のデータ（トレー画像データ）が入力されると、画像認識によって、撮影画像に含まれる特徴量を抽出する。 During medical treatment, one or more medical instruments placed on the tray 30 are photographed by the tray camera 51 at predetermined timings depending on the shutter timing. When data of an image captured by the tray camera 51 (tray image data) is input, the image processing device 100 extracts feature amounts included in the captured image by image recognition.

たとえば、図４に示すように、画像処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、種類、および位置などを推定し、トレー３０上に存在する診療器具に対応する記憶領域に「０」のデータを格納し、トレー３０上に存在しない診療器具に対応する記憶領域に「１」のデータを格納する。これにより、図４に示すように、画像処理装置１００は、同期タイミングごとに診療器具の有無を区別可能な推定用データ（トレー画像データ）を得ることができる。 For example, as shown in FIG. 4, the image processing device 100 determines the presence/absence, shape, type, position, etc. of medical instruments placed on the tray 30 at each predetermined synchronization timing (T1, T2, T3,...). The estimation is made, and data "0" is stored in the storage area corresponding to the medical instruments existing on the tray 30, and data "1" is stored in the storage area corresponding to the medical instruments not existing on the tray 30. Thereby, as shown in FIG. 4, the image processing apparatus 100 can obtain estimation data (tray image data) that can distinguish the presence or absence of a medical instrument at each synchronization timing.

診療中においては、第１カメラ５３および第２カメラ５４の各々によって、シャッタータイミングに依存する所定のタイミングごとに、患者の顔および顔の周辺が撮影される。画像処理装置１００は、第１カメラ５３および第２カメラ５４の各々から撮影画像のデータ（患者画像データ）が入力されると、第１カメラ５３の第１撮影画像と、第２カメラ５４の第２撮影画像とを合成することで、所定のタイミングごとに１枚の合成画像を生成する。画像処理装置１００は、画像認識によって、合成画像に含まれる特徴量を抽出する。 During medical treatment, each of the first camera 53 and the second camera 54 photographs the patient's face and the area around the face at predetermined timings depending on the shutter timing. When data of captured images (patient image data) is input from each of the first camera 53 and the second camera 54, the image processing device 100 inputs the first captured image of the first camera 53 and the second captured image of the second camera 54. By combining the two captured images, one composite image is generated at each predetermined timing. The image processing device 100 extracts feature amounts included in the composite image by image recognition.

たとえば、図４に示すように、画像処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、患者の口腔周辺における診療器具の位置などを推定し、診療器具と患者の唇、診療器具と患者の頬、診療器具と患者の頭、または診療器具と患者の顎との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、画像処理装置１００は、同期タイミングごとに患者の周辺における診療器具の位置を特定可能な推定用データ（患者画像データ）を得ることができる。たとえば、診療器具が患者の下唇付近に位置し、かつ、診療器具が患者の右頬付近に位置する場合、画像処理装置１００は、患者の口腔内における右下付近の歯牙を治療中であることを推定することができる。また、診療器具が患者の頭付近または患者の顎付近に位置する場合、画像処理装置１００は、患者に診療器具が近づいていることを推定することができる。 For example, as shown in FIG. 4, the image processing device 100 estimates the position of the medical instrument around the patient's oral cavity at each predetermined synchronization timing (T1, T2, T3, ...), and estimates the position of the medical instrument and the patient. If the lips, the medical instrument and the patient's cheek, the medical instrument and the patient's head, or the medical instrument and the patient's chin are not located within a predetermined range, data of "0" is stored in the storage area. , and when both are located within a predetermined range, data “1” is stored in the storage area. Thereby, the image processing apparatus 100 can obtain estimation data (patient image data) that can specify the position of the medical instrument around the patient at each synchronization timing. For example, when the medical instrument is located near the patient's lower lip and the medical instrument is located near the patient's right cheek, the image processing device 100 indicates that the tooth near the lower right in the patient's oral cavity is being treated. It can be estimated that Further, when the medical instrument is located near the patient's head or the patient's chin, the image processing apparatus 100 can estimate that the medical instrument is approaching the patient.

診療中においては、全体カメラ５２によって、シャッタータイミングに依存する所定のタイミングごとに、術者および患者の行動、診療装置１の動作などが撮影される。画像処理装置１００は、全体カメラ５２の撮影画像のデータ（全体画像データ）が入力されると、画像認識によって、撮影画像に含まれる特徴量を抽出する。 During medical treatment, the overall camera 52 photographs the actions of the surgeon and the patient, the operation of the medical device 1, etc. at predetermined timings depending on the shutter timing. When the image processing device 100 receives data of an image captured by the overall camera 52 (overall image data), it extracts feature amounts included in the captured image through image recognition.

たとえば、図４に示すように、画像処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、歯科医師または歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定し、術者と患者、または診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、画像処理装置１００は、同期タイミングごとに術者の行動、患者の行動、および診療装置１の動作を特定可能な推定用データ（全体画像データ）を得ることができる。 For example, as shown in FIG. 4, the image processing apparatus 100 processes the actions of an operator such as a dentist or dental assistant, the actions of a patient, and the medical device at predetermined synchronization timings (T1, T2, T3, ...). If the positional relationship between the operator and the patient or the medical instrument and the patient is not within a predetermined range, data of "0" is stored in the storage area, and if both are within the predetermined range. If it is located within the range, data “1” is stored in the storage area. Thereby, the image processing device 100 can obtain estimation data (whole image data) that can specify the operator's behavior, the patient's behavior, and the operation of the medical device 1 at each synchronization timing.

画像処理装置１００は、上述したようにして得られた推定用データに基づき、診療内容または処置内容を推定するための特徴を見出すことで、診療内容または処置内容を推定することができる。さらに、画像処理装置１００は、患者画像データまたは全体画像データに基づき診療器具が患者の顔に近づいていることを推定することで、診療器具が患者の顔に近づいていることを報知する画像を表示装置１１０に表示させたり、診療器具が患者の顔に近づいていることを報知する音を診療装置１のスピーカ３５から報知させたりする。 The image processing apparatus 100 can estimate the contents of the medical treatment or treatment by finding the characteristics for estimating the contents of the treatment or treatment based on the estimation data obtained as described above. Furthermore, the image processing device 100 estimates that the medical instrument is approaching the patient's face based on the patient image data or the entire image data, and generates an image that indicates that the medical instrument is approaching the patient's face. The display device 110 may display the information, or the speaker 35 of the medical device 1 may make a sound to notify that the medical instrument is approaching the patient's face.

＜患者カメラの撮影画像＞
上述したように、本実施の形態においては、第１カメラ５３および第２カメラ５４は、照明装置１９に取り付けられ、患者の口腔内を主として、患者の顔および顔の周辺を撮影するように構成されている。さらに診療中において、第１カメラ５３および第２カメラ５４は、チェア１１に横たわる患者の口腔内を中心に照明装置１９によって光が照射された状態で患者を上方から撮影する。 <Image taken by patient camera>
As described above, in this embodiment, the first camera 53 and the second camera 54 are attached to the illumination device 19 and are configured to mainly photograph the inside of the patient's oral cavity, as well as the patient's face and the periphery of the face. has been done. Further, during medical treatment, the first camera 53 and the second camera 54 photograph the patient lying on the chair 11 from above, with the patient's oral cavity being irradiated with light by the lighting device 19 .

ここで、患者の口腔内を中心に照明装置１９によって光が照射された状態で患者を上方から撮影すると、照明装置１９の光によって特に患者の口腔内が白くぼけやる現象（ハレーション）が生じ、適切に患者を撮影することができないおそれがある。照明装置１９は、原則、術者が患者の口腔内を見やすいように口腔の中心部分（中心付近、口腔の内側）に向けて光を照射しており、第１カメラ５３や第２カメラ５４の撮影のために適した照射にはなっていないからである。 Here, when a patient is photographed from above with the patient's oral cavity irradiated with light by the illumination device 19, a phenomenon (halation) in which the patient's oral cavity becomes white and blurred due to the light from the illumination device 19 occurs. There is a possibility that the patient cannot be properly photographed. In principle, the illumination device 19 emits light toward the center of the oral cavity (near the center, inside the oral cavity) so that the operator can easily see inside the patient's oral cavity. This is because the illumination is not suitable for photographing.

たとえば、図５は、第１カメラおよび第２カメラの各々のダイナミックレンジの一例を説明するための図である。なお、ダイナミックレンジとは、一度の撮影でカメラが識別できる照度範囲のことである。図５に示すように、照明装置１９によって光が照射されない部分の照度範囲（Ｄ１～Ｄ２）と、照明装置１９によって光が照射される部分の照度範囲（Ｄ３～Ｄ４）とは、重複し難い。カメラのダイナミックレンジの範囲には限界があるため、光が照射されない部分の照度範囲（Ｄ１～Ｄ２）にカメラのダイナミックレンジを合わせるように露出を調整すれば、光が照射される部分の照度範囲（Ｄ３～Ｄ４）にカメラのダイナミックレンジを合わせることが難しい。一方、光が照射される部分の照度範囲（Ｄ３～Ｄ４）にカメラのダイナミックレンジを合わせるように露出を調整すれば、光が照射されない部分の照度範囲（Ｄ１～Ｄ２）にカメラのダイナミックレンジを合わせることが難しい。特に、ＣＣＤイメージセンサのようなイメージングデバイスを搭載したカメラの場合、照度範囲が極端に異なる複数の部分（被写体）をハレーションを生じさせることなく１つのカメラで１回で撮影することは難しい。 For example, FIG. 5 is a diagram for explaining an example of the dynamic range of each of the first camera and the second camera. Note that the dynamic range is the range of illuminance that can be identified by the camera in one shot. As shown in FIG. 5, the illuminance range (D1 to D2) of a portion not irradiated with light by the illumination device 19 and the illuminance range (D3 to D4) of a portion irradiated with light by the illumination device 19 are unlikely to overlap. . Since there is a limit to the dynamic range of the camera, if you adjust the exposure so that the camera's dynamic range matches the illuminance range (D1 to D2) of the area that is not illuminated, you can adjust the illuminance range of the area that is illuminated with light. It is difficult to match the camera's dynamic range to (D3 to D4). On the other hand, if you adjust the exposure so that the camera's dynamic range matches the illuminance range (D3 to D4) of the part that is illuminated with light, the dynamic range of the camera can be adjusted to the illuminance range of the part that is not illuminated (D1 to D2). Difficult to match. Particularly in the case of a camera equipped with an imaging device such as a CCD image sensor, it is difficult to photograph multiple parts (subjects) with extremely different illuminance ranges in one shot without causing halation.

そこで、本実施の形態においては、第１カメラ５３および第２カメラ５４といった複数の患者カメラを用いて患者を撮影するとともに、第１カメラ５３と第２カメラ５４とで、露出を調整する部分を異ならせる。そして、画像処理装置１００は、第１カメラ５３の撮影によって得られた第１撮影画像と、第２カメラ５４の撮影によって得られた第２撮影画像とを合成することで、患者の口腔内を中心に照明装置１９によって光が照射された状態であっても、光が照射された患者の口腔内と、光が照射されていない患者の口腔内以外の部分（たとえば、患者の顔の周辺部分）とのいずれも明確となる撮影画像を得ることができる。以下、画像処理装置１００による画像処理について具体的に説明する。 Therefore, in this embodiment, a plurality of patient cameras such as the first camera 53 and the second camera 54 are used to photograph the patient, and the exposure is adjusted using the first camera 53 and the second camera 54. Make it different. Then, the image processing device 100 combines the first photographed image obtained by photographing with the first camera 53 and the second photographed image obtained by photographing with the second camera 54, thereby examining the inside of the patient's oral cavity. Even when the center is irradiated with light by the illumination device 19, the patient's oral cavity that is irradiated with light and the areas other than the patient's oral cavity that are not irradiated with light (for example, the peripheral area of the patient's face) ), it is possible to obtain a photographed image that is clear in both cases. Image processing by the image processing device 100 will be specifically described below.

図６は、第１カメラ５３の第１撮影画像の一例を説明するための図である。患者の口腔内を中心に照明装置１９によって光が照射された状態で、第１カメラ５３は、口腔の中心部分に露出を合わせて患者を撮影する。具体的には、第１カメラ５３は、照明装置１９の光によって明るく照らされた口腔の中心部分を明確に撮影するように、露出を小さくすることで、第１カメラ５３の撮像素子（イメージングセンサ）に取り込まれる光の量を所定量以下に調整する。 FIG. 6 is a diagram for explaining an example of the first image taken by the first camera 53. With light irradiated by the illumination device 19 mainly on the inside of the patient's oral cavity, the first camera 53 photographs the patient with exposure adjusted to the center of the oral cavity. Specifically, the first camera 53 reduces the exposure so as to clearly photograph the central part of the oral cavity that is brightly illuminated by the light of the illumination device 19. ) adjust the amount of light taken in to a predetermined amount or less.

これにより、図６に示すように、第１撮影画像においては、照明装置１９の光が照射された口腔の中心部分が中心部分以外よりも明確に示される。一方、口腔の中心部分以外は、照明装置１９の光が照射されず、かつ、第１カメラ５３の露出も小さく設定されているため、第１撮影画像においては、口腔の中心部分以外が中心部分よりも暗くなるように示される。 As a result, as shown in FIG. 6, in the first photographed image, the central portion of the oral cavity irradiated with the light from the illumination device 19 is shown more clearly than the other portions. On the other hand, since the light of the illumination device 19 is not irradiated to areas other than the center part of the oral cavity, and the exposure of the first camera 53 is set small, in the first photographed image, the center part other than the center part of the oral cavity is not illuminated. It is shown to be darker than the

図７は、第２カメラ５４の第２撮影画像の一例を説明するための図である。患者の口腔内を中心に照明装置１９によって光が照射された状態で、第２カメラ５４は、口腔の中心部分以外に露出を合わせて患者を撮影する。具体的には、第２カメラ５４は、照明装置１９によって光が照射されていない口腔の中心部分以外を明確に撮影するように、露出を大きくすることで、第２カメラ５４の撮像素子（イメージングセンサ）に取り込まれる光の量を所定量以上に調整する。より具体的には、第２カメラ５４の露出は、第１カメラ５３の露出よりも大きくなるように露出が調整される。 FIG. 7 is a diagram for explaining an example of the second image taken by the second camera 54. With the illumination device 19 irradiating the patient's oral cavity with light, the second camera 54 photographs the patient with exposure set to areas other than the center of the oral cavity. Specifically, the second camera 54 increases the exposure so as to clearly photograph areas other than the central part of the oral cavity that is not irradiated with light by the illumination device 19. adjust the amount of light taken into the sensor) to a predetermined amount or more. More specifically, the exposure of the second camera 54 is adjusted to be greater than the exposure of the first camera 53.

これにより、図７に示すように、第２撮影画像においては、照明装置１９の光が照射されていない口腔の中心部分以外が中心部分よりも明確に示される。一方、口腔の中心部分は、照明装置１９の光が照射され、かつ、第２カメラ５４の露出も大きく設定されているため、第２撮影画像においては、口腔の中心部分が中心部分以外よりも白くなるように示される。すなわち、口腔の中心部分は、ハレーションが生じている。 As a result, as shown in FIG. 7, in the second photographed image, parts other than the central part of the oral cavity that are not irradiated with light from the illumination device 19 are shown more clearly than the central part. On the other hand, the center part of the oral cavity is illuminated with light from the illumination device 19, and the exposure of the second camera 54 is also set to a large value. Shown as white. That is, halation occurs in the center of the oral cavity.

図８は、第１カメラ５３の第１撮影画像と第２カメラ５４の第２撮影画像とを合成した合成画像の一例を説明するための図である。図８に示すように、画像処理装置１００は、第１撮影画像（図８（Ａ）の画像）と、第２撮影画像（図８（Ｂ）の画像）とを合成する。具体的には、画像処理装置１００は、第１撮影画像および第２撮影画像の各々において、左上の端を原点としてＸ軸およびＹ軸からなる仮想のピクセル座標を設定する。画像処理装置１００は、ピクセル座標の原点を基準に合わせるようにして、第１撮影画像と第２撮影画像とを合成することで、合成画像（図８（Ｃ）の画像）を生成する。 FIG. 8 is a diagram for explaining an example of a composite image obtained by combining the first image captured by the first camera 53 and the second image captured by the second camera 54. As shown in FIG. 8, the image processing device 100 combines a first captured image (the image in FIG. 8(A)) and a second captured image (the image in FIG. 8(B)). Specifically, the image processing device 100 sets virtual pixel coordinates consisting of an X axis and a Y axis with the upper left corner as the origin in each of the first captured image and the second captured image. The image processing device 100 generates a composite image (the image in FIG. 8C) by combining the first captured image and the second captured image so that the origin of the pixel coordinates is aligned with the reference.

画像処理装置１００は、第１撮影画像のハレーションが発生していない口腔の中心部分（第１部分、たとえば口腔の内側部分）を検出し、第２撮影画像のハレーションが発生していない口腔の中心部分以外（第２部分、たとえば口腔の外側部分）を検出し、それぞれの画像を上述の基準に基づいて合わせつつ、検出した第１部分および第２部分を残し、それら以外の部分を除去することで、第１撮影画像と第２撮影画像とを合成する。また、第１撮影画像および第２撮影画像の各々においてハレーションが発生している部分は、ハレーションが発生していない第１部分や第２部分と比較して画素値が大きく異なる。このため、画像処理装置１００は、画素値が大きく変化する部分に基づいて、上述したような第１部分および第２部分の検出を行う。第１カメラ５３および第２カメラ５４は、同じ照明装置１９に取り付けられているが、第１カメラ５３と第２カメラ５４とで照明装置１９に対する取り付け位置が多少異なるため、第１カメラ５３と第２カメラ５４とで口腔に対する光軸の角度が微妙に異なっている。このため、画像処理装置１００は、第１撮影画像および第２撮影画像のうちの少なくとも１つについて、視点変換の補正を行うことで、第１撮影画像と第２撮影画像とで同じ光軸のカメラが撮影したような画像を生成してもよい。 The image processing device 100 detects the center part of the oral cavity where halation does not occur in the first captured image (the first part, for example, the inner part of the oral cavity), and detects the center part of the oral cavity where halation does not occur in the second captured image. Detecting a part other than the part (a second part, for example, the outer part of the oral cavity) and aligning the respective images based on the above-mentioned criteria, leaving the detected first part and second part and removing the other part. Then, the first photographed image and the second photographed image are combined. Further, in each of the first photographed image and the second photographed image, the portion where halation occurs has a significantly different pixel value compared to the first portion and the second portion where halation does not occur. For this reason, the image processing device 100 detects the first portion and the second portion as described above based on the portion where the pixel value changes significantly. The first camera 53 and the second camera 54 are attached to the same illumination device 19, but since the first camera 53 and the second camera 54 are attached to the illumination device 19 at slightly different positions, the first camera 53 and the second camera 54 are attached to the same illumination device 19. The angles of the optical axes relative to the oral cavity are slightly different between the two cameras 54. Therefore, the image processing device 100 corrects the viewpoint conversion for at least one of the first captured image and the second captured image, so that the first captured image and the second captured image have the same optical axis. An image that looks like a camera may be generated.

図８（Ｃ）に示すように、第１撮影画像によって明確に示された口腔の中心部分（すなわち、ハレーションが発生していない部分）と、第２撮影画像によって明確に示された口腔の中心部分以外（すなわち、ハレーションが発生していない部分）とが合わさることで、合成画像においては、患者の口腔の中心部分（すなわち、ハレーションが発生していない部分）を含む顔全体および顔の周辺部分が明確に示される。画像処理装置１００は、画像認識によって、このような合成画像に含まれる特徴量を抽出することで、図４の例で示したように、患者の周辺における診療器具の位置を特定可能な推定用データ（患者画像データ）を推定することができる。 As shown in FIG. 8(C), the center of the oral cavity clearly shown in the first photographed image (i.e., the part where no halation occurs) and the center of the oral cavity clearly shown in the second photographed image. By combining other parts (i.e., parts where halation does not occur), the composite image includes the entire face including the central part of the patient's oral cavity (i.e., the part where halation does not occur) and the peripheral parts of the face. is clearly shown. The image processing device 100 uses image recognition to extract feature amounts included in such a composite image, thereby generating an estimation method that can identify the position of medical instruments around a patient, as shown in the example of FIG. data (patient image data) can be estimated.

＜画像処理装置の機能構成＞
図９は、本実施の形態に係る画像処理装置１００の機能構成を示すブロック図である。図９に示すように、画像処理装置１００は、主な機能部として、入力部１１０１と、画像処理部１１０２と、記憶部１１０３とを備える。なお、入力部１１０１は、通信装置１０１の機能部であり、画像処理部１１０２は、演算装置１０２の機能部であり、記憶部１１０３は、記憶装置１０３の機能部である。 <Functional configuration of image processing device>
FIG. 9 is a block diagram showing the functional configuration of image processing apparatus 100 according to this embodiment. As shown in FIG. 9, the image processing apparatus 100 includes an input section 1101, an image processing section 1102, and a storage section 1103 as main functional sections. Note that the input unit 1101 is a functional unit of the communication device 101 , the image processing unit 1102 is a functional unit of the arithmetic device 102 , and the storage unit 1103 is a functional unit of the storage device 103 .

入力部１１０１は、第１撮影部５０１による撮影によって得られた第１撮影画像を取得する。第１撮影部５０１は、第１カメラ５３の機能部である。第１撮影部５０１は、時系列で患者を撮影し、入力部１１０１には、第１撮影部５０１から時系列で撮影された複数の第１撮影画像が時系列に入力される。 The input unit 1101 acquires a first photographed image obtained by photographing by the first photographing unit 501. The first photographing section 501 is a functional section of the first camera 53. The first imaging unit 501 photographs the patient in chronological order, and a plurality of first photographed images taken in chronological order from the first imaging unit 501 are input in chronological order to the input unit 1101.

入力部１１０１は、第２撮影部５０２による撮影によって得られた第２撮影画像を取得する。第２撮影部５０２は、第２カメラ５４の機能部である。第２撮影部５０２は、時系列で患者を撮影し、入力部１１０１には、第２撮影部５０２から時系列で撮影された複数の第２撮影画像が時系列に入力される。 The input unit 1101 acquires a second photographed image obtained by photographing by the second photographing unit 502. The second photographing section 502 is a functional section of the second camera 54. The second imaging unit 502 photographs the patient in chronological order, and a plurality of second photographed images taken in chronological order are input to the input unit 1101 in chronological order from the second imaging unit 502.

画像処理部１１０２は、入力部１１０１に入力される第１撮影画像と第２撮影画像とを合成する。画像処理部１１０２は、記憶装置１０３における揮発性の第１記憶領域において、第１撮影画像と第２撮影画像とを合成する。具体的には、画像処理部１１０２は、第１記憶領域において過去の記憶情報を上書きしながら第１撮影画像と第２撮影画像とを合成する。一方、画像処理部１１０２は、合成によって得られた合成画像を、記憶装置１０３における不揮発性の第２記憶領域に蓄積して記憶する。 The image processing unit 1102 combines the first captured image and the second captured image input to the input unit 1101. The image processing unit 1102 combines the first captured image and the second captured image in a volatile first storage area of the storage device 103. Specifically, the image processing unit 1102 combines the first captured image and the second captured image while overwriting past stored information in the first storage area. On the other hand, the image processing unit 1102 accumulates and stores the composite image obtained by the composition in a non-volatile second storage area in the storage device 103.

これにより、揮発性の第１記憶領域においては過去の記憶情報が残らないため、記憶装置１０３が記憶するデータ量の増大を抑えることができる。さらに、不揮発性の第２記憶領域においては加工後の撮影画像を蓄積して記憶することができる。 As a result, past storage information does not remain in the volatile first storage area, so it is possible to suppress an increase in the amount of data stored in the storage device 103. Further, in the non-volatile second storage area, processed photographed images can be accumulated and stored.

＜画像処理装置の画像処理＞
図１０を参照しながら、画像処理装置１００が実行する画像処理について説明する。図１０は、本実施の形態に係る画像処理装置１００が実行する画像処理の一例を説明するためのフローチャートである。図１０に示す各ステップ（以下、「Ｓ」で示す。）は、画像処理装置１００の演算装置１０２が画像処理プログラム１４２を実行することで実現される。なお、画像処理装置１００は、診療中に限らず画像処理を常に繰り返し実行してもよいし、患者がチェア１１に座った後に画像処理を繰り返し実行してもよいし、患者がチェア１１に座って診療が開始された後に画像処理を繰り返し実行してもよい。 <Image processing of image processing device>
Image processing performed by the image processing apparatus 100 will be described with reference to FIG. 10. FIG. 10 is a flowchart for explaining an example of image processing performed by image processing apparatus 100 according to the present embodiment. Each step (hereinafter referred to as "S") shown in FIG. 10 is realized by the arithmetic unit 102 of the image processing apparatus 100 executing the image processing program 142. Note that the image processing device 100 may repeatedly perform image processing not only during medical treatment, but may repeatedly perform image processing after the patient has sat on the chair 11, or may repeatedly perform image processing after the patient has sat on the chair 11. Image processing may be repeatedly performed after medical treatment has started.

図１０に示すように、画像処理装置１００は、第１カメラ５３から第１撮影画像を取得するとともに、第２カメラ５４から第２撮影画像を取得する（Ｓ１）。図６で示したように、第１撮影画像は、第１カメラ５３によって口腔の中心部分に露出を合わせて撮影された画像である。図７で示したように、第２撮影画像は、第２カメラ５４によって口腔の中心部分以外に露出を合わせて撮影された画像である。 As shown in FIG. 10, the image processing device 100 acquires a first photographed image from the first camera 53 and acquires a second photographed image from the second camera 54 (S1). As shown in FIG. 6, the first captured image is an image captured by the first camera 53 with exposure adjusted to the center of the oral cavity. As shown in FIG. 7, the second captured image is an image captured by the second camera 54 with exposure set to a region other than the center of the oral cavity.

画像処理装置１００は、第１撮影画像および第２撮影画像の各々において仮想のピクセル座標を設定し、ピクセル座標の原点を合わせるようにして、第１撮影画像と第２撮影画像とを合成する（Ｓ３）。 The image processing device 100 sets virtual pixel coordinates in each of the first captured image and the second captured image, and combines the first captured image and the second captured image by aligning the origins of the pixel coordinates ( S3).

画像処理装置１００は、第１撮影画像と第２撮影画像とを合成した後、その合成画像を記憶装置１０３に蓄積して記憶し（Ｓ３）、本処理フローを終了する。 After combining the first photographed image and the second photographed image, the image processing device 100 accumulates and stores the combined image in the storage device 103 (S3), and ends this processing flow.

以上のように、画像処理装置１００は、チェア１１に横たわる患者の口腔内を中心に照明装置１９によって光が照射された状態で患者を上方から撮影した場合に、第１カメラ５３によって口腔の中心部分に露出を合わせて撮影された第１撮影画像と、第２カメラ５４によって口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを合成することによって、口腔の中心部分および中心部分以外のいずれにおいても露出が調整された撮影画像を得ることができる。これにより、光が照射された状態であっても適切に患者を撮影することができる。 As described above, when the image processing apparatus 100 photographs the patient lying on the chair 11 from above with the patient's oral cavity being irradiated with light by the illumination device 19, the first camera 53 uses the center of the oral cavity. By combining the first photographed image taken with the exposure adjusted to the central part of the oral cavity and the second photographed image taken by the second camera 54 with the exposure adjusted to the part other than the central part of the oral cavity, the central part of the oral cavity and the center It is possible to obtain a photographed image in which the exposure is adjusted in any part other than the part. Thereby, it is possible to appropriately photograph the patient even when the patient is irradiated with light.

＜変形例＞
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。 <Modified example>
The present disclosure is not limited to the above embodiments, and various modifications and applications are possible. Modifications applicable to the present disclosure will be described below.

[患者カメラについて]
本実施の形態においては、画像処理システム１０００は、照明装置１９に取り付けられた患者カメラとして、第１カメラ５３および第２カメラ５４といった２つの患者カメラを備えていた。しかしながら、画像処理システム１０００は、照明装置１９に取り付けられた患者カメラとして、３つ以上の患者カメラを備えていてもよい。たとえば、画像処理システム１０００は、口腔の中心部分に露出を合わせて撮影する患者カメラとして、１または複数の第１カメラ５３を備えていてもよいし、口腔の中心部分以外に露出を合わせて撮影する患者カメラとして、１または複数の第２カメラ５４を備えていてもよい。さらに、画像処理装置１００は、１または複数の第１カメラ５３の撮影によって得られた１または複数の第１撮影画像と、１または複数の第２カメラ５４の撮影によって得られた１または複数の第２撮影画像とを合成してもよい。 [About patient camera]
In this embodiment, the image processing system 1000 includes two patient cameras, a first camera 53 and a second camera 54, which are attached to the illumination device 19. However, the image processing system 1000 may include three or more patient cameras attached to the illumination device 19. For example, the image processing system 1000 may include one or more first cameras 53 as patient cameras that take pictures with exposure adjusted to the center of the oral cavity, or may include one or more first cameras 53 that take pictures with exposure adjusted to areas other than the center of the oral cavity. One or more second cameras 54 may be provided as patient cameras. Further, the image processing device 100 uses one or more first photographed images obtained by photographing by one or more first cameras 53 and one or more first photographed images obtained by photographing by one or more second cameras 54. It may also be combined with the second photographed image.

さらに、画像処理システム１０００は、照明装置１９に取り付けられた患者カメラとして、１つの患者カメラを備えていてもよい。すなわち、第１撮影画像および第２撮影画像は、一の患者カメラの撮影によって得られた撮影画像であってもよい。 Further, the image processing system 1000 may include one patient camera attached to the illumination device 19. That is, the first photographed image and the second photographed image may be photographed images obtained by photographing with one patient camera.

たとえば、図１１は、変形例に係る患者カメラの撮影態様を説明するための図である。図１１に示すように、照明装置１９に取り付けられた一の患者カメラは、タイミングｔ１で第１撮影画像を取得し、ｔ１からΔｔ後のタイミングｔ２で第２撮影画像を取得し、ｔ２からΔｔ後のタイミングｔ３で第１撮影画像を取得し、ｔ３からΔｔ後のタイミングｔ４で第１撮影画像を取得するといったように、第１撮影画像と第２撮影画像とを時系列で交互に（時分割で）取得してもよい。さらに、画像処理装置１００は、一の患者カメラの撮影によって時系列で得られた第１撮影画像と、第２撮影画像とを合成してもよい。 For example, FIG. 11 is a diagram for explaining an imaging mode of a patient camera according to a modified example. As shown in FIG. 11, one patient camera attached to the illumination device 19 acquires a first photographed image at timing t1, acquires a second photographed image at timing t2 after Δt from t1, and acquires a second photographed image at timing t2 from t2 to Δt. The first captured image and the second captured image are acquired alternately in chronological order (time-series), such as acquiring the first captured image at later timing t3, and acquiring the first captured image at timing t4 after Δt from t3. may be acquired (in parts). Further, the image processing device 100 may combine a first captured image and a second captured image obtained in time series by one patient camera.

さらに、画像処理装置１００は、画像として重要度が比較的高い口腔の中心部分が明確な第１撮影画像の取得を第１所定回数（たとえば、３回）に亘って行い、Δｔ後のタイミングで、重要度が比較的低い口腔の中心部分以外が明確な第２撮影画像の取得を第１所定回数よりも少ない第２所定回数（たとえば、１回）に亘って行い、このような取得を繰り返してもよい。第１所定回数および第２所定回数の各々はそれぞれ予め設定され得る。 Furthermore, the image processing device 100 acquires the first photographed image in which the central part of the oral cavity, which is relatively important as an image, is clear for a first predetermined number of times (for example, three times), and at a timing after Δt. , acquiring a second photographed image in which areas other than the central part of the oral cavity, which is relatively low in importance, are clear is acquired over a second predetermined number of times (for example, once) that is smaller than the first predetermined number of times, and such acquisition is repeated. You can. Each of the first predetermined number of times and the second predetermined number of times may be set in advance.

また、画像処理装置１００は、第１撮影画像および第２撮影画像の取得について、各々の画像を交互に１回ずつ取得する第１モードを基本としつつ、第１所定タイミング（たとええば、診療器具１５におけるエアハンドピースなどの制御開始タイミング）で、上述したように、第１所定回数および第２所定回数のそれぞれで第１撮影画像および第２撮影画像を取得する第２モードへ移行してもよい。画像処理装置１００は、このように撮影画像の取得を動的に変化させれば、診療器具１５によって口腔の中心部分の診療が開始されるタイミングで、第１撮影画像の取得量（情報量）を多くするできるため、診療箇所の様子を示す動画の画質を向上させることができる。 The image processing apparatus 100 also acquires the first photographed image and the second photographed image based on a first mode in which each image is acquired alternately once, and at a first predetermined timing (for example, when a medical instrument 15), as described above, even if the mode shifts to the second mode in which the first captured image and the second captured image are acquired each of the first predetermined number of times and the second predetermined number of times. good. By dynamically changing the acquisition of photographed images in this way, the image processing device 100 can increase the amount of acquisition (information amount) of the first photographed image at the timing when the treatment of the central part of the oral cavity is started using the medical instrument 15. Since the number of images can be increased, the image quality of the video showing the state of the medical treatment area can be improved.

さらに、画像処理装置１００は、第２モードが継続している状態において、第２所定タイミング（たとえば、診療器具１５におけるエアタービンなどの制御が停止し、その停止から所定期間（たとえば、２分）経過したタイミング）で、第１モードへ移行してもよい。診療器具１５の制御の停止が継続している状態は、口腔の中心部分の診療が終了または中断していると推定できるため、口腔の中心部分以外の状況も比較的重要度が高くなっている。画像処理装置１００は、このような状況において第２モードから第１モードへ移行させれば、第２撮影画像の取得量（情報量）を多くするできるため、口腔の中心部分以外の様子を示す動画の画質を向上させることができる。 Furthermore, while the second mode continues, the image processing apparatus 100 can be configured to operate at a second predetermined timing (for example, when the control of the air turbine in the medical instrument 15 is stopped, and for a predetermined period of time (for example, 2 minutes) from the stoppage). (the timing that has elapsed), the transition may be made to the first mode. If the control of the medical instrument 15 continues to stop, it can be assumed that the medical treatment of the central part of the oral cavity has been completed or interrupted, so the situation other than the central part of the oral cavity is also relatively important. . If the image processing device 100 shifts from the second mode to the first mode in such a situation, the amount of acquired second captured images (information amount) can be increased, so that the image processing device 100 can increase the amount of acquired second captured images (amount of information). You can improve the image quality of videos.

[撮影画像の合成について]
本実施の形態においては、図８に示すように、画像処理装置１００は、ピクセル座標の原点を合わせるようにして、第１撮影画像と第２撮影画像とを合成していた。しかしながら、画像処理装置１００は、第１撮影画像に含まれるランドマークとなる特定部分と、第２撮影画像に含まれるランドマークとなる特定部分とを合わせることで、第１撮影画像と第２撮影画像とを合成してもよい。 [About combining captured images]
In the present embodiment, as shown in FIG. 8, the image processing device 100 synthesizes the first captured image and the second captured image by aligning the origins of the pixel coordinates. However, the image processing device 100 can combine the specific portion that is a landmark included in the first captured image with the specific portion that is a landmark included in the second captured image, so that the first captured image and the second captured image can be combined. It may also be combined with an image.

たとえば、画像処理装置１００は、第１撮影画像に含まれる患者の顔の特定部分と第２撮影画像に含まれる患者の顔の特定部分とを合わせることで、第１撮影画像と第２撮影画像とを合成してもよい。特定部分は、たとえば、患者の顔の輪郭、目、鼻、および口のうち、少なくともいずれか１つを含む。たとえば、画像処理装置１００は、第１撮影画像に基づき画像認識を行うことで、患者の顔の輪郭を検出し、第２撮影画像に基づき画像認識を行うことで、患者の顔の輪郭を検出してもよい。そして、画像処理装置１００は、第１撮影画像から検出した患者の顔の輪郭と、第２撮影画像から検出した患者の顔の輪郭とを合わせることで、第１撮影画像と第２撮影画像とを合成してもよい。 For example, the image processing device 100 combines the specific part of the patient's face included in the first captured image with the specific part of the patient's face included in the second captured image, so that the first captured image and the second captured image are combined. You may also synthesize. The specific portion includes, for example, at least one of the outline of the patient's face, eyes, nose, and mouth. For example, the image processing device 100 performs image recognition based on the first captured image to detect the outline of the patient's face, and performs image recognition based on the second captured image to detect the outline of the patient's face. You may. Then, the image processing device 100 combines the contour of the patient's face detected from the first photographed image with the contour of the patient's face detected from the second photographed image, thereby forming the first photographed image and the second photographed image. may be synthesized.

[画像処理装置について]
本実施の形態においては、画像処理装置１００は、診療装置１が設置された診療空間内に配置されていたが、診療空間内に設置されたサーバであってもよい。この場合、画像処理装置１００は、診療空間内に設置された複数の診療装置１に接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、画像処理装置１００による機械学習の頻度が上がり、画像処理装置１００は、より精度良く診療内容を推定することができる。 [About the image processing device]
In this embodiment, the image processing device 100 is placed in the medical treatment space where the medical treatment device 1 is installed, but it may be a server installed in the medical treatment space. In this case, the image processing device 100 is connected to a plurality of medical treatment devices 1 installed in a medical treatment space, and calculates treatment contents or medical treatment contents for each of the plurality of medical treatment devices 1 based on image-related data and medical treatment-related data. It may be estimated. In this way, the frequency of machine learning by the image processing device 100 increases, and the image processing device 100 can estimate the medical treatment details with higher accuracy.

画像処理装置１００は、診療装置１が設置された診療空間外に設置されたサーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、画像処理装置１００は、診療空間内に設置された複数の診療装置１に接続されるとともに、他の歯科医院に設置された複数の診療装置１にも接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、画像処理装置１００による機械学習の頻度がさらに上がり、画像処理装置１００は、より精度良く診療内容を推定することができる。また、推定精度が十分な推定モデルを不必要にチューニングして過学習させないようにすることができる。画像処理装置１００がクラウドコンピューティングの態様で収集した大量のデータを用いて機械学習を行えば、少量のデータを用いて機械学習を行うよりも、過学習を抑制することができる。 The image processing device 100 may exist in the form of cloud computing, such as a server installed outside the medical treatment space where the medical treatment device 1 is installed. In this case, the image processing device 100 is connected to a plurality of medical treatment devices 1 installed in a medical treatment space, and is also connected to a plurality of medical treatment devices 1 installed in other dental clinics. 1, the treatment content or medical treatment content may be estimated based on the image-related data and the medical care-related data. In this way, the frequency of machine learning performed by the image processing device 100 is further increased, and the image processing device 100 is able to estimate the contents of medical treatment with higher accuracy. Moreover, it is possible to prevent overfitting by unnecessarily tuning an estimation model with sufficient estimation accuracy. If the image processing device 100 performs machine learning using a large amount of data collected in the form of cloud computing, overlearning can be suppressed more than performing machine learning using a small amount of data.

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。 The embodiments disclosed this time should be considered to be illustrative in all respects and not restrictive. The scope of the present disclosure is indicated by the claims rather than the above description, and it is intended that all changes within the meaning and range equivalent to the claims are included. Note that the configurations exemplified in this embodiment and the configurations exemplified in the modified examples can be combined as appropriate.

１ 診療装置、５ ポール、６ アーム、１１ チェア、１１ａ ヘッドレスト、１１ｂ 背もたれ、１１ｃ 座面シート、１１ｄ 足置き台、１２ ベースンユニット、１２ａ 鉢、１２ｂ コップ台、１２ｃ 給水栓、１３ トレーテーブル、１４ 器具ホルダ、１５ 診療器具、１６ フットコントローラ、１７ ディスプレイ、１８ 操作パネル、１９ 照明装置、２１ 器具制御装置、２２ 表示制御装置、３０ トレー、３２ 音制御装置、３５ スピーカ、５１ トレーカメラ、５２ 全体カメラ、５３ 第１カメラ、５４ 第２カメラ、１００ 画像処理装置、１０１ 通信装置、１０２ 演算装置、１０３ 記憶装置、１１０ 表示装置、１１１ チェア制御部、１２１ ベースン制御部、１２２ 照明制御部、１２３ 蓄積部、１２４ 通信部、１４１ 推定プログラム、１４２ 画像処理プログラム、１６１ 推定モデル、１９０ 照明部、２１１ 器具制御部、２２１ ディスプレイ制御部、２２２ パネル制御部、３２１ 音制御部、５０１ 第１撮影部、５０２ 第２撮影部、１０００ 画像処理システム、１１０１ 入力部、１１０２ 画像処理部、１１０３ 記憶部。 1 Medical equipment, 5 Pole, 6 Arm, 11 Chair, 11a Headrest, 11b Backrest, 11c Seat, 11d Footrest, 12 Basin unit, 12a Bowl, 12b Cup stand, 12c Water faucet, 13 Tray table, 14 Apparatus holder, 15 medical equipment, 16 foot controller, 17 display, 18 operation panel, 19 lighting device, 21 instrument control device, 22 display control device, 30 tray, 32 sound control device, 35 speaker, 51 tray camera, 52 general camera, 53 first camera, 54 second camera, 100 image processing device, 101 communication device, 102 arithmetic device, 103 storage device, 110 display device, 111 chair control section, 121 basin control section, 122 illumination control section, 123 storage section, Reference Signs List 124 communication unit, 141 estimation program, 142 image processing program, 161 estimation model, 190 lighting unit, 211 instrument control unit, 221 display control unit, 222 panel control unit, 321 sound control unit, 501 first imaging unit, 502 second Photographing unit, 1000 Image processing system, 1101 Input unit, 1102 Image processing unit, 1103 Storage unit.

Claims (10)

画像を処理する画像処理装置であって、
歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で前記患者を上方から撮影して得られた複数の撮影画像が入力される入力部と、
前記複数の撮影画像を処理する画像処理部とを備え、
前記複数の撮影画像は、前記口腔の中心部分に露出を合わせて撮影された第１撮影画像と、前記口腔の前記中心部分以外の部分に露出を合わせて撮影された第２撮影画像とを含み、
前記画像処理部は、前記第１撮影画像と前記第２撮影画像とを合成する、画像処理装置。 An image processing device that processes an image,
an input unit into which a plurality of photographed images obtained by photographing the patient from above while the patient's oral cavity is irradiated with light by a lighting device while lying on a dental chair;
an image processing unit that processes the plurality of captured images,
The plurality of photographed images include a first photographed image photographed with exposure adjusted to a central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity. ,
The image processing unit is an image processing device that combines the first captured image and the second captured image. 前記第１撮影画像は、第１カメラによって撮影された撮影画像であり、
前記第２撮影画像は、第２カメラによって撮影された撮影画像である、請求項１に記載の画像処理装置。 The first photographed image is a photographed image photographed by a first camera,
The image processing device according to claim 1, wherein the second photographed image is a photographed image photographed by a second camera. 前記第１撮影画像および前記第２撮影画像は、一のカメラによって撮影された撮影画像であり、
前記一のカメラは、前記第１撮影画像と前記第２撮影画像とを時系列で交互に取得する、請求項１に記載の画像処理装置。 The first photographed image and the second photographed image are photographed images photographed by one camera,
The image processing device according to claim 1, wherein the one camera acquires the first captured image and the second captured image alternately in time series. 前記画像処理部は、前記第１撮影画像に含まれる前記患者の顔の特定部分と前記第２撮影画像に含まれる前記顔の前記特定部分とを合わせることで、前記第１撮影画像と前記第２撮影画像とを合成する、請求項１～請求項３のいずれか１項に記載の画像処理装置。 The image processing unit is configured to combine the specific part of the patient's face included in the first captured image with the specific part of the face included in the second captured image, thereby combining the first captured image and the second captured image. The image processing device according to any one of claims 1 to 3, which combines two captured images. 前記特定部分は、前記顔の輪郭、目、鼻、および口のうち、少なくともいずれか１つを含む、請求項４に記載の画像処理装置。 The image processing device according to claim 4, wherein the specific portion includes at least one of the outline of the face, eyes, nose, and mouth. 記憶装置をさらに備え、
前記記憶装置は、揮発性の第１記憶領域と、不揮発性の第２記憶領域とを含み、
前記画像処理部は、
前記第１記憶領域において過去の記憶情報を上書きしながら前記第１撮影画像と前記第２撮影画像とを合成し、
合成後の撮影画像を前記第２記憶領域に蓄積して記憶する、請求項１～請求項５のいずれか１項に記載の画像処理装置。 further equipped with a storage device,
The storage device includes a volatile first storage area and a nonvolatile second storage area,
The image processing unit includes:
combining the first photographed image and the second photographed image while overwriting past stored information in the first storage area;
The image processing device according to any one of claims 1 to 5, wherein the combined photographed image is accumulated and stored in the second storage area. 前記第１撮影画像および前記第２撮影画像の各々は、イメージングデバイスを搭載したカメラによって撮影された撮影画像である、請求項１～請求項６のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein each of the first captured image and the second captured image is a captured image captured by a camera equipped with an imaging device. 画像を処理する画像処理システムであって、
歯科用の診療椅子に横たわる患者の口腔内を中心に光を照射する照明装置と、
前記照明装置によって光が照射された状態で前記患者を上方から撮影する少なくとも１つのカメラと、
前記患者の撮影画像を処理する画像処理装置とを備え、
前記少なくとも１つのカメラは、
前記口腔の中心部分に露出を合わせて前記患者を撮影する第１撮影部と、
前記口腔の前記中心部分以外に露出を合わせて前記患者を撮影する第２撮影部とを備え、
前記画像処理装置は、前記第１撮影部によって撮影された第１撮影画像と前記第２撮影部によって撮影された第２撮影画像とを合成する、画像処理システム。 An image processing system that processes images,
A lighting device that emits light mainly into the oral cavity of a patient lying on a dental chair;
at least one camera that photographs the patient from above while irradiated with light by the illumination device;
an image processing device that processes the photographed image of the patient;
The at least one camera includes:
a first imaging unit that photographs the patient with exposure adjusted to a central portion of the oral cavity;
a second imaging unit that photographs the patient with exposure adjusted to a region other than the central portion of the oral cavity;
The image processing device is an image processing system that combines a first photographed image photographed by the first photographing section and a second photographed image photographed by the second photographing section. コンピュータによる画像を処理する画像処理方法であって、
歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で前記患者を上方から撮影して得られた複数の撮影画像が入力される第１ステップと、
前記複数の撮影画像を処理する第２ステップとを含み、
前記複数の撮影画像は、前記口腔の中心部分に露出を合わせて撮影された第１撮影画像と、前記口腔の前記中心部分以外に露出を合わせて撮影された第２撮影画像とを含み、
前記第２ステップは、前記第１撮影画像と前記第２撮影画像とを合成する、画像処理方法。 An image processing method for processing images by a computer, the method comprising:
A first step in which a plurality of photographed images obtained by photographing the patient from above while the patient's oral cavity is irradiated with light by a lighting device while lying on a dental chair are input;
a second step of processing the plurality of captured images;
The plurality of photographed images include a first photographed image photographed with exposure adjusted to a central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity,
The second step is an image processing method in which the first photographed image and the second photographed image are combined. 画像を処理する画像処理プログラムであって、
前記画像処理プログラムは、コンピュータに、
歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で前記患者を上方から撮影して得られた複数の撮影画像が入力される第１ステップと、
前記複数の撮影画像を処理する第２ステップとを実行させ、
前記複数の撮影画像は、前記口腔の中心部分に露出を合わせて撮影された第１撮影画像と、前記口腔の前記中心部分以外に露出を合わせて撮影された第２撮影画像とを含み、
前記第２ステップは、前記第１撮影画像と前記第２撮影画像とを合成する、画像処理プログラム。 An image processing program that processes images,
The image processing program causes the computer to:
A first step in which a plurality of photographed images obtained by photographing the patient from above while the patient's oral cavity is irradiated with light by a lighting device while lying on a dental chair are input;
executing a second step of processing the plurality of captured images;
The plurality of photographed images include a first photographed image photographed with exposure adjusted to a central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity,
The second step is an image processing program that combines the first captured image and the second captured image.
JP2021139890A 2021-08-30 2021-08-30 Image processing device, image processing system, image processing method, image processing program Active JP7428683B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021139890A JP7428683B2 (en) 2021-08-30 2021-08-30 Image processing device, image processing system, image processing method, image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021139890A JP7428683B2 (en) 2021-08-30 2021-08-30 Image processing device, image processing system, image processing method, image processing program

Publications (2)

Publication Number Publication Date
JP2023033923A JP2023033923A (en) 2023-03-13
JP7428683B2 true JP7428683B2 (en) 2024-02-06

Family

ID=85505049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021139890A Active JP7428683B2 (en) 2021-08-30 2021-08-30 Image processing device, image processing system, image processing method, image processing program

Country Status (1)

Country Link
JP (1) JP7428683B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256130A (en) 2011-06-07 2012-12-27 Omron Corp Image processing device, image processing method, and control program
JP2020039808A (en) 2018-09-13 2020-03-19 株式会社モリタ東京製作所 Treatment situation imaging system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256130A (en) 2011-06-07 2012-12-27 Omron Corp Image processing device, image processing method, and control program
JP2020039808A (en) 2018-09-13 2020-03-19 株式会社モリタ東京製作所 Treatment situation imaging system

Also Published As

Publication number Publication date
JP2023033923A (en) 2023-03-13

Similar Documents

Publication Publication Date Title
US10888399B2 (en) Augmented reality enhancements for dental practitioners
EP3760159B1 (en) Method for designing a dental apparatus
US10265149B2 (en) Method and system for modeling the mandibular kinematics of a patient
ES2717447T3 (en) Computer-assisted creation of a habitual tooth preparation using facial analysis
US11229503B2 (en) Implant surgery guiding method
US20160242623A1 (en) Apparatus and method for visualizing data and images and for controlling a medical device through a wearable electronic device
JP2019517864A (en) Dental mirror with integrated camera and its application
JP6777917B1 (en) Estimator, estimation system, estimation method, and estimation program
JP7343470B2 (en) Control device, control method, and control program
JP7428683B2 (en) Image processing device, image processing system, image processing method, image processing program
JP6839678B2 (en) Dental clinic device with assist function
JP6771687B1 (en) Estimator, estimation system, estimation method, and estimation program
JP7421525B2 (en) Image processing device, image processing system, image processing method, image processing program
JP7428634B2 (en) Control device, control method, and control program
JP7496995B2 (en) Estimation device, estimation method, and estimation program
JP7509371B2 (en) Estimation device, estimation method, and estimation program
JP6845923B2 (en) Medical medical equipment
JP2023154642A (en) Data processing device, data processing method, and data processing program
JP2023154641A (en) Data processing device, data processing method, and data processing program
JP6777916B1 (en) Estimator, estimation system, estimation method, and estimation program
JP7381535B2 (en) Detection device, detection method, detection program
KR102236486B1 (en) A electric loupe and diagnosis method using the same
JP2024029381A (en) Data generation device, data generation method and data generation program
CN116172734A (en) Mandibular protrusion repositioning jaw pad and whole-course digital design and manufacturing method thereof
Yee Evaluation of Accuracy of Teeth Surface Registration of Navident, a Dynamic Computer-Guided Navigation System for Placing Dental Implants

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240125

R150 Certificate of patent or registration of utility model

Ref document number: 7428683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150