JP2018019772A - Implant surgery auxiliary system and implant surgery auxiliary method - Google Patents
Implant surgery auxiliary system and implant surgery auxiliary method Download PDFInfo
- Publication number
- JP2018019772A JP2018019772A JP2016151378A JP2016151378A JP2018019772A JP 2018019772 A JP2018019772 A JP 2018019772A JP 2016151378 A JP2016151378 A JP 2016151378A JP 2016151378 A JP2016151378 A JP 2016151378A JP 2018019772 A JP2018019772 A JP 2018019772A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- monitor
- drill
- hmd device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Dental Prosthetics (AREA)
Abstract
Description
本発明は、３次元ＣＴ画像をＷｅｂカメラ等により撮影された術部の実像の画像に重ね合わせて表示してインプラント手術を補助する技術に関する。 The present invention relates to a technique for assisting an implant operation by superimposing and displaying a three-dimensional CT image on a real image of a surgical part taken by a Web camera or the like.
歯科医療においてデンタルインプラント（以下、単に「インプラント」という。）は、欠損歯の補綴治療として知られている。
インプラントは、歯を喪失した患者の口腔内の歯槽骨に埋入されるフィクスチャー（インプラント体、例えばチタン製）と、フィクスチャーに接続されて支台となるアバットメントと、アバットメントに装着される上部構造（人工歯冠）から構成される。
インプラント手術では、フィクスチャーを埋入するための埋入孔を患者の歯槽骨の所定の位置および方向へドリルで正確に穿孔することが重要である。
In dental care, a dental implant (hereinafter simply referred to as “implant”) is known as a prosthetic treatment of a missing tooth.
The implant is attached to a fixture (implant body made of titanium, for example) that is embedded in the alveolar bone in the mouth of a patient who has lost teeth, an abutment that is connected to the fixture, and an abutment It consists of a superstructure (artificial crown).
In implant surgery, it is important to accurately drill a hole for embedding a fixture into a predetermined position and orientation of the patient's alveolar bone.
ＣＴ（コンピュータ断層撮影：Computed Tomography）技術を利用して、ＣＴ装置による撮影で取得した３次元ＣＴ画像データと、高価なシミュレーションソフトウェアを使用することにより、インプラント手術前に妥当なフィクスチャーの埋入位置および埋入方向を予め決定しておくことができる。
ＣＴ画像データでは人体の特定の内部構造を表示することが可能であるため、通常肉眼では把握できない内部構造の形状や位置を参照しながら、患者の歯槽骨の解剖学的形状（歯槽骨の幅、厚みや密度及び神経の走行等）から判断して、外科的に最適と思われる所にフィクスチャーの埋入位置および埋入方向を決定することができる。
By using CT (Computed Tomography) technology, 3D CT image data acquired by CT imaging and expensive simulation software can be used to embed an appropriate fixture before implant surgery. The position and embedding direction can be determined in advance.
Because CT image data can display a specific internal structure of the human body, the anatomical shape of the patient's alveolar bone (the width of the alveolar bone) while referring to the shape and position of the internal structure that cannot be grasped by the naked eye In other words, the position and direction of the fixture can be determined where it is considered to be optimal surgically.
しかし、フィクスチャーを埋入する埋入孔を患者の歯槽骨にドリルで穿孔するには、患者の口腔内でのドリルの３次元的な位置決めが必要となる。
シミュレーションソフトウェアでは、手術台の横に配置されたモニター画面に、シミュレーションイメージ画像を表示するに過ぎなく、施術者（医師等）は、患者の口腔内の術部とモニターとを交互に見ながら、口腔内という狭い環境の中で器具の操作を行わなければならず、モニター画面を見ながら、フリーハンドで患者の歯槽骨の所定の位置および方向へドリルで正確に埋入孔を穿孔することは困難であった。
さらに、モニター画面の表示は平面的であり、シミュレーションイメージ画像と実像の重ね合わせ作業を頭の中で行いながら治療する必要がある。
また、事前に３次元ＣＴ画像でイメージを持ちつつ、実際に開いてみた実像と施術者の頭の中で一致させる重ね合わせ作業を行うにしても、歯槽骨は複雑な形状であり、熟練していない施術者には困難であり、施術者個人のテクニックやノウハウに依存する経験と勘によるところが大きい。
However, three-dimensional positioning of the drill in the patient's oral cavity is required in order to drill a hole for embedding the fixture in the patient's alveolar bone.
The simulation software only displays a simulation image on the monitor screen placed beside the operating table, and the practitioner (doctor, etc.) alternately looks at the surgical site in the patient's mouth and the monitor, It is necessary to operate the instrument in the narrow environment of the oral cavity, and drilling the insertion hole accurately with a drill to the prescribed position and direction of the patient's alveolar bone while watching the monitor screen It was difficult.
Furthermore, the display on the monitor screen is flat, and it is necessary to treat the simulation image and the real image while superposing them in the head.
In addition, the alveolar bone has a complicated shape and is skillful even if superimposition is performed in the head of the practitioner with the real image actually opened while holding an image with a three-dimensional CT image in advance. It is difficult for practitioners who have not, and is largely based on experience and intuition that depends on the practitioners' individual techniques and know-how.
そこで、患者の歯槽骨の所定の位置及び方向へドリルをガイドする案内孔を有する金属製のガイドリングを使用したサージカルガイドを患者の口腔内に装着し、ガイドリングの案内孔にドリルを通して、案内孔に倣ってドリルを進入させることで、患者の歯槽骨の所定の位置および方向へ正確に埋入孔を穿孔することが知られている。
しかし、サージカルガイドを患者の口腔内に装着すると、術野がサージカルガイドで覆われて見えないため、施術者は、ドリルの先端が歯槽骨を削っている部分を目視することができなく、また、埋入孔を穿孔するには、段階的に直径がより大きな数種類のそれぞれのドリルの直径に合わせたガイドリングを設けた数種類のサージカルガイドが必要となり、その分、コストがかさむ。
Therefore, a surgical guide using a metal guide ring having a guide hole for guiding the drill to a predetermined position and direction of the patient's alveolar bone is mounted in the patient's oral cavity, and the guide is guided through the drill through the guide hole of the guide ring. It is known to drill an embedding hole accurately in a predetermined position and direction of a patient's alveolar bone by causing a drill to follow the hole.
However, when the surgical guide is installed in the patient's mouth, the surgical field is covered with the surgical guide and cannot be seen, so the practitioner cannot see the part where the tip of the drill is scraping the alveolar bone, and In order to drill the embedding hole, several types of surgical guides provided with a guide ring adapted to the diameter of each of several types of drills whose diameters are gradually increased are required, which increases the cost.
ここで、関連技術として、ヘッドマウントディスプレイやグラス型ディスプレイを装備した施術者は、患者の口腔内の術部に視線を合わせた状態にて、事前に撮影した患者の３次元ＣＴ画像データを患者の口腔内の術部の実像に重ね合わされたインプラントのシミュレーションイメージ画像を（ＡＲ：Augmented Reality、拡張現実）にて確認することができ、施術者は本来見えないはずの患者の顎の骨などを疑似的に見ることが可能となり、インプラントの埋入位置などの情報を直感的に確認することができる技術がある（特許文献１参照）。 Here, as a related technique, a practitioner equipped with a head-mounted display or a glass-type display is a patient who has taken 3D CT image data of a patient taken in advance in a state in which the line of sight is aligned with the surgical site in the patient's oral cavity. The simulation image of the implant superimposed on the actual image of the surgical site in the oral cavity of the oral cavity (AR: Augmented Reality, augmented reality) can be confirmed, and the practitioner can see the bones of the patient's jaw that should not be seen originally There is a technique that enables pseudo-viewing and intuitively confirming information such as an implant placement position (see Patent Document 1).
しかし、ＡＲマーカー（画像認識型ＡＲシステムにおいて、付加情報を表示する位置を指定するための標識となる決まったパターンの画像）を１本の歯牙に確実・安定的に装着する具体的な技術は開示されていなかった。
また、現状の技術レベルで、かつ、コスト的に廉価な、実際に実現可能なインプラント手術補助システムは現実に市場に提供されることが望まれていた。
本発明は、試行錯誤により到達できた高い水準にあり、単なるアイデアレベルでは実現できない、具体的なシステム・製品として実用に供される現実性・完成度を誇るものである。
However, a specific technique for reliably and stably mounting an AR marker (an image of a predetermined pattern serving as a mark for designating a position for displaying additional information in an image recognition type AR system) on one tooth. It was not disclosed.
Further, it has been desired that an implant operation assistance system that can be actually realized at the current technical level and at a low cost is actually provided to the market.
The present invention is at a high level that can be achieved by trial and error, and is practical and practical as a concrete system / product that cannot be realized at the mere idea level.
本発明の目的は、インプラント手術の安全性や正確性を高めることができるインプラント手術補助システム等を提供することにある。 An object of the present invention is to provide an implant surgery assisting system and the like that can improve the safety and accuracy of implant surgery.
本発明のインプラント手術補助システムは、ＰＣと、有線のＨＭＤ装置と、有線のＷｅｂカメラと、前記ＰＣに接続されたモニターとを備えるインプラント手術補助システムであって、
前記ＰＣは、モックアップと患者の口腔内の３次元ＣＴ画像との位置合わせが行われた基準位置における、前記３次元ＣＴ画像と前記患者のモックアップの１本の歯牙に１個ずつ被せられたキャップに付された白黒色が施された二次元のＡＲマーカーとの３次元位置姿勢を術前に予め紐付けして記憶し、
前記ＰＣは、施術者が装着する有線のＷｅｂカメラにより撮像された術部の実像の画像に含まれる、前記患者の１本の歯牙に１個ずつ被せられた前記キャップに付された前記ＡＲマーカーを追従して、前記ＡＲマーカーに紐付けられた前記３次元ＣＴ画像を、インプラント手術の術中に前記術部の実像の画像に対してリアルタイムで重ね合わせ、該重畳された３次元画像を前記ＰＣに接続されたモニターおよび前記施術者が装着する有線のＨＭＤ装置に表示し、
前記ＰＣは、前記重畳された３次元画像から術前に予め作成された２次元の断面図を前記モニターおよび前記ＨＭＤ装置に表示し、
前記ＰＣは、前記重畳された３次元画像にグリッドを付加して前記モニターおよび前記ＨＭＤ装置に表示し、
前記ＰＣは、前記重畳された３次元画像に前記施術者が歯槽骨に埋入するドリルに対するドリルガイドを付加して前記モニターおよび前記ＨＭＤ装置に表示し、前記ＡＲマーカーが付された前記ドリルの前記術中の位置と前記ドリルガイドとの重なり状態を３次元で判定して前記モニターおよび前記ＨＭＤ装置に表示する。
The implant surgery assistance system of the present invention is an implant surgery assistance system comprising a PC, a wired HMD device, a wired Web camera, and a monitor connected to the PC,
The PCs are placed one by one on one tooth of the three-dimensional CT image and the patient mockup at a reference position where the mockup and the three-dimensional CT image in the patient's mouth are aligned. 3D position and posture with the 2D AR marker with black and white color attached to the cap is stored in advance linked to the preoperative
The PC includes the AR marker attached to the cap, one on each tooth of the patient, which is included in a real image of the surgical part taken by a wired Web camera worn by a practitioner. The three-dimensional CT image associated with the AR marker is superposed in real time on the real image of the surgical site during implant surgery, and the superimposed three-dimensional image is added to the PC. Display on a monitor connected to the device and a wired HMD device worn by the practitioner,
The PC displays, on the monitor and the HMD device, a two-dimensional cross-sectional view created in advance from the superimposed three-dimensional image.
The PC adds a grid to the superimposed three-dimensional image and displays it on the monitor and the HMD device,
The PC adds a drill guide for the drill to be embedded in the alveolar bone by the practitioner to the superimposed three-dimensional image, displays the drill on the monitor and the HMD device, and displays the drill with the AR marker attached thereto. The overlapping state between the intraoperative position and the drill guide is determined in three dimensions and displayed on the monitor and the HMD device.
本発明のインプラント手術補助方法は、ＰＣと、有線のＨＭＤ装置と、有線のＷｅｂカメラと、前記ＰＣに接続されたモニターとを利用したインプラント手術補助方法であって、
前記ＰＣが、モックアップと患者の口腔内の３次元ＣＴ画像との位置合わせが行われた基準位置における、前記３次元ＣＴ画像と前記患者のモックアップの１本の歯牙に１個ずつ被せられたキャップに付された白黒色が施された二次元のＡＲマーカーとの３次元位置姿勢を術前に予め紐付けして記憶するステップと、
前記ＰＣが、施術者が装着する有線のＷｅｂカメラにより撮像された術部の実像の画像に含まれる、前記患者の１本の歯牙に１個ずつ被せられた前記キャップに付された前記ＡＲマーカーを追従して、前記ＡＲマーカーに紐付けられた前記３次元ＣＴ画像を、インプラント手術の術中に前記術部の実像の画像に対してリアルタイムで重ね合わせ、該重畳された３次元画像を前記ＰＣに接続されたモニターおよび前記施術者が装着する有線のＨＭＤ装置に表示するステップと、
前記ＰＣが、前記重畳された３次元画像から術前に予め作成された２次元の断面図を前記モニターおよび前記ＨＭＤ装置に表示するステップと、
前記ＰＣが、前記重畳された３次元画像にグリッドを付加して前記モニターおよび前記ＨＭＤ装置に表示するステップと、
前記ＰＣが、前記重畳された３次元画像に前記施術者が歯槽骨に埋入するドリルに対するドリルガイドを付加して前記モニターおよび前記ＨＭＤ装置に表示し、前記ＡＲマーカーが付された前記ドリルの前記術中の位置と前記ドリルガイドとの重なり状態を３次元で判定して前記モニターおよび前記ＨＭＤ装置に表示するするステップとを有する。
The implant surgery assisting method of the present invention is an implant surgery assisting method using a PC, a wired HMD device, a wired Web camera, and a monitor connected to the PC,
The PC is placed one by one on each tooth of the three-dimensional CT image and the patient mockup at a reference position where the mockup and the three-dimensional CT image in the patient's mouth are aligned. Storing a three-dimensional position and posture with a two-dimensional AR marker with a black and white color attached to the cap in advance and associated before surgery;
The AR marker attached to the cap, one on each tooth of the patient, included in the real image of the surgical site taken by the wired web camera worn by the practitioner The three-dimensional CT image associated with the AR marker is superposed in real time on the real image of the surgical site during implant surgery, and the superimposed three-dimensional image is added to the PC. A display connected to a monitor and a wired HMD device worn by the practitioner;
The PC displaying on the monitor and the HMD device a two-dimensional sectional view created in advance from the superimposed three-dimensional image before surgery;
The PC adding a grid to the superimposed three-dimensional image and displaying it on the monitor and the HMD device;
The PC adds a drill guide for a drill to be embedded in the alveolar bone by the practitioner to the superimposed three-dimensional image and displays the drill on the monitor and the HMD device, and the AR marker is attached to the drill. And determining the overlapping state between the intraoperative position and the drill guide in three dimensions and displaying the same on the monitor and the HMD device.
本発明によれば、インプラント手術の安全性や正確性を高めることができるインプラント手術補助システム等を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the implant surgery assistance system etc. which can improve the safety | security and precision of an implant surgery can be provided.
以下、本発明の実施の形態を図面を参照しつつ説明する。本発明は、インプラント手術時、患者の口腔内の３次元ＣＴ画像をその患者の実際の口腔内の術部の実像にリアルタイムで重ね合わせて描画して表示し、あたかも施術者にＸ線の目を与えたかのような効果を生む技術である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present invention, at the time of implant surgery, a 3D CT image in a patient's oral cavity is superimposed and displayed in real time on a real image of the surgical site in the patient's actual oral cavity. It is a technology that produces the effect of giving
〔システム構成〕
図１に示すように、本実施の形態におけるインプラント手術補助システムＳは、ＰＣ（パーソナル・コンピュータ）１０、施術者の顔部に取り付けられるＨＭＤ装置（３Ｄヘッドマウント型ディスプレイ装置）２０、ＨＭＤ装置２０に接続されたケーブル２１、ＡＲマーカー７０等を測定するＷｅｂカメラ３０、Ｗｅｂカメラ３０に接続されたケーブル３１、ＰＣ１０に接続されたモニター（表示装置）４０、ＣＴ装置５０から構成されている。
これらのハードウェアは一定の性能基準を満たす市販品から自由に選択されることであってよい。したがって、ハードウェアの維持費用ついても、既存の汎用品を使用することにより、従来の高額システムのように、治療ごとに機材を購入することがないため、コスト削減が可能となる。
〔System configuration〕
As shown in FIG. 1, an implant surgery assisting system S according to the present embodiment includes a PC (personal computer) 10, an HMD device (3D head-mounted display device) 20 attached to a practitioner's face, and an HMD device 20. A web camera 30 for measuring the AR marker 70 and the like, a cable 31 connected to the web camera 30, a monitor (display device) 40 connected to the PC 10, and a CT device 50.
These hardware may be freely selected from commercially available products that meet certain performance criteria. Therefore, the cost of maintaining the hardware can be reduced by using an existing general-purpose product without purchasing equipment for each treatment unlike the conventional expensive system.
ＰＣ１０は、中央演算処理装置（ＣＰＵ）、メモリ、ＨＤＤ、キーボート、マウス、タッチパネル等の入力装置を備えている周知の情報処理装置である。処理落ちしない程度の一定以上の処理能力が必要であり、デスクトップ型が好ましい。なお、ＰＣ１０と同様の処理を実行することができる情報処理装置が広く適用可能である。
ＰＣ１０は、プログラムをインストールすることにより実現される。そのプログラムは、メモリに記憶されている。なお、そのプログラムは、周知の各種記憶媒体に記憶することができる。
ＰＣ１０は、モニター４０およびＨＭＤ装置２０に、Ｗｅｂカメラ３０が撮影した患者の口腔内の術部の実像の画像１１０に対して術前に作成された患者の口腔内の３次元ＣＴ画像１２０を重ね合わせ（オーバーレイ、重畳）るように、座標変換処理を行って表示させる。したがって、下顎管や上顎洞といった外科的に重要な指標を術部の実像の画像１１０に重畳して表示することができる。下顎管や上顎洞といった外科的に重要な指標は、さらに２次元ＣＴ画像である断面図１３０に展開することでインプラント手術にはより有益となる。
The PC 10 is a well-known information processing apparatus including an input device such as a central processing unit (CPU), a memory, an HDD, a keyboard, a mouse, and a touch panel. A certain level of processing capacity that does not drop the processing is required, and a desktop type is preferable. Note that an information processing apparatus capable of executing the same processing as the PC 10 is widely applicable.
The PC 10 is realized by installing a program. The program is stored in the memory. The program can be stored in various known storage media.
The PC 10 superimposes on the monitor 40 and the HMD device 20 a three-dimensional CT image 120 in the patient's oral cavity created before the operation on the real image 110 of the surgical site in the patient's oral cavity taken by the Web camera 30. Coordinate conversion processing is performed and displayed so as to match (overlay, superimpose). Therefore, surgically important indices such as the mandibular canal and the maxillary sinus can be displayed superimposed on the real image 110 of the surgical site. Surgically important indices such as the mandibular canal and the maxillary sinus are further developed in a cross-sectional view 130 which is a two-dimensional CT image, which is more useful for implant surgery.
ＨＭＤ装置２０は、ＰＣ１０から出力される、Ｗｅｂカメラ３０が撮影した患者の口腔内の術部の実像の画像１１０に対して術前に作成された患者の口腔内の３次元ＣＴ画像１２０を重ね合わせて重畳表示されたものを見る（すなわち、実像を間接的に見る）ための両目型（片目型もある。）のビデオシースルー型の装置である。ここではフルフェイス型で表すが、メガネ型もある。施術者の顔部に装着して使用される。
なお、施術者の実視野にて術部等の生の実像をシースルーで直接的に見る光学透過型もあるが、リアルタイムにＷｅｂカメラ３０が撮影している患者の口腔内の実像の画像１１０と施術者が現実に視認している生の実像とが完全に一致していることを保証することは現時点の技術水準では困難であるため採用しない。
ＨＭＤ装置２０は、ディスプレイ機能のみとし、ＣＰＵ等を備えないため軽量化が実現されている。
施術者は、インプラント手術の術中に、従来のようにＰＣ１０のモニター４０の画像と見比べる必要がなくなり、時間短縮等が図られる。
ＨＭＤ装置２０は、ケーブル２１のような有線でＰＣ１０と接続されている。有線のため処理による遅延がなく、リアルタイム性を実現することができる。現時点の技術水準では無線の場合では０．５秒などの遅延が生じるため採用しないが、将来的にコスト的にも見合う高い処理能力を実現するＨＷが登場した際には無線であってもよい。
The HMD device 20 superimposes a three-dimensional CT image 120 in the patient's oral cavity created before the operation on a real image 110 of the surgical site in the patient's oral cavity imaged by the Web camera 30 and output from the PC 10. This is a video see-through type device (both one-eye type) for viewing what is superimposed and displayed together (that is, indirectly viewing a real image). Here, a full face type is shown, but there is also a glasses type. Used on the face of the practitioner.
Although there is an optical transmission type in which a live real image of an operation part or the like is directly seen through in a real field of view of a practitioner, a real image 110 in a patient's mouth taken by a Web camera 30 in real time Since it is difficult at the current technical level to ensure that the real image that the practitioner visually recognizes is completely coincident, it is not adopted.
Since the HMD device 20 has only a display function and does not include a CPU or the like, weight reduction is realized.
It is not necessary for the practitioner to compare the image with the monitor 40 of the PC 10 as in the prior art during the implant operation, and the time is shortened.
The HMD device 20 is connected to the PC 10 by a wire such as a cable 21. Because it is wired, there is no delay due to processing, and real-time performance can be realized. At the current technical level, in the case of wireless, a delay of 0.5 seconds or the like occurs, so this is not adopted. However, it may be wireless when an HW that realizes a high processing capacity suitable for cost in the future appears. .
Ｗｅｂカメラ３０は、ＨＭＤ装置２０の上部又は施術者の頭部の付近に装着して使用される小型のリアルタイムカメラである。患者の口腔内の術部の実像の画像１１０を撮像してケーブル３１を介してＰＣ１０に出力する。
術部の実像の画像１１０には、ＡＲマーカー７０も含まれ、ＰＣ１０においてその位置座標（すなわち３次元位置座標（並進：Ｘ，Ｙ，Ｚ））およびその位置座標における姿勢（すなわち、マーカーの向きや傾斜状態などの姿勢）が測定される。
The Web camera 30 is a small real-time camera used by being mounted on the upper part of the HMD device 20 or in the vicinity of the practitioner's head. A real image 110 of the surgical site in the patient's oral cavity is captured and output to the PC 10 via the cable 31.
The real image 110 of the operative part also includes an AR marker 70, and the PC 10 displays its position coordinates (that is, three-dimensional position coordinates (translation: X, Y, Z)) and the posture at the position coordinates (that is, the direction of the marker). And postures such as tilted state).
モニター４０は公知の液晶ディスプレイ等の表示装置であり、ＰＣ１０に接続されている。ＰＣ１０と一体型であってもよい。
モニター４０に表示される画像が同様にＨＭＤ装置２０に画像として出力される。したがって、施術者が術中にＨＭＤ装置２０により見ている画像を、施術者以外の手術スタッフ等にもモニター４０に表示される画像により見ることができ、インプラント手術の様子が確認可能となっている。
The monitor 40 is a known display device such as a liquid crystal display, and is connected to the PC 10. It may be integrated with the PC 10.
Similarly, the image displayed on the monitor 40 is output to the HMD device 20 as an image. Therefore, an image viewed by the practitioner with the HMD device 20 during the operation can be seen by an image displayed on the monitor 40 by a surgical staff other than the practitioner, and the state of the implant operation can be confirmed. .
ＣＴ装置５０は、ＣＴ（コンピュータ断層撮影：Computed Tomography）技術を利用して、
患者の口腔内（例えば、上顎又は／および下顎部）を撮影する公知の装置であり、撮影された断層画像がつなぎ合わされて３次元再構成がなされ３次元ＣＴ画像データ１２０をなす。なお、ＣＴ装置５０は、後述する術前処理にのみ用いられる装置であるので、本インプラント手術補助システムＳの枠組みの外にある装置と捉えることもできる。
The CT apparatus 50 uses CT (Computed Tomography) technology,
This is a known device that images the patient's mouth (for example, the upper jaw and / or the lower jaw), and the tomographic images that have been photographed are stitched together to be three-dimensionally reconstructed to form three-dimensional CT image data 120. In addition, since the CT apparatus 50 is an apparatus used only for pre-operative processing described later, it can also be regarded as an apparatus outside the framework of the present implant surgery assisting system S.
図２に示すように、ＡＲマーカー７０は、３次元位置座標検出用の識別表示である。
ＡＲマーカー７０は、８ｍｍ角のプラスティックの平板（２次元）に、画像処理により認識し易い白黒で所定のマーク（ここでは８×８マス認識）が印刷されている。なお、１０ｍｍ、１２ｍｍ角でもよく、形状は特に限定されない。
ＡＲマーカー７０は、患者の歯牙に被せるキャップ８０に樹脂製の接着剤であるグルーガンにより接着等されて付されている。
ＡＲマーカー７０は、２次元であるため精度よく認識できる。現時点の技術水準では３次元で認識することは困難であり、患者の歯牙そのものをマーカーとするのでは精度がでない。例えば、車などはサイズ的に大きいため数ｃｍの認識のズレが問題なくても、歯科のインプラント手術では１ｍｍのずれが大問題となる。ＡＲにおけるトラッキングは一般的に大きくズレたりブレたりすることがあり、アミューズメント用途（ゲームなど）等と異なり、インプラント手術では、例えば１ｃｍズレると使いものにならなく、非常に高い精度が求められる。そこで、ブレの少ない２次元マーカー方式を採用し、さらに、マーカーの画面上の位置によるズレを解消する種々の工夫を施すことで、ブレ１ｍｍ未満が実現されている。
As shown in FIG. 2, the AR marker 70 is an identification display for detecting a three-dimensional position coordinate.
In the AR marker 70, a predetermined mark (8 × 8 square recognition in this case) is printed in black and white which is easily recognized by image processing on an 8 mm square plastic flat plate (two-dimensional). In addition, 10 mm and 12 mm square may be sufficient and a shape is not specifically limited.
The AR marker 70 is attached to a cap 80 that covers the patient's teeth by being glued by a glue gun, which is a resin adhesive.
Since the AR marker 70 is two-dimensional, it can be accurately recognized. At the present technical level, it is difficult to recognize in three dimensions, and it is not accurate to use a patient's tooth itself as a marker. For example, since a car or the like is large in size, even if there is no problem in misregistration of several centimeters, a shift of 1 mm becomes a serious problem in dental implant surgery. In general, tracking in AR may be greatly shifted or blurred. Unlike an amusement application (game or the like), an implant operation, for example, is not useful when shifted by 1 cm, and very high accuracy is required. Therefore, a two-dimensional marker method with less blur is adopted, and further, various measures for eliminating the displacement due to the position of the marker on the screen are applied, thereby realizing a blur of less than 1 mm.
図２に示すように、キャップ８０は、１本の歯牙よりも一回り大きい程度のサイズに形成されている。１本の歯牙に対して１個を被せ（密着しているので仮止め接着は不要）、合計３個（３本の歯牙）程度を設置することが好ましい。これは、１個のみであると角度によってはＷｅｂカメラ３０から正確に認識できなくなる場合があり得るからであり、合計３個程度を離れた歯でも隣の歯でもよいのでいろいろな角度に設置すべきである。
キャップ８０は、材質は歯科材料の即時重合レジンであり、筆積みで大まかなキャップを作り、エンジンで成形されている。口腔内は唾液があるので外れ易いが、歯冠の根元の細い歯肉に近い部分まで密着して被せるため容易に動いたり外れることが回避される。マウスピース型のキャップでは動いてズレやすく、また、装着時に違和感が大きく、
As shown in FIG. 2, the cap 80 is formed in a size that is slightly larger than a single tooth. It is preferable to cover one tooth with one tooth (there is no need for temporary fixing because it is in close contact), and a total of about three (three teeth) is preferably installed. This is because if there is only one, it may be impossible to accurately recognize from the Web camera 30 depending on the angle, and a total of about 3 teeth may be separated or adjacent to each other, so they are installed at various angles. Should.
The cap 80 is made of an instant polymerization resin made of dental material. A rough cap is made with a brush and is molded with an engine. Since there is saliva in the oral cavity, it is easy to come off, but since it closes and closes to the part close to the thin gingiva at the root of the crown, it can be prevented from moving or coming off easily. Mouthpiece-shaped caps are easy to move and shift, and there is a great sense of discomfort when worn.
〔術前処理〕
まず、モックアップ６０を作製する。
モックアップ６０は、患者の口腔内から型取り（印象）して作製した歯および顎の実寸大の石膏模型である。スキャン装置等を用いて作製してもよい。
次に、モックアップ６０の残存歯部にＡＲマーカー７０が付されたキャップ８０を複数個、設置する。
次に、Ｗｅｂカメラ３０やその他の所定の撮像装置で撮影し、モックアップ６０（ＡＲマーカー７０付き）の画像１４０を取得する。
また、インプラント手術を受ける患者の口腔内（例えば、上顎又は／および下顎部）を、ＣＴ装置５０で撮影し、撮影された、例えば、約０．５ｍｍ間隔の断層画像をつなぎ合わせて立体化して３次元再構成を行い３次元ＣＴ画像データ１２０を取得する。
そして、ＰＣ１０は、モニター４０に、３次元ＣＴ画像データ１２０をＡＲマーカー７０の大きさとほぼ同じサイズで重畳して描画し、背景を暗くして見やすくしたうえで３次元ＣＴ画像データ１２０を拡大していく。さらに、図３に示すように、ＰＣ１０は、ユーザの入力装置であるマウス等の操作に応じて３次元ＣＴ画像データ１２０の表示位置を移動し、回転させて表示し、モックアップ６０（ＡＲマーカー７０付き）の画像１４０と位置合わせを行い、正確に重なり合った地点を基準位置として、マウス等を用いて手動で位置決めの確定操作を行い、ＡＲマーカー７０の位置姿勢（スケール、回転、移動など）のデータを基準とした３次元ＣＴ画像への変換行列などがＰＣ１０に記憶される。なお、この変換行列は、ＡＲマーカー７０の３次元位置姿勢に対する３次元ＣＴ画像１２０の３次元位置姿勢との相対的な関係を紐付けて示す情報（３次元位置関係情報）であり、角度が変わっても相対位置がわかる。
[Preoperative treatment]
First, the mockup 60 is produced.
The mock-up 60 is a full-scale plaster model of teeth and jaws made by taking (impression) from the oral cavity of a patient. You may produce using a scanning apparatus etc.
Next, a plurality of caps 80 with AR markers 70 attached to the remaining teeth of the mockup 60 are installed.
Next, an image 140 of the mockup 60 (with the AR marker 70) is acquired by photographing with the Web camera 30 or other predetermined imaging device.
Further, the intraoral area (for example, the upper jaw or / and the lower jaw) of the patient undergoing the implant operation is imaged by the CT apparatus 50, and the captured tomographic images, for example, at intervals of about 0.5 mm are connected to form a three-dimensional image. Three-dimensional reconstruction is performed and three-dimensional CT image data 120 is acquired.
Then, the PC 10 draws the 3D CT image data 120 on the monitor 40 by superimposing the AR marker 70 on the same size as the AR marker 70 to make the background darker and easier to see, and then enlarges the 3D CT image data 120. To go. Further, as shown in FIG. 3, the PC 10 moves the display position of the 3D CT image data 120 in accordance with the operation of the mouse or the like that is the user's input device, rotates the display position, and displays the mockup 60 (AR marker). 70)), and the position and orientation (scale, rotation, movement, etc.) of the AR marker 70 are performed manually using a mouse or the like with the accurately overlapped point as a reference position. A conversion matrix to a three-dimensional CT image with reference to the data is stored in the PC 10. This transformation matrix is information (three-dimensional positional relationship information) indicating the relative relationship between the three-dimensional position and orientation of the AR marker 70 and the three-dimensional position and orientation of the three-dimensional CT image 120, and the angle is You can see the relative position even if it changes.
さらなる術前処理として、施術者が事前に３次元ＣＴ画像１２０の任意の２次元ＣＴ画像の断面図を作成する。
３次元ＣＴ画像１２０のデータは、立体的に描画することが可能であるが、３次元であるために施術者に対する視認性に欠ける場合がある。そのようなケースでは、２次元の断面図１３０で見るほうが見易く視認性が向上する場合がある。例えば、施術者は歯槽骨の孔となっている部分を知りたいときがある。
断面図１３０の作成は、モニター４０に表示された３次元ＣＴ画像１２０をスライス（切断）するような仮想的な板を２枚用意し、マウス等の操作に応じてその２枚の板の位置を変えたり、回転させたりし、３次元ＣＴ画像１２０の該当部分をスライスするような位置に板を操作することで断面図１３０を作成する。より具体的には板の３次元での姿勢行列の逆行列等を用いて断面図１３０を作成することであってもよい。
図４に示すように、ＸＹ平面（板で平行に切った）、ＹＺ平面（板で平行に切った）の２面（２枚の板）でスライス（切断）した場合の断面図１３０を作成する。
図４（ａ）の上顎を正面から視た平面をＸＹ平面といい、図４（ｄ）の上顎を側面から視た平面をＹＺ平面といい、ここでのＸＹＺ方向はその意味で用いるものとする。
図４（ａ）の３次元ＣＴ画像１２０のＸＹ平面の断面図１３０が、図４（ｂ）である。
図４（ａ）の３次元ＣＴ画像１２０のＹＺ平面の断面図１３０が、図４（ｃ）である。すなわち、図４（ｄ）の３次元ＣＴ画像１２０のＹＺ平面の断面図１３０が、図４（ｃ）である。
マウス等の操作に応じて２枚の板の位置をそれぞれ平行移動したり、回転させることもでき、また、３次元ＣＴ画像１２０のほうを動かす（移動、回転）ことにより断面図１３０を変化させることもできる。このような操作を駆使すれば、３次元ＣＴ画像１２０の所望の部位の断面図１３０は必ず作成できることとなる。
作成した断面図１３０は、３次元ＣＴ画像１２０と３次元座標に基づいて所定位置に紐付けておき、術中にモニター４０やＨＭＤ装置２０に表示可能としておく。
As further preoperative processing, the practitioner creates a cross-sectional view of an arbitrary two-dimensional CT image of the three-dimensional CT image 120 in advance.
The data of the three-dimensional CT image 120 can be drawn three-dimensionally, but since it is three-dimensional, the visibility for the practitioner may be lacking. In such a case, it may be easier to see in the two-dimensional sectional view 130 and visibility may be improved. For example, the practitioner may want to know the portion that is the hole of the alveolar bone.
To create the cross-sectional view 130, two virtual boards that slice (cut) the three-dimensional CT image 120 displayed on the monitor 40 are prepared, and the positions of the two boards according to the operation of the mouse or the like. The cross-sectional view 130 is created by operating the plate at a position where the corresponding portion of the three-dimensional CT image 120 is sliced by changing or rotating. More specifically, the cross-sectional view 130 may be created using an inverse matrix of a posture matrix in three dimensions of the plate.
As shown in FIG. 4, a cross-sectional view 130 is created when sliced (cut) with two surfaces (two plates) of the XY plane (cut in parallel with the plate) and the YZ plane (cut in parallel with the plate). To do.
The plane when the upper jaw of FIG. 4 (a) is viewed from the front is referred to as the XY plane, and the plane when the upper jaw of FIG. 4 (d) is viewed from the side is referred to as the YZ plane. To do.
A cross-sectional view 130 of the XY plane of the three-dimensional CT image 120 in FIG. 4A is FIG. 4B.
FIG. 4C is a cross-sectional view 130 of the YZ plane of the three-dimensional CT image 120 in FIG. That is, a sectional view 130 of the YZ plane of the three-dimensional CT image 120 of FIG. 4D is FIG. 4C.
The positions of the two plates can be translated or rotated in accordance with the operation of the mouse or the like, and the sectional view 130 is changed by moving (moving or rotating) the three-dimensional CT image 120. You can also By making full use of such an operation, a cross-sectional view 130 of a desired part of the three-dimensional CT image 120 can be created without fail.
The created sectional view 130 is linked to a predetermined position based on the three-dimensional CT image 120 and the three-dimensional coordinates, and can be displayed on the monitor 40 or the HMD device 20 during the operation.
〔術中処理〕
図５に本実施の形態に係るインプラント手術補助システムＳの術中処理フローの一部を示す。
[Intraoperative treatment]
FIG. 5 shows a part of the intraoperative processing flow of the implant surgery assistance system S according to the present embodiment.
まず、患者の口腔内の上顎構造の３本の歯牙にＡＲマーカー７０を付したキャップ８０を３個、１本に対して１個それぞれ被せて装着して固定する（ステップＳ５０１）。 First, three caps 80 each provided with an AR marker 70 are put on three teeth of the upper jaw structure in the patient's oral cavity, and one cap is attached and fixed (step S501).
このような状態において、患者に対するインプラント手術を開始する（ステップＳ５０２）。 In such a state, an implant operation for the patient is started (step S502).
術中においてはこのＡＲマーカー７０を追従（トラッキング）し、施術者が装着するＷｅｂカメラ３０が撮影した患者の口腔内の術部の実像（器具等も映る）の画像１１０内のＡＲマーカー７０の３次元位置姿勢が、リアルタイムにＰＣ１０に入力され（ステップＳ５０３）、ＰＣ１０はＡＲマーカー７０の３次元位置姿勢に変化が無いかの計測判断を極めて短い間隔（リアルタイム）で繰り返し行い、Ｗｅｂカメラ３０が撮影した患者の口腔内の術部の実像の画像１１０に術前に作成された下顎骨や下歯槽管神経等の３次元ＣＴ画像１２０を重ね合わせるように、ＡＲマーカー７０との３次元的位置関係を保ちながら座標変換処理を行って（ステップＳ５０４）、リアルタイムで重畳した、例えば、図６に示すような画像を出力してモニター４０や施術者が顔に装着したＨＭＤ装置２０に表示する（ステップＳ５０５、Ｓ５０６）。
すなわち、患者および施術者の体動等により術部の実像の画像１１０に含まれるＡＲマーカー７０の位置に変化が生じた場合でもその動きに合わせて３次元ＣＴ画像１２０の位置も追従して補正されて表示される。例えば、ＰＣ１０は、基準位置に対する変化量を算出し、算出した変化量に基づき補正する。基準位置の座標が（ｘ、ｙ、ｚ）であり、変化量が（Δｘ、Δｙ、Δｚ）である場合、座標を、（ｘ＋Δｘ、ｙ＋Δｙ、ｚ＋Δｚ）に補正する。
During the operation, the AR marker 70 is followed (tracked), and 3 of the AR markers 70 in the image 110 of the actual image of the surgical site in the oral cavity of the patient (apparatus etc. also reflected) taken by the Web camera 30 worn by the practitioner. The three-dimensional position / orientation is input to the PC 10 in real time (step S503), and the PC 10 repeatedly determines whether the AR marker 70 has no change in the three-dimensional position / orientation at very short intervals (real time). The three-dimensional positional relationship with the AR marker 70 so that the three-dimensional CT image 120 such as the mandible and the lower alveolar canal nerve created before the operation is superimposed on the real image 110 of the surgical site in the oral cavity of the patient Is converted (step S504), and an image superimposed in real time, for example, as shown in FIG. 6 is output and monitored. 40 and practitioner displayed on the HMD device 20 mounted on the face (step S505, S506).
In other words, even when the position of the AR marker 70 included in the real image 110 of the surgical site changes due to the body movement of the patient and practitioner, the position of the three-dimensional CT image 120 is also corrected following the movement. Displayed. For example, the PC 10 calculates a change amount with respect to the reference position, and corrects based on the calculated change amount. When the coordinates of the reference position are (x, y, z) and the amount of change is (Δx, Δy, Δz), the coordinates are corrected to (x + Δx, y + Δy, z + Δz).
これは、術前処理における、モックアップ６０の画像と患者の口腔内の術部の実像（器具等も映る）の画像１１０とが一致しているという前提からなりたっている。
したがって口腔内のＡＲマーカー７０が固定されている限り、術部の実像の画像１１０に対する３次元ＣＴ画像１２０の重ね合わせがズレるということはない。
This is based on the premise that the image of the mock-up 60 and the image 110 of the actual image of the surgical site in the patient's oral cavity (applying instruments etc.) coincide with each other in the preoperative processing.
Therefore, as long as the AR marker 70 in the oral cavity is fixed, the overlay of the three-dimensional CT image 120 with the real image 110 of the surgical site does not shift.
また、表示される３次元ＣＴ画像１２０を半透明とすれば、術部の実像の画像１１０に対して暗視野が生じることがなく、あたかも施術者にＸ線の目を与えたかのような効果を生む。 Further, if the displayed three-dimensional CT image 120 is translucent, a dark field is not generated in the real image 110 of the surgical site, and the effect is as if the practitioner had been given X-ray eyes. Born.
術前に作成した断面図１３０は、ＰＣ１０により、モニター４０やＨＭＤ装置２０に表示される術部の実像の画像１１０と３次元ＣＴ画像１２０の重畳画像の隅部に表示されたり、その重畳画像と断面図１３０がＰＣ１０のマウス操作等に応じて切り替えて全画面表示されることであってもよい（ステップＳ５０７）。断面図１３０は、所定のものが継続的に重畳画像の隅部に表示されることでも、また３次元ＣＴ画像１２０の所定位置に紐付けられているので、３次元ＣＴ画像１２０の所定位置が視認可能なタイミングで、適宜対応する断面図１３０が術中にモニター４０やＨＭＤ装置２０に表示されることであってもよい。これにより、施術者は歯槽骨の孔となっている部分を知りたいときなどは、見易く視認性が向上する。
なお、術部の実像の画像１１０、３次元ＣＴ画像１２０、断面図１３０は、ＰＣ１０のマウス操作等により、拡大（ズーム）表示が可能であり、肉眼では識別困難な、０．１ｍｍなどのレベルであっても施術者は認識ができることとなる。
The cross-sectional view 130 created before the operation is displayed on the corner of the superimposed image of the real image 110 and the three-dimensional CT image 120 of the surgical part displayed on the monitor 40 or the HMD device 20 by the PC 10, or the superimposed image. And the sectional view 130 may be switched according to the mouse operation of the PC 10 and displayed on the full screen (step S507). In the cross-sectional view 130, a predetermined thing is continuously displayed at the corner of the superimposed image, or is linked to a predetermined position of the three-dimensional CT image 120. The corresponding cross-sectional view 130 may be displayed on the monitor 40 or the HMD device 20 during the operation at a visually recognizable timing. Thereby, when a practitioner wants to know the part which becomes the hole of an alveolar bone, it is easy to see and visibility improves.
Note that the real image 110 of the surgical site 110, the three-dimensional CT image 120, and the cross-sectional view 130 can be enlarged (zoomed) by a mouse operation or the like of the PC 10 and are difficult to identify with the naked eye. Even so, the practitioner can recognize.
また、術部の実像の画像１１０と３次元ＣＴ画像１２０を単に重ね合わせただけだと非常に見づらい表示となる場合があり、視認性向上のため、ＰＣ１０のマウス操作等により、画像背景の明暗、３次元ＣＴ画像１２０の明度・透明度・解像度などのパラメーターを調整可能であってもよい。 In addition, if the real image 110 of the surgical site and the 3D CT image 120 are simply superimposed, the display may be very difficult to see. Parameters such as brightness, transparency, and resolution of the three-dimensional CT image 120 may be adjustable.
また、図７に示すように、ＰＣ１０は、モニター４０やＨＭＤ装置２０にグリッド（仮想の格子線）１５０を付加して表示することであってもよい（ステップＳ５０８）。バーチャルで施術者の目の前にグリッド１５０を表示させることができ、グリッド１５０をガイドとし、歯を削る際などに、平行性の確認が容易になる。
これはＡＲマーカー７０に３次元ＣＴ画像１２０をトラッキングさせるのと同じ原理で、ＡＲマーカー７０にグリッド１５０をトラッキングさせる。
なお、グリッド１６０のサイズ調整、グリッド数調整が可能であってもよい。
Further, as illustrated in FIG. 7, the PC 10 may display the monitor 40 or the HMD device 20 with a grid (virtual lattice line) 150 added (step S508). The grid 150 can be virtually displayed in front of the practitioner's eyes, and parallelism can be easily confirmed when the grid 150 is used as a guide and the teeth are sharpened.
This causes the AR marker 70 to track the grid 150 on the same principle as the AR marker 70 tracks the three-dimensional CT image 120.
Note that the size of the grid 160 and the number of grids may be adjustable.
また、図８に示すように、ＰＣ１０は、モニター４０やＨＭＤ装置２０に施術者が使用するドリル９０を埋入する道筋であるドリルガイド１６０を付加して表示することであってもよい（ステップＳ５０９）。バーチャルで施術者の目の前にドリル９０を埋入するドリルガイド１６０を表示させ、穿孔開始位置、埋め込み方向、埋め込み深さ等を正確に知ることができる。
ドリルガイド１６０は事前に３次元ＣＴ画像１２０の所定位置に関連付けておき、ＡＲマーカー７０との３次元相対位置も確定しておく。
また、施術者が使用するドリル９０に第２のＡＲマーカー７１を付して固定する。第２のＡＲマーカー７１とドリル９０の長手方向との３次元相対位置も確定しておく。
こうすると互いのＡＲマーカー７０、７１の角度や距離によりドリル９０の角度やどれくらい深く入れたかがわかる。
In addition, as shown in FIG. 8, the PC 10 may display the monitor 40 and the HMD device 20 with a drill guide 160 that is a path for embedding the drill 90 used by the practitioner (step). S509). A drill guide 160 for embedding the drill 90 is displayed virtually in front of the practitioner's eyes, and the drilling start position, the embedding direction, the embedding depth, and the like can be accurately known.
The drill guide 160 is associated with a predetermined position of the three-dimensional CT image 120 in advance, and the three-dimensional relative position with respect to the AR marker 70 is also determined.
Further, the second AR marker 71 is attached and fixed to the drill 90 used by the practitioner. The three-dimensional relative position between the second AR marker 71 and the longitudinal direction of the drill 90 is also determined.
In this way, the angle of the drill 90 and how deep it is inserted can be understood from the angle and distance of the AR markers 70 and 71 of each other.
図８に模式的に示すように、ＰＣ１０は、ＡＲマーカー７０、７１の角度や距離に基づいて、術中のドリル９０の位置とドリルガイド１６０の重なり状態を３次元で判定して、例えば、以下のように表示する。なお、図８では便宜上２次元のライン同士を判定する説明であるが、実際は３次元で判定される。
（１）ドリル９０とドリルガイド１６０が完全に不一致、平行でもない状態：OUTSIDE(PARALLEL BAD)、図８（ａ）参照。
（２）ドリル９０がドリルガイド１６０の外にあるが平行である状態：OUTSIDE (PARALLEL GOOD)、図８（ｂ）参照。
（３）ドリル９０がドリルガイド１６０内に埋入している状態：INSIDE、図８（ｃ）参照。
（４）ドリル９０がドリルガイド１６０先端付近に到達した状態：REACH、図８（ｄ）参照。
（５）ドリル９０がドリルガイド１６０を突き抜けて貫通してしまった状態：OVER、図８（ｅ）参照。
なお、３次元ＣＴ画像１２０において、神経や血管が有する特有の形状や輝度を手がかりとして、画像認識の技術により、ＰＣ１０は作業禁止領域を抽出し、ドリル９０が適正領域に入っていればグリーン点灯、外れて作業禁止領域に入るとレッド点灯などの表示をなすことであってもよい。
また、断面図１３０に術中のドリル９０の位置をリアルタイムに投影することであってもよい。
As schematically shown in FIG. 8, the PC 10 determines in three dimensions the position of the drill 90 and the overlap state of the drill guide 160 based on the angles and distances of the AR markers 70 and 71, for example, Is displayed. Note that FIG. 8 is an explanation for determining two-dimensional lines for convenience, but in actuality, the determination is made in three dimensions.
(1) The state in which the drill 90 and the drill guide 160 are completely inconsistent and not parallel: OUTSIDE (PARALLEL BAD), see FIG.
(2) A state where the drill 90 is outside the drill guide 160 but is parallel: OUTSIDE (PARALLEL GOOD), see FIG. 8B.
(3) A state in which the drill 90 is embedded in the drill guide 160: INSIDE, see FIG. 8C.
(4) The state where the drill 90 has reached the vicinity of the tip of the drill guide 160: REACH, see FIG. 8 (d).
(5) State where the drill 90 has penetrated through the drill guide 160: OVER, see FIG. 8 (e).
In the three-dimensional CT image 120, the PC 10 extracts a work-prohibited area by the image recognition technique using the specific shape and brightness of nerves and blood vessels as a clue, and lights up green if the drill 90 is in the appropriate area. When it comes off and enters the work prohibition area, a display such as red lighting may be performed.
Alternatively, the position of the intraoperative drill 90 may be projected on the cross-sectional view 130 in real time.
上記の本実施の形態によれば、上顎又は／および下顎部（内部構造を含む）の３次元ＣＴ画像１２０を、術中に術部の実像の画像１１０に対して立体的に重ね合わせることにより、通常肉眼では把握することが困難な内部構造等を視覚的に（同じ目線のままで）捉えながら、フィクスチャーを埋入するための埋入孔を患者の歯槽骨の所定の位置および方向へドリルで正確に穿孔することが可能となる。
すなわち、施術者は本来見えないはずの患者の歯槽骨などを疑似的に見ることができるようになり、フィクスチャーの挿入位置が特定でき、従来であれば、ドリル９０（インプラントを挿入する前には患者の歯槽骨に穴をあける）を挿入するときに勘に頼っていたが、穿孔開始位置、埋め込み方向、埋め込み深さの判断がより正確、確実となり、インプラント手術の安全性と正確性を高めることができる。
さらに、３次元的にフィクスチャーの適切な埋入位置や最終的な歯牙のイメージなどの精密な診査・診断が可能になり、痛みや腫れ、出血の少ないインプラント手術が実現される。
また、診断経験の少ない者（例えば新人口腔外科医）であっても、経験豊富な施術者に近いレベル（又はそれ以上のレベル）で、正確な診断を行うことが可能となっている。
According to the above-described embodiment, the three-dimensional CT image 120 of the upper jaw or / and the lower jaw (including the internal structure) is three-dimensionally superimposed on the real image 110 of the surgical site during the operation. Drilling a hole for embedding a fixture into a predetermined position and direction of the patient's alveolar bone while visually grasping the internal structure that is difficult to grasp with the naked eye (while keeping the same line of sight) This makes it possible to drill accurately.
That is, the practitioner can artificially see a patient's alveolar bone or the like that should not be visible, and can specify the insertion position of the fixture. Conventionally, the drill 90 (before inserting the implant) Drilled a hole in the patient's alveolar bone), but relied on intuition, making the determination of the drilling start position, implantation direction, and implantation depth more accurate and reliable, and improving the safety and accuracy of implant surgery. Can be increased.
In addition, precise examination and diagnosis such as the appropriate placement position of the fixture and the final tooth image can be performed three-dimensionally, and an implant operation with less pain, swelling, and bleeding can be realized.
Moreover, even a person with little diagnostic experience (for example, a new oral surgeon) can make an accurate diagnosis at a level close to (or higher than) an experienced practitioner.
ところで、インプラント手術ができる口腔外科医の養成方法は未発達となっている。高度な治療のできる施術者によるインプラント手術の際、遠巻きに見て学習するのが現状であり、水がかかったり、歯牙の奥の部分、施術者の手の影になるなどで、他の口腔外科医からうまく見えない状況が発生し、インプラント手術ができる口腔外科医の育成に時間がかかっている。
そして、数多くの手術臨床経験によるしかなく、臨床研修が不十分な状況で、手術を任せられる口腔外科医が育っていない。
図６に示すような、術中のＨＭＤ装置２０で見ている映像を、ＰＣ１０のモニター４０上で中継放送のように見ることができるため、他の口腔外科医の研修に役立つ。その映像をビデオで保存し、後で見ることができるため、教材としても利用できる。すなわち、熟練した施術者の術中の手の動きを、新人口腔外科医にバーチャルになぞらせる。これにより新人口腔外科医の技術向上を図ることができる。術中のリアルタイムでなくても、ドリル９０をあてる角度が主な問題であるため、事後に実際の施術時のタイミングからは遅れてなぞるだけとなっても効果があり、熟練者が居なくても新人口腔外科医が１人で手術の練習を行うことができる。
By the way, the training method of an oral surgeon who can perform an implant operation has not been developed yet. At the time of implant surgery by highly practicing practitioners, the current practice is to learn by looking at a long distance. Situations that cannot be seen well by surgeons occur, and it takes time to train oral surgeons who can perform implant surgery.
In addition, due to numerous surgical clinical experiences, oral surgeons who can be entrusted with surgery have not been nurtured due to insufficient clinical training.
As shown in FIG. 6, an image viewed on the intraoperative HMD device 20 can be viewed as a relay broadcast on the monitor 40 of the PC 10, which is useful for training of other oral surgeons. Since the video can be saved as a video and viewed later, it can also be used as a teaching material. That is, it allows a new oral surgeon to virtually follow the hand movements of a skilled practitioner during operation. Thereby, the technical improvement of a new face oral surgeon can be aimed at. Even if it is not real time during the operation, the angle to hit the drill 90 is the main problem, so it is effective even if you trace after the actual operation after the fact, even if there is no skilled person A new oral surgeon can practice surgery alone.
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、各装置等の機能を実現するためのプログラムを各装置等に読込ませて実行することにより各装置等の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭ又は光磁気ディスクなどを介して、又は伝送媒体であるインターネット、電話回線等を介して伝送波により他のコンピュータシステムに伝送されてもよい。また、一部のシステムが人の動作を介在して実現されてもよい。さらに、例えば、インプラント手術前に、口腔部分の３次元ＣＴ画像を重畳させるのと同様の原理で頭蓋ＣＴ画像を顔面画像に重畳させて、顎関節の位置を確認することであってもよい。 Each of the above-described embodiments is a preferred embodiment of the present invention, and various modifications can be made without departing from the scope of the present invention. For example, a process for realizing the function of each device or the like may be performed by causing each device or the like to read and execute a program for realizing the function of each device or the like. Further, the program is transmitted to another computer system by a transmission wave via a CD-ROM or magneto-optical disk as a computer-readable recording medium, or via the Internet or a telephone line as a transmission medium. Also good. Also, some systems may be realized through human actions. Furthermore, for example, before implant surgery, the position of the temporomandibular joint may be confirmed by superimposing the skull CT image on the face image on the same principle as superimposing the three-dimensional CT image of the oral cavity.
Ｓ インプラント手術補助システム
１０ ＰＣ
２０ ＨＭＤ装置
２１ ケーブル
３０ Ｗｅｂカメラ
３１ ケーブル
４０ モニター
５０ ＣＴ装置
６０ モックアップ
７０、７１ ＡＲマーカー
８０ キャップ
９０ ドリル
１１０ 術部の実像の画像
１２０ ３次元ＣＴ画像
１３０ 断面図
１４０ モックアップの画像
１５０ グリッド
１６０ ドリルガイド
S Implant surgery assistance system 10 PC
20 HMD device 21 Cable 30 Web camera 31 Cable 40 Monitor 50 CT device 60 Mock-up 70, 71 AR marker 80 Cap 90 Drill 110 Real image of the surgical site 120 Three-dimensional CT image 130 Cross-sectional view 140 Mock-up image 150 Grid 160 Drill guide
本発明のインプラント手術補助システムは、ＰＣと、有線のＨＭＤ装置と、有線のＷｅｂカメラと、前記ＰＣに接続されたモニターとを備えるインプラント手術補助システムであって、
前記ＰＣは、モックアップと患者の口腔内の３次元ＣＴ画像との位置合わせが行われた基準位置における、前記３次元ＣＴ画像と前記患者のモックアップの１本の歯牙に１個ずつ歯冠の根元の細い歯肉に近い部分まで密着して被せられたキャップに付された白黒色が施された二次元のＡＲマーカーとの３次元位置姿勢を術前に予め紐付けして記憶し、
前記ＰＣは、施術者が装着する有線のＷｅｂカメラにより撮像された術部の実像の画像に含まれる、前記患者の１本の歯牙に１個ずつ被せられた前記キャップに付された前記ＡＲマーカーを追従して、前記ＡＲマーカーに紐付けられた前記３次元ＣＴ画像を、インプラント手術の術中に前記術部の実像の画像に対してリアルタイムで重ね合わせ、該重畳された３次元画像を前記ＰＣに接続されたモニターおよび前記施術者が装着する前記有線のＨＭＤ装置に表示し、
前記ＰＣは、前記重畳された３次元画像から、前記３次元ＣＴ画像をスライスする仮想的な２枚の板の３次元での姿勢行列の逆行列を用いて術前に予め作成された２次元の断面図を前記モニターおよび前記ＨＭＤ装置に拡大可能に表示し、
前記ＰＣは、前記重畳された３次元画像にグリッドを付加して前記モニターおよび前記ＨＭＤ装置に表示し、
前記ＰＣは、前記重畳された３次元画像に前記施術者が歯槽骨に埋入するドリルに対するドリルガイドを付加して前記モニターおよび前記ＨＭＤ装置に表示し、前記ＡＲマーカーが付された前記ドリルの前記術中の位置と前記ドリルガイドとの重なり状態を、
前記ドリルと前記ドリルガイドとが完全に不一致かつ平行でない状態、
前記ドリルが前記ドリルガイドの外にあるが平行である状態、
前記ドリルが前記ドリルガイド内に埋入している状態、
前記ドリルが前記ドリルガイド先端付近に到達した状態
および前記ドリルが前記ドリルガイドを突き抜けて貫通してしまった状態
のいずれかであることを３次元で判定して前記モニターおよび前記ＨＭＤ装置に表示する。
The implant surgery assistance system of the present invention is an implant surgery assistance system comprising a PC, a wired HMD device, a wired Web camera, and a monitor connected to the PC,
The PC includes one crown for each tooth of the three-dimensional CT image and one mock-up of the patient at a reference position where the mock-up and the three-dimensional CT image in the patient's mouth are aligned. 3D position and posture with a 2D AR marker with a black and white color attached to a cap that is in close contact with a portion close to the thin gingiva at the base of the neck is pre-linked and stored before surgery.
The PC includes the AR marker attached to the cap, one on each tooth of the patient, which is included in a real image of the surgical part taken by a wired Web camera worn by a practitioner. The three-dimensional CT image associated with the AR marker is superposed in real time on the real image of the surgical site during implant surgery, and the superimposed three-dimensional image is added to the PC. connected monitored and the practitioner is displayed on the HMD apparatus of the wire to be attached to,
The PC is a two-dimensional image created in advance from the superimposed three-dimensional image by using an inverse matrix of a three-dimensional posture matrix of two virtual plates that slice the three-dimensional CT image. Is displayed in an expandable manner on the monitor and the HMD device,
The PC adds a grid to the superimposed three-dimensional image and displays it on the monitor and the HMD device,
The PC adds a drill guide for the drill to be embedded in the alveolar bone by the practitioner to the superimposed three-dimensional image, displays the drill on the monitor and the HMD device, and displays the drill with the AR marker attached thereto. The overlapping state between the intraoperative position and the drill guide ,
The drill and the drill guide are completely inconsistent and not parallel,
The drill is outside the drill guide but parallel,
The drill is embedded in the drill guide;
The drill has reached the vicinity of the tip of the drill guide
And the drill has penetrated through the drill guide
As judged by a three-dimensional display on the monitor and the HMD device that is either.
本発明のインプラント手術補助方法は、ＰＣと、有線のＨＭＤ装置と、有線のＷｅｂカメラと、前記ＰＣに接続されたモニターとを利用したインプラント手術補助方法であって、
前記ＰＣが、モックアップと患者の口腔内の３次元ＣＴ画像との位置合わせが行われた基準位置における、前記３次元ＣＴ画像と前記患者のモックアップの１本の歯牙に１個ずつ歯冠の根元の細い歯肉に近い部分まで密着して被せられたキャップに付された白黒色が施された二次元のＡＲマーカーとの３次元位置姿勢を術前に予め紐付けして記憶するステップと、
前記ＰＣが、施術者が装着する有線のＷｅｂカメラにより撮像された術部の実像の画像に含まれる、前記患者の１本の歯牙に１個ずつ歯冠の根元の細い歯肉に近い部分まで密着して被せられた前記キャップに付された前記ＡＲマーカーを追従して、前記ＡＲマーカーに紐付けられた前記３次元ＣＴ画像を、インプラント手術の術中に前記術部の実像の画像に対してリアルタイムで重ね合わせ、該重畳された３次元画像を前記ＰＣに接続されたモニターおよび前記施術者が装着する前記有線のＨＭＤ装置に表示するステップと、
前記ＰＣが、前記重畳された３次元画像から、前記３次元ＣＴ画像をスライスする仮想的な２枚の板の３次元での姿勢行列の逆行列を用いて術前に予め作成された２次元の断面図を前記モニターおよび前記ＨＭＤ装置に拡大可能に表示するステップと、
前記ＰＣが、前記重畳された３次元画像にグリッドを付加して前記モニターおよび前記ＨＭＤ装置に表示するステップと、
前記ＰＣが、前記重畳された３次元画像に前記施術者が歯槽骨に埋入するドリルに対するドリルガイドを付加して前記モニターおよび前記ＨＭＤ装置に表示し、前記ＡＲマーカーが付された前記ドリルの前記術中の位置と前記ドリルガイドとの重なり状態を、
前記ドリルと前記ドリルガイドとが完全に不一致かつ平行でない状態、
前記ドリルが前記ドリルガイドの外にあるが平行である状態、
前記ドリルが前記ドリルガイド内に埋入している状態、
前記ドリルが前記ドリルガイド先端付近に到達した状態
および前記ドリルが前記ドリルガイドを突き抜けて貫通してしまった状態
のいずれかであることを３次元で判定して前記モニターおよび前記ＨＭＤ装置に表示するするステップとを有する。
The implant surgery assisting method of the present invention is an implant surgery assisting method using a PC, a wired HMD device, a wired Web camera, and a monitor connected to the PC,
The PC has one crown for each tooth of the three-dimensional CT image and one mock-up of the patient at a reference position where the mock-up and the three-dimensional CT image in the patient's mouth are aligned. Pre-operatively linking and storing the three-dimensional position and orientation with a two-dimensional AR marker with a black and white color attached to a cap that is closely attached to a portion close to the thin gingiva at the base of ,
The PC is in close contact with the thin gingiva at the root of the crown, one by one for each tooth of the patient, included in the real image of the surgical site taken by a wired Web camera worn by the practitioner The AR marker attached to the cap placed on the cap is followed, and the three-dimensional CT image associated with the AR marker is displayed in real time with respect to the real image of the surgical site during an implant operation. in superposition, the steps of the superimposed three-dimensional monitor image is connected to the PC and the practitioner to view the HMD apparatus of the wire to be mounted,
Two-dimensionally created in advance by the PC from the superimposed three-dimensional image using an inverse matrix of a three-dimensional posture matrix of two virtual plates that slice the three-dimensional CT image. Displaying the cross-sectional view on the monitor and the HMD device in an expandable manner ;
The PC adding a grid to the superimposed three-dimensional image and displaying it on the monitor and the HMD device;
The PC adds a drill guide for a drill to be embedded in the alveolar bone by the practitioner to the superimposed three-dimensional image and displays the drill on the monitor and the HMD device, and the AR marker is attached to the drill. The overlapping state between the intraoperative position and the drill guide ,
The drill and the drill guide are completely inconsistent and not parallel,
The drill is outside the drill guide but parallel,
The drill is embedded in the drill guide;
The drill has reached the vicinity of the tip of the drill guide
And the drill has penetrated through the drill guide
A three-dimensional determination and displaying on the monitor and the HMD device.
Claims (2)
前記ＰＣは、モックアップと患者の口腔内の３次元ＣＴ画像との位置合わせが行われた基準位置における、前記３次元ＣＴ画像と前記患者のモックアップの１本の歯牙に１個ずつ被せられたキャップに付された白黒色が施された二次元のＡＲマーカーとの３次元位置姿勢を術前に予め紐付けして記憶し、
前記ＰＣは、施術者が装着する有線のＷｅｂカメラにより撮像された術部の実像の画像に含まれる、前記患者の１本の歯牙に１個ずつ被せられた前記キャップに付された前記ＡＲマーカーを追従して、前記ＡＲマーカーに紐付けられた前記３次元ＣＴ画像を、インプラント手術の術中に前記術部の実像の画像に対してリアルタイムで重ね合わせ、該重畳された３次元画像を前記ＰＣに接続されたモニターおよび前記施術者が装着する有線のＨＭＤ装置に表示し、
前記ＰＣは、前記重畳された３次元画像から術前に予め作成された２次元の断面図を前記モニターおよび前記ＨＭＤ装置に表示し、
前記ＰＣは、前記重畳された３次元画像にグリッドを付加して前記モニターおよび前記ＨＭＤ装置に表示し、
前記ＰＣは、前記重畳された３次元画像に前記施術者が歯槽骨に埋入するドリルに対するドリルガイドを付加して前記モニターおよび前記ＨＭＤ装置に表示し、前記ＡＲマーカーが付された前記ドリルの前記術中の位置と前記ドリルガイドとの重なり状態を３次元で判定して前記モニターおよび前記ＨＭＤ装置に表示するインプラント手術補助システム。 An implant surgery assistance system comprising a PC, a wired HMD device, a wired Web camera, and a monitor connected to the PC,
The PCs are placed one by one on one tooth of the three-dimensional CT image and the patient mockup at a reference position where the mockup and the three-dimensional CT image in the patient's mouth are aligned. 3D position and posture with the 2D AR marker with black and white color attached to the cap is stored in advance linked to the preoperative
The PC includes the AR marker attached to the cap, one on each tooth of the patient, which is included in a real image of the surgical part taken by a wired Web camera worn by a practitioner. The three-dimensional CT image associated with the AR marker is superposed in real time on the real image of the surgical site during implant surgery, and the superimposed three-dimensional image is added to the PC. Display on a monitor connected to the device and a wired HMD device worn by the practitioner,
The PC displays, on the monitor and the HMD device, a two-dimensional cross-sectional view created in advance from the superimposed three-dimensional image.
The PC adds a grid to the superimposed three-dimensional image and displays it on the monitor and the HMD device,
The PC adds a drill guide for the drill to be embedded in the alveolar bone by the practitioner to the superimposed three-dimensional image, displays the drill on the monitor and the HMD device, and displays the drill with the AR marker attached thereto. An implant operation assisting system for determining an overlap state between the intraoperative position and the drill guide in three dimensions and displaying the same on the monitor and the HMD device.
前記ＰＣが、モックアップと患者の口腔内の３次元ＣＴ画像との位置合わせが行われた基準位置における、前記３次元ＣＴ画像と前記患者のモックアップの１本の歯牙に１個ずつ被せられたキャップに付された白黒色が施された二次元のＡＲマーカーとの３次元位置姿勢を術前に予め紐付けして記憶するステップと、
前記ＰＣが、施術者が装着する有線のＷｅｂカメラにより撮像された術部の実像の画像に含まれる、前記患者の１本の歯牙に１個ずつ被せられた前記キャップに付された前記ＡＲマーカーを追従して、前記ＡＲマーカーに紐付けられた前記３次元ＣＴ画像を、インプラント手術の術中に前記術部の実像の画像に対してリアルタイムで重ね合わせ、該重畳された３次元画像を前記ＰＣに接続されたモニターおよび前記施術者が装着する有線のＨＭＤ装置に表示するステップと、
前記ＰＣが、前記重畳された３次元画像から術前に予め作成された２次元の断面図を前記モニターおよび前記ＨＭＤ装置に表示するステップと、
前記ＰＣが、前記重畳された３次元画像にグリッドを付加して前記モニターおよび前記ＨＭＤ装置に表示するステップと、
前記ＰＣが、前記重畳された３次元画像に前記施術者が歯槽骨に埋入するドリルに対するドリルガイドを付加して前記モニターおよび前記ＨＭＤ装置に表示し、前記ＡＲマーカーが付された前記ドリルの前記術中の位置と前記ドリルガイドとの重なり状態を３次元で判定して前記モニターおよび前記ＨＭＤ装置に表示するするステップとを有するインプラント手術補助方法。 An implant surgery assisting method using a PC, a wired HMD device, a wired Web camera, and a monitor connected to the PC,
The PC is placed one by one on each tooth of the three-dimensional CT image and the patient mockup at a reference position where the mockup and the three-dimensional CT image in the patient's mouth are aligned. Storing a three-dimensional position and posture with a two-dimensional AR marker with a black and white color attached to the cap in advance and associated before surgery;
The AR marker attached to the cap, one on each tooth of the patient, included in the real image of the surgical site taken by the wired web camera worn by the practitioner The three-dimensional CT image associated with the AR marker is superposed in real time on the real image of the surgical site during implant surgery, and the superimposed three-dimensional image is added to the PC. A display connected to a monitor and a wired HMD device worn by the practitioner;
The PC displaying on the monitor and the HMD device a two-dimensional sectional view created in advance from the superimposed three-dimensional image before surgery;
The PC adding a grid to the superimposed three-dimensional image and displaying it on the monitor and the HMD device;
The PC adds a drill guide for a drill to be embedded in the alveolar bone by the practitioner to the superimposed three-dimensional image and displays the drill on the monitor and the HMD device, and the AR marker is attached to the drill. A method for assisting in implant surgery, comprising: determining in three dimensions an overlapping state between the intraoperative position and the drill guide and displaying the same on the monitor and the HMD device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016151378A JP6063599B1 (en) | 2016-08-01 | 2016-08-01 | Implant surgery assistance system and implant surgery assistance method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016151378A JP6063599B1 (en) | 2016-08-01 | 2016-08-01 | Implant surgery assistance system and implant surgery assistance method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6063599B1 JP6063599B1 (en) | 2017-01-18 |
| JP2018019772A true JP2018019772A (en) | 2018-02-08 |
Family
ID=57800041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016151378A Expired - Fee Related JP6063599B1 (en) | 2016-08-01 | 2016-08-01 | Implant surgery assistance system and implant surgery assistance method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6063599B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019141261A (en) * | 2018-02-19 | 2019-08-29 | 株式会社吉田製作所 | Information display device, information display system, information display method, and information display program |
| KR20200102792A (en) * | 2019-02-22 | 2020-09-01 | 이태경 | Aid system for dental implant operation |
| JP2021529618A (en) * | 2018-07-05 | 2021-11-04 | デンツプライ シロナ インコーポレイテッド | Augmented reality-guided surgery methods and systems |
| CN113945589A (en) * | 2021-07-06 | 2022-01-18 | 上海优医基医疗影像设备有限公司 | Oral implant surgical robot with anti-drop detection function and control method |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6875559B2 (en) * | 2017-02-21 | 2021-05-26 | コー・ヤング・テクノロジー・インコーポレーテッド | Video matching device and video matching method |
| CN113349927B (en) * | 2021-05-19 | 2022-11-22 | 上海交通大学 | Navigation system for face autologous fat transplantation operation and virtual scale prompting method |
| CN115252190B (en) * | 2022-08-01 | 2023-03-10 | 斯柏美(广州)科技有限公司 | High-precision intelligent positioning system for implanted teeth |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005500096A (en) * | 2001-06-13 | 2005-01-06 | ヴォリューム・インタラクションズ・プライヴェート・リミテッド | Guide system |
| WO2009116663A1 (en) * | 2008-03-21 | 2009-09-24 | Takahashi Atsushi | Three-dimensional digital magnifier operation supporting system |
| JP2013513462A (en) * | 2009-12-14 | 2013-04-22 | スミス アンド ネフュー インコーポレーテッド | ACL localization system guided by visualization |
| US20160191887A1 (en) * | 2014-12-30 | 2016-06-30 | Carlos Quiles Casas | Image-guided surgery with surface reconstruction and augmented reality visualization |
-
2016
- 2016-08-01 JP JP2016151378A patent/JP6063599B1/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005500096A (en) * | 2001-06-13 | 2005-01-06 | ヴォリューム・インタラクションズ・プライヴェート・リミテッド | Guide system |
| WO2009116663A1 (en) * | 2008-03-21 | 2009-09-24 | Takahashi Atsushi | Three-dimensional digital magnifier operation supporting system |
| JP2013513462A (en) * | 2009-12-14 | 2013-04-22 | スミス アンド ネフュー インコーポレーテッド | ACL localization system guided by visualization |
| US20160191887A1 (en) * | 2014-12-30 | 2016-06-30 | Carlos Quiles Casas | Image-guided surgery with surface reconstruction and augmented reality visualization |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019141261A (en) * | 2018-02-19 | 2019-08-29 | 株式会社吉田製作所 | Information display device, information display system, information display method, and information display program |
| JP7109047B2 (en) | 2018-02-19 | 2022-07-29 | 株式会社吉田製作所 | INFORMATION DISPLAY DEVICE, INFORMATION DISPLAY SYSTEM, INFORMATION DISPLAY METHOD, AND INFORMATION DISPLAY PROGRAM |
| JP2021529618A (en) * | 2018-07-05 | 2021-11-04 | デンツプライ シロナ インコーポレイテッド | Augmented reality-guided surgery methods and systems |
| KR20200102792A (en) * | 2019-02-22 | 2020-09-01 | 이태경 | Aid system for dental implant operation |
| WO2020171665A3 (en) * | 2019-02-22 | 2020-10-22 | 이태경 | Dental implant surgery assistance system |
| KR102246530B1 (en) * | 2019-02-22 | 2021-04-29 | 이태경 | Aid system for dental implant operation |
| CN113945589A (en) * | 2021-07-06 | 2022-01-18 | 上海优医基医疗影像设备有限公司 | Oral implant surgical robot with anti-drop detection function and control method |
| CN113945589B (en) * | 2021-07-06 | 2024-03-08 | 上海优医基医疗影像设备有限公司 | Oral implantation surgical robot with anti-drop detection function and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6063599B1 (en) | 2017-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6063599B1 (en) | Implant surgery assistance system and implant surgery assistance method | |
| JP5390377B2 (en) | 3D digital magnifier surgery support system | |
| JP7336504B2 (en) | Augmented Reality Guided Surgery Method and System | |
| US20140234804A1 (en) | Assisted Guidance and Navigation Method in Intraoral Surgery | |
| CN107529968B (en) | Device for observing inside of oral cavity | |
| US9936166B2 (en) | Method for planning a dental treatment | |
| US10265149B2 (en) | Method and system for modeling the mandibular kinematics of a patient | |
| KR102233745B1 (en) | Dental practice device and dental practice system | |
| CN108742898B (en) | Oral implantation navigation system based on mixed reality | |
| Wagner et al. | Image-guided surgery | |
| US20170231718A1 (en) | System and Method for Guiding Medical Instruments | |
| JP2013034764A (en) | Surgical guide device and method for positioning drill | |
| CN112972027A (en) | Orthodontic micro-implant implantation positioning method using mixed reality technology | |
| CN113554912A (en) | Planting operation training system based on mixed reality technology | |
| Monahan et al. | Verifying the effectiveness of a computer-aided navigation system for arthroscopic hip surgery | |
| US20170265962A1 (en) | Assisted guidance and navigation method in intraoral surgery | |
| Zheng et al. | Computer-assisted preoperative planning and surgical navigation system in dental implantology | |
| Al-Khaled et al. | A Review of Augmented Reality Systems and an Update on The Most Recent Technological Developments and Applications in Dentistry | |
| Stefanelli et al. | Implant navigation system: dynamic guided surgery | |
| AlOtaibi et al. | Digitally Assisted Orthognathic Surgical Planning: Definition, History, and Innovation | |
| TW201325564A (en) | Method for intraoral surgical navigation treatment and training | |
| Schicho et al. | Teleplanning in image-guided dental implantology | |
| 김대승 | An integrated system for simulation and image-guidance for orthognathic surgery | |
| Dang et al. | A proof-of-concept augmented reality system in maxillofacial surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161216 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6063599 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |