CN110269715B - 一种基于ar的根管监测方法及*** - Google Patents

Abstract

本发明公开了一种基于AR的根管监测方法及***，整体方案包括S1、用CT扫描口腔，生成根管三维透视影像；S2、对牙体和根管的三维透视影像进行分割和三维重建，并生成根管透视模型；S3、三维光栅扫描仪扫描牙齿的三维外观模型；S4、对三维外观模型进行点云编辑和面重建，并生成目标物模型；S5、将获得的根管透视模型和目标物模型同时导入AR建模软件，并导出目标物识别和根管显示数据包；S6、交互设计软件获取目标物识别和根管显示数据包并添加手势和语音交互模块，并生成APP；S7、移动端获取APP并进行根管显示和交互检测。本发明的一种基于AR的根管监测方法及***能够让根管检测脱离传统依赖医生经验的方式，也能够提高检测精度。

Description

一种基于AR的根管监测方法及***

技术领域

本发明涉及医疗检测技术领域，具体为一种基于AR的根管监测方法及***。

背景技术

根管治疗是常见的口腔内科手术，主要包括根管扩大，冲洗，填充等几个步骤。由于个体的差异，根管的形状和大小各有不同，传统的根管长度测量仪完全不能反映此方面的不同，这也往往导致不同经验的医生做出的手术效果大相径庭。能够精确反映根管的位置和形状是摆脱经验依赖和进行精准医疗的必经阶段。

专利201811557205.4公布了了一种利用透明根管牙齿模型实训评价用扫描拍摄装置，它主要通过两台相机获得根管治疗评价所需的整颗牙齿模型中的根管的形状数据，用于假的透明牙体模型的教学。专利201810509261.4公布了一种用于口腔内科牙髓治疗的装置，专利201910041509.3公布了一种带光纤的根管治疗仪灯架，他们主要通过普通光照来提供更多的根管局部状况。虽然以往的文献记载发现了根管信息的重要性，也做了努力，但不能在临床中实时地、精确地反映根管的位置和形状。CT虽然能够很清晰地拍摄出根管内部的情况，但由于X射线对人体有伤害的缘故，不能用于实时手术。到目前为止，还没出现能够实时显示出实际根管形状和精确位置的实现方案。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于AR的根管监测方法及***，能够让根管检测脱离传统依赖医生经验的方式，也能够提高检测精度。

为实现上述目的，本发明提供了如下技术方案：一种基于AR的根管监测方法，包括如下步骤：

S1、用CT扫描口腔，生成根管三维透视影像；

S2、对牙体和根管的三维透视影像进行分割和三维重建，并生成根管透视模型；

S3、三维光栅扫描仪扫描牙齿的三维外观模型以生成目标物模型；

S4、对三维外观模型进行点云编辑和面重建，并生成牙齿模型即目标物模型；

S5、将获得的根管透视模型和牙齿模型同时导入AR建模软件，并导出目标物识别和根管显示数据包；

S6、交互设计软件获取目标物识别和根管显示数据包并添加手势和语音交互模块，并生成APP；

S7、移动端获取APP并进行根管显示和交互检测。

一种基于AR的根管监测***，其特征在于，包括用于获取根管三维透视影像的CT、用于扫描口腔中的牙齿获取牙齿三维外观模型的三维光栅扫描仪、对根管三维透视影像和牙齿三维外观模型进行AR重组的AR建模平台；所述AR建模平台与CT和三维光栅扫描仪均通信连接，以相互传输数据；所述AR建模平台输出AR模型，供人观察。

作为本***的进一步改进，还包括用于对根管三维透视影像进行中的牙体和根管影像进行分割和三维重建的三维分割重建平台，所述三维分割重建平台与CT通信连接，以获取CT扫描生成的根管三维透视影像；所述三维分割重建平台对牙体和根管影像进行分割和三维重建后生成根管透视模型，并传输给AR建模平台。

作为本***的进一步改进，还包括用于对牙齿三维外观模型进行点云编辑和面重建的三维点云处理平台，所述三维点云处理平台与三维光栅扫描仪通信连接，以获取牙齿三维外观模型；所述三维点云处理平台将牙齿三维外观模型进行点云编辑和面重建后输出牙齿模型给AR建模平台。

作为本***的进一步改进，还包括一用于编辑APP的交互设计平台，所述交互设计平台与AR建模平台通信连接；所述AR建模平台接收根管透视模型和牙齿模型后配准根管透视模型和牙齿模型的位置，并输出目标物识别和根管显示数据包给交互设计平台，所述交互设计平台编辑数据包并添加手势交互模式和语音交互模式中的一个或多个后导出APP给移动端。

作为本***的进一步改进，所述移动端至少具有话筒、九轴加速度传感器以及触摸显示屏，所述触摸显示屏用于显示APP和手势交互模式下人机交互，九轴加速度传感器用于通过移动端的姿态感应控制APP显示内容，话筒用于语音交互模式下人机交互。

作为本***的进一步改进，所述移动端还具有摄像头，所述摄像头用于牙齿目标物识别，在检测过程中捕捉当前病人的牙齿目标物影像，并根据当前牙齿影像查找APP内对应的目标物的牙齿模型对应的根管显示数据，当牙齿模型对应的目标物识别匹配成功时，对应的根管显示数据在APP上进行显示，且与牙齿目标物位置锁定进行显示。

本发明的有益效果，

1.使根管手术更精准；

2.减少根管手术对医生经验的依赖性；

3.实时显示牙齿内部实际根管的形状和走向；

4.虚拟三维根管图像与牙齿内部根管高度配准，并锁定在牙齿固定位置上，便于不同角度观察和测量。

附图说明

图1为本发明的步骤流程图；

图2为本发明的***框架示意图。

附图标号：1、CT；2、三维光栅扫描仪；3、三维分割重组平台；4、三维点云处理平台；5、AR建模平台；6、交互设计平台；7、移动端。

具体实施方式

下面将结合附图所给出的实施例对本发明做进一步的详述。

参照图1-2所示，本实施例的一种基于AR的根管监测方法，包括如下步骤：

S1、用CT扫描口腔，生成根管三维透视影像；

S2、对牙体和根管的三维透视影像进行分割和三维重建，并生成根管透视模型；

S3、三维光栅扫描仪扫描牙齿的三维外观模型以生成目标物模型；

S4、对三维外观模型进行点云编辑和面重建，并生成牙齿模型即目标物模型；

S5、将获得的根管透视模型和牙齿模型同时导入AR建模软件，并导出目标物识别和根管显示数据包；

S6、交互设计软件获取目标物识别和根管显示数据包并添加手势和语音交互模块，并生成APP；

S7、移动端获取APP并进行根管显示和交互检测。

基于步骤S1-S4，通过CT、三维分割重建软件、三维光栅扫描仪、三维点云处理软件获取病患牙齿的根管三维透视影像和牙齿的三维外观模型，并三维重建后生成STL格式的根管透视模型和牙齿模型，为后续步骤提供数据支持；在获取这两个模型后，进入步骤S5，通过AR建模软件，将根管透视模型和牙齿模型进行位置配准，并生成当前的牙齿模型与根管透视模型对应的目标物识别和根管显示数据包，该数据包可以存在后续生成的APP中，也可以存在外部服务器中；在步骤S6中，交互设计软件获取该数据包，并且对该数据包进行编辑，添加手势交互模块和语音交互模块，生成对应的APP，该APP可以与医生或者患者进行交互，通过手势交互或者语音交互来控制APP内的数据包进行显示内容和调整显示物的姿态，进而做到实时调整查看角度，能够辅助医生根据不同的查看角度来实时了解根管的整体情况，便于医生做到准确的治疗，与传统的凭借经验判断的方法不同，本方案可以让大部分医生快速上手根管治疗的操作，脱离对经验的依赖性。

基于上述检测方法，以下提供一种基于AR的根管监测***，包括用于获取根管三维透视影像的CT1、用于扫描口腔中的牙齿获取牙齿三维外观模型的三维光栅扫描仪2、对根管三维透视影像和牙齿三维外观模型进行AR重组的AR建模平台5；所述AR建模平台5与CT1和三维光栅扫描仪2均通信连接，以相互传输数据；所述AR建模平台5输出AR模型，供人观察。

通过CT1扫描来对患者的口腔进行扫描，获取患者的根管三维透视影像，此后，通过三维光栅扫描仪2来扫描患者口腔中的牙齿，获取牙齿三维外观模型，AR建模平台5可以根据获取的根管三维透视影像和牙齿三维外观模型进行AR重组制作，生成AR数据影像，医生和病患可以直接通过该AR数据影像来观察当前患者的根管情况，便于更明了的分析和沟通。

作为方便AR重组的一种优化，本***还包括用于对根管三维透视影像进行中的牙体和根管影像进行分割和三维重建的三维分割重建平台，所述三维分割重建平台与CT1通信连接，以获取CT1扫描生成的根管三维透视影像；所述三维分割重建平台对牙体和根管影像进行分割和三维重建后生成根管透视模型，并传输给AR建模平台5。

在AR建模平台5对根管三维透视影像进行AR重组时，可以事先通过三维分割重建平台来对CT1扫描获得的根管三维透视影像进行分割和重组，能够将三维透视影像中的牙体部分分割剔除，留下根管部分的影像，并且重组生成STL格式的透视模型，便于AR建模平台5直接获取该格式的透视模型进行AR重组，就不需要人为根据根管的三维透视影像进行AR重组编辑，大幅度提升了AR建模的效率。

进一步提高AR建模效率的一种优化，本***还包括用于对牙齿三维外观模型进行点云编辑和面重建的三维点云处理平台4，所述三维点云处理平台4与三维光栅扫描仪2通信连接，以获取牙齿三维外观模型；所述三维点云处理平台4将牙齿三维外观模型进行点云编辑和面重建后输出牙齿模型给AR建模平台5。

三维点云处理平台4接收光栅扫描仪扫描后得到的牙齿三维外观模型，并对其进行点云编辑和面重建，同样生成STL格式的牙齿模型，与透视模型的生成方式同样，可以减少为人手动建模的操作，加快AR建模效率，并且能够将牙齿模型和透视模型进行位置匹配，使根管的透视模型与牙齿模型的位置对应，便于后续调用查看。

上述的三维分割重建平台为现有的三维分割重建软件，三维点云处理平台4为现有的三维点云处理软件，在与CT1和三维光栅扫描仪2进行通信连接的计算机平台进行操作输出。当然，该计算机与CT1和三维光栅扫描仪2通信的方式能够经过数据媒介进行转移，例如U盘、硬盘等。AR建模平台5为现有的AR建模软件。

作为改进的一具体实施方式，还包括一用于编辑APP的交互设计平台6，所述交互设计平台6与AR建模平台5通信连接；所述AR建模平台5接收根管透视模型和牙齿模型后配准根管透视模型和牙齿模型的位置，并输出目标物识别和根管显示数据包给交互设计平台6，所述交互设计平台6编辑数据包并添加手势交互模式和语音交互模式中的一个或多个后导出APP给移动端7。

通过交互设计平台6对根管透视模型和牙齿模型进行打包设计，将多组根管透视模型和牙齿模型进行对应整合并存储，将该整合后的数据制作成APP，并且在该APP中加入手势交互模式和语音交互模式，医生或者病患可以通过两种交互模式与APP进行交互，以改变显示的根管透视模型和牙齿模型的位置、姿态、大小以及透明度等，便于用户交互和查看。

对于该实施方式，更具体的来说，所述移动端7至少具有话筒、九轴加速度传感器以及触摸显示屏，所述触摸显示屏用于显示APP和手势交互模式下人机交互，九轴加速度传感器用于通过移动端7的姿态感应控制APP显示内容，话筒用于语音交互模式下人机交互。

移动端7可以采用现有的手机、平板电脑、计算机、笔记本电脑等，通过话筒来采集用户的语音信息，配合APP中的语音交互模式进行语音控制，其中九轴加速度传感器及触摸显示屏，能够用于显示根管透视模型和牙齿模型的状态，同时也能够配合手势交互模式控制根管透视模型和牙齿模型的显示状态。

更进一步的优化，所述移动端7还具有摄像头，所述摄像头用于牙齿目标物识别，在检测过程中捕捉当前病人的牙齿目标物影像，并根据当前牙齿影像查找APP内对应的目标物的牙齿模型对应的根管显示数据，当牙齿模型对应的目标物识别匹配成功时，对应的根管显示数据在APP上进行显示，且与牙齿目标物位置锁定进行显示。

该摄像头用于捕捉当前病患的牙齿齿形，通过将该牙齿齿形与APP内或者服务器内的牙齿模型匹配能够快速调用当前病患的治疗的牙齿对应的根管显示数据，并且APP将该根管显示数据与摄像头中捕捉到的牙齿目标物进行锁定，根据当前牙齿目标物的姿态，匹配后显示在患者的牙齿目标物上，并且根管显示数据显示的在APP上的影像随着摄像头捕捉到的视角的改变而改变。此时医生在查看患者的根管状态时，可以直接通过APP来从服务器或者APP内部调用当前患者的根管状态，由此，医生只需要通过APP和摄像头配合查看患者的牙齿即可，病患自行到达相应的部门进行CT1扫描和三维光栅扫描，扫描完成后，等待医生用APP配合摄像头查看，医生可以更加准确明了的了解用户的根管状态，不需要通过经验来判断，使得分析结果更加准确，辅助医生判断病情，让手术更加精准。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于AR的根管监测***，包括用于获取根管三维透视影像的CT(1)、用于扫描口腔中的牙齿获取牙齿三维外观模型的三维光栅扫描仪(2)、对根管三维透视影像和牙齿三维外观模型进行AR重组的AR建模平台(5)；所述AR建模平台(5)与CT(1)和三维光栅扫描仪(2)均通信连接，以相互传输数据；所述AR建模平台(5)输出AR模型，供人观察；

还包括用于对根管三维透视影像进行中的牙体和根管影像进行分割和三维重建的三维分割重建平台，所述三维分割重建平台与CT(1)通信连接，以获取CT(1)扫描生成的根管三维透视影像；所述三维分割重建平台对牙体和根管影像进行分割和三维重建后生成根管透视模型，并传输给AR建模平台(5)；

还包括一用于编辑APP的交互设计平台(6)，所述交互设计平台(6)与AR建模平台(5)通信连接；所述AR建模平台(5)接收根管透视模型和牙齿模型后配准根管透视模型和牙齿模型的位置，并输出目标物识别和根管显示数据包给交互设计平台(6)，所述交互设计平台(6)编辑数据包并添加手势交互模式和语音交互模式中的一个或多个后导出APP给一移动端(7)；

所述移动端(7)还具有摄像头，所述摄像头用于牙齿目标物识别，在检测过程中捕捉当前病人的牙齿目标物影像，并根据当前牙齿影像查找APP内对应的目标物的牙齿模型对应的根管显示数据，当牙齿模型对应的目标物识别匹配成功时，对应的根管显示数据在APP上进行显示，且与牙齿目标物位置锁定进行显示。

2.根据权利要求1所述的基于AR的根管监测***，其特征在于，还包括用于对牙齿三维外观模型进行点云编辑和面重建的三维点云处理平台(4)，所述三维点云处理平台(4)与三维光栅扫描仪(2)通信连接，以获取牙齿三维外观模型；所述三维点云处理平台(4)将牙齿三维外观模型进行点云编辑和面重建后输出牙齿模型给AR建模平台(5)。

3.根据权利要求2所述的基于AR的根管监测***，其特征在于，所述移动端(7)至少具有话筒、九轴加速度传感器以及触摸显示屏，所述触摸显示屏用于显示APP和手势交互模式下人机交互，九轴加速度传感器用于通过移动端(7)的姿态感应控制APP显示内容，话筒用于语音交互模式下人机交互。

4.一种基于AR的根管监测方法，其应用于权利要求2或3所述的基于AR的根管监测***，其特征在于，包括如下步骤：

S1、用CT扫描口腔，生成根管三维透视影像；

S2、对牙体和根管的三维透视影像进行分割和三维重建，并生成根管透视模型；

S3、三维光栅扫描仪扫描牙齿的三维外观模型以生成目标物模型；

S4、对三维外观模型进行点云编辑和面重建，并生成牙齿模型即目标物模型；

S5、将获得的根管透视模型和牙齿模型同时导入AR建模软件，并导出目标物识别和根管显示数据包；

S6、交互设计软件获取目标物识别和根管显示数据包并添加手势和语音交互模块，并生成APP；

S7、移动端获取APP并进行根管显示和交互检测。

Images