CN117480354A - 用于口腔内扫描的光学相干断层扫描 - Google Patents

用于口腔内扫描的光学相干断层扫描 Download PDF

Info

Publication number
CN117480354A
CN117480354A CN202280039433.0A CN202280039433A CN117480354A CN 117480354 A CN117480354 A CN 117480354A CN 202280039433 A CN202280039433 A CN 202280039433A CN 117480354 A CN117480354 A CN 117480354A
Authority
CN
China
Prior art keywords
oct
image
light source
image sensor
end effector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280039433.0A
Other languages
English (en)
Inventor
克里斯托弗·约翰·奇列洛
菲利普·杰托
瑞恩·卢卡斯·菲尔德
布莱恩·金
迪安·艾迪生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception Technology Co
Original Assignee
Perception Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception Technology Co filed Critical Perception Technology Co
Priority claimed from PCT/US2022/022550 external-priority patent/WO2022212507A1/en
Publication of CN117480354A publication Critical patent/CN117480354A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

提供了用于从口腔内光学相干断层扫描生成三维模型的***和方法。

Description

用于口腔内扫描的光学相干断层扫描
交叉引用
本申请要求于2021年3月30日提交的美国临时专利申请号63/167,868,于2021年4月21日提交的美国临时专利申请号63/177,463,于2021年5月5日提交的美国临时专利申请号63/184,653,于2021年5月6日提交的美国临时专利申请号63/185,276,于2021年5月7日提交的美国临时专利申请号63/185,618,于2021年5月24日提交的美国临时专利申请号63/192,482,于2021年5月28日提交的美国临时专利申请号63/194,553,于2021年7月2日提交的美国临时专利申请号63/218,108和于2021年7月30日提交的美国临时专利申请号63/227,865的权益,前述申请通过引用并入本文。
背景技术
光学相干断层扫描(OCT)是一种通常用于医学应用的成像模式。普通实施方式目前使用频扫或宽带光源,其根据要成像的组织的类型在一定频率(波长)范围内发射光。使用从组织内返回的光的反射来创建组织微观结构的断层照片。
扫频光源OCT成像***通常包括光源、光耦合器或分束器、参考臂、光束扫描***和传感器。OCT成像***还可以耦合到处理器。标准扫频光源OCT***如图1所图示。光源100发射电磁波谱的可见和/或红外区内的光。在任何时刻,从光源发射具有窄带波长的激光。光源使用腔内的光谱滤光器来控制激光波长。发射波长的范围取决于光源的增益介质。示例性扫频光源发射具有0.1mm的瞬时线宽的激光,该激光从1250nm扫至1350nm。
来自扫频激光源的光通过光环行器,该光环行器将光引入2×2耦合器。所述耦合器在具有几乎相同光程长度的“参考”臂与“样本”臂之间分光。参考臂将光反射回2×2耦合器。样本臂包含用于将光操纵并聚焦到样本上的元件,该元件调制光并继而将其反射回2×2耦合器。来自两个臂的光在耦合器处重新组合,这在组合的光中生成光学干涉。组合光从两个臂中的2×2耦合器输出,这两个臂被发送到平衡检测器(一个直接来自2×2耦合器,一个经由环形器)。平衡检测器测量来自两个臂的所测量的光信号之间的差。由于两个输入臂之间的180°相移,检测器隔离了干扰信号,因此DC信号被抵消,而干扰信号加倍。在光源的扫描范围内,针对许多不同的波长取得来自检测器的数据,继而由计算机进行处理,以生成所使用的最终OCT信号。
光源的扫频速率决定OCT***的图像获取速率。光源的每次扫频对应于穿过组织的一列,即轴向扫描。样本臂内较慢的横向扫描用于收集2D图像的多个轴向扫描。该过程类似地继续,扫出多个横向扫描以形成3D体积图像。
通常使用计算机对数据集的每列进行重采样和傅立叶变换。体积图像由4元组(x,y,z,v)表示,其中x,y,z对应于空间位置,v对应于指定空间位置处的组织的反射率。
扫频激光需要更大的扫频速率,以更快的速度成像。然而,以快速速率扫描激光通常会带来负面后果。当扫频速率增加时,收集的反射光的量减少,因此降低了信噪比。可以增加光源的瞬时线宽以提供更大的光功率,但这会减少OCT仪器的有效成像范围。
在缺乏机械稳定的情况下,现有技术光源的当前状态不够快,无法在足够短的时段内捕获足够的样本,并且没有足够的功率来防止运动和噪声伪影出现在收集的3D体积中,从而降低了这些体积内结构的位置精度。
作为增加扫频速率的替代方案,现有技术OCT***减少了单个图像中捕获的扫描次数,这必然会降低捕获体积的分辨率或大小。因此,为了维持相同的空间横向分辨率,必须收集大量的单独体积图像帧并将其拼接在一起,以捕获牙体解剖结构的扩展体积。增加单独图像的数量增加了将单独图像拼接在一起以形成单个合成图像所需的计算负荷。
牙科学中的OCT成像存在上述问题,长帧成像时间和有限的视野通常需要多个帧来捕获整个单个牙齿的解剖结构,更不用说捕获整个牙弓的完整牙列。本公开描述了一种使用稳定和运动控制***来克服这些问题的设备和方法,该稳定和运动控制***使得能够以良好的位置精度和已知的空间关系来捕获多个体积图像(帧),从而能够快速、准确和有效地对帧进行拼接。
此外,牙科学中的OCT成像的穿透深度有限,比牙齿深度浅,因此需要在最大OCT穿透深度以下进行成像。本公开描述了一种通过在手术期间在牙齿的一部分已经被切割***移除之后取得OCT图像在最大OCT穿透深度以下进行成像的方法。
发明内容
本文提供了一种将色彩重叠到由光学相干断层扫描(OCT)***捕获的图像上的方法的实施方式,包括:在OCT***的第一图像传感器捕获目标区域的第一图像期间,追踪第一图像传感器的位置;在第二图像传感器捕获目标区域的第二图像期间,追踪第二图像传感器的位置,其中第二图像传感器是彩色图像传感器;在OCT图像中找到表面边界;将第二图像传感器的位置数据与第一图像传感器相关联,以将由第一图像传感器捕获的OCT图像与由第二图像传感器捕获的彩色图像对准;以及将彩色图像叠加到从OCT图像提取的表面边界上。
在一些实施方式中,目标区域的第一图像的捕获包括用光源照射目标区域,其中照射目标区域包括用红色光源、绿色光源和蓝色光源顺序地照射目标区域。在一些实施方式中,红色光源、绿色光源和蓝色光源每个以结构化图案发射光。在一些实施方式中,红色光源、绿色光源和蓝色光源各自包括窄带光源。在一些实施方式中,捕获目标区域的第一图像包括用白色光源照射目标区域,并且其中方法还包括应用红色带通滤光器、绿色带通滤光器和蓝色带通滤光器。在一些实施方式中,顺序地应用红色带通滤光器、绿色带通滤光器和蓝色带通滤光器。在一些实施方式中,白色光源发射结构化光图案。
在一些实施方式中,第二图像传感器包括摄像机。在一些实施方式中,第一图像传感器捕获目标区域的第一图像,并且同时地第二图像传感器捕获目标区域的第二图像。在一些实施方式中,第一图像传感器捕获目标区域的第一图像,并且顺序地第二图像传感器捕获目标区域的第二图像。
在一些实施方式中,方法还包括在捕获第一图像之前,稳定第一图像传感器。在一些实施方式中,经由机械稳定***实现稳定。在一些实施方式中,经由机电致动器实现稳定。在一些实施方式中,经由反馈控制实现稳定。在一些实施方式中,经由前馈控制实现稳定。
在一些实施方式中,经由反馈控制和前馈控制的组合实现稳定。在一些实施方式中,通过利用扫描激光共焦显微图像的光学稳定方法实现稳定,扫描激光共焦显微图像继而反馈到OCT扫描机构中的扫描仪以实时主动地修正目标运动。在一些实施方式中,通过被动手段和主动手段的组合实现稳定。在一些实施方式中,追踪第一图像传感器的位置包括相对于紧固到至少一颗牙齿上的夹钳追踪第一图像传感器。在一些实施方式中,第一图像传感器设置在机器人***的末端执行器上。
在一些实施方式中,机器人***包括控制器和编码器,其中控制器和编码器追踪末端执行器的位置。在一些实施方式中,控制器接收夹钳的位置数据。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第一图像传感器捕获。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第二图像传感器捕获。在一些实施方式中,控制器自动地使末端执行器相对于夹钳稳定。在一些实施方式中,末端执行器的移动是完全自动化的。在一些实施方式中,当控制器自动地使末端执行器相对于夹钳稳定时,末端执行器的移动由使用者控制。在一些实施方式中,追踪第二图像传感器的位置包括相对于紧固到至少一颗牙齿上的夹钳追踪第二图像传感器。在一些实施方式中,第一图像传感器设置在机器人***的末端执行器上。在一些实施方式中,机器人***包括控制器和编码器,其中控制器和编码器追踪末端执行器的位置。在一些实施方式中,控制器接收夹钳的位置数据。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第一图像传感器捕获。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第二图像传感器捕获。在一些实施方式中,控制器自动地使末端执行器相对于夹钳稳定。在一些实施方式中,末端执行器的移动是完全自动化的。在一些实施方式中,当控制器自动地使末端执行器相对于夹钳稳定时,末端执行器的移动由使用者控制。
在一些实施方式中,方法还包括基于从OCT图像提取的表面边界生成三维表面区域。在一些实施方式中,方法还包括突出显示龋齿区域。
本文提供了一种使用光学相干断层扫描执行口腔内扫描以对牙体解剖结构进行成像的方法的实施方式,包括:使用由机械稳定***支撑的OCT***执行体积扫描,以捕获口腔内表面的至少两个部分重叠的图像;识别牙齿的外表面处的OCT信号强度的变化;和使用分割算法从口腔内表面的至少两个部分重叠的图像生成牙齿表面的三维模型;以及使用拼接算法将至少两个部分重叠的图像彼此配准。
在一些实施方式中,同时捕获至少两个部分重叠的图像。在一些实施方式中,顺序地捕获至少两个部分重叠的图像。在一些实施方式中,牙体解剖结构包括牙齿的龈下表面。在一些实施方式中,牙体解剖结构是与相邻牙齿的表面接触的牙齿的表面。
在一些实施方式中,方法还包括在捕获第一图像之前稳定OCT***。在一些实施方式中,经由机电致动器实现稳定。在一些实施方式中,经由反馈控制实现稳定。在一些实施方式中,经由前馈控制实现稳定。在一些实施方式中,经由反馈控制和前馈控制的组合实现稳定。在一些实施方式中,通过利用扫描激光共焦显微图像的光学稳定方法实现稳定,扫描激光共焦显微图像继而反馈到OCT扫描机构中的扫描仪以实时主动地修正目标运动。在一些实施方式中,通过被动手段和主动手段的组合实现稳定。
在一些实施方式中,第一图像传感器设置在机器人***的末端执行器上。在一些实施方式中,机器人***包括控制器和编码器,其中控制器和编码器追踪末端执行器的位置。在一些实施方式中,控制器接收夹钳的位置数据。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第一图像传感器捕获。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第二图像传感器捕获。在一些实施方式中,控制器自动地使末端执行器相对于夹钳稳定。
在一些实施方式中,末端执行器的移动是完全自动化的。在一些实施方式中,当控制器自动地使末端执行器相对于夹钳稳定时,末端执行器的移动由使用者控制。在一些实施方式中,追踪第二图像传感器的位置包括相对于紧固到至少一颗牙齿上的夹钳追踪第二图像传感器。在一些实施方式中,第一图像传感器设置在机器人***的末端执行器上。在一些实施方式中,机器人***包括控制器和编码器,其中控制器和编码器追踪末端执行器的位置。在一些实施方式中,控制器接收夹钳的位置数据。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第一图像传感器捕获。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第二图像传感器捕获。在一些实施方式中,控制器自动地使末端执行器相对于夹钳稳定。在一些实施方式中,末端执行器的移动是完全自动化的。在一些实施方式中,当控制器自动地使末端执行器相对于夹钳稳定时,末端执行器的移动由使用者控制。
本文提供了一种用于映射对象的三维(3D)牙体解剖结构的***的实施方式,包括:OCT***的第一图像传感器;第二图像传感器,其中第二图像传感器是彩色图像传感器;和计算设备,该计算设备包括处理器和具有计算机程序的非瞬态计算机可读存储介质,该计算机程序包括可由处理器执行的指令,该指令使得处理器:将由第一图像传感器捕获的OCT图像与由第二图像传感器捕获的彩色图像对准;以及将彩色图像叠加到从OCT图像中提取的表面边界上。
在一些实施方式中,第二图像传感器的视场大于或等于第一图像传感器的视场。在一些实施方式中,***还包括紧固到对象的至少一颗牙齿上的夹钳,其中夹钳向计算设备提供对象的牙体解剖结构的位置数据。
在一些实施方式中,***还包括机器人铰接***,该机器人铰接***包括:机器人臂,机器人臂包括末端执行器,其中末端执行器耦合到第一图像传感器和第二图像传感器;编码器***,该编码器***用于提供机器人臂和末端执行器的位置数据,其中机器人臂的位置数据被传送到计算设备,以促进由第一图像传感器捕获的OCT图像与由第二图像传感器捕获的彩色图像的对准。在一些实施方式中,机器人铰接***还包括控制器,并且其中控制器从夹钳接收对象的牙体解剖结构的位置数据,并且其中控制器自动定位机器人臂以保持末端执行器相对于夹钳的稳定性。
在一些实施方式中,OCT***还包括用于照射对象的牙体解剖结构的光源。在一些实施方式中,光源用红色光源、绿色光源和蓝色光源顺序地照射牙体解剖结构。在一些实施方式中,红色光源、绿色光源和蓝色光源每个以结构化图案发射光。在一些实施方式中,红色光源、绿色光源和蓝色光源各自包括窄带光源。在一些实施方式中,光源包括照射白色光源,并且其中在由第二图像传感器成像期间,顺序地应用红色带通滤光器、绿色带通滤光器和蓝色带通滤光器。在一些实施方式中,白色光源发射结构化光图案。在一些实施方式中,第二图像传感器包括彩色摄像机。
本文提供了一种用于扫描对象的3D牙体解剖结构的***的实施方式,包括:发射信号的发射器;捕获3D牙体解剖结构的检测器;和相对于检测器平移发射器的致动器。
在一些实施方式中,扫描***包括发射器阵列、检测器阵列或两者。在一些实施方式中,当发射器和检测器在对象的口内时,检测器捕获对象的3D牙体解剖结构。在一些实施方式中,当发射器相对于检测器静止时,检测器检测由发射器发射的信号。在一些实施方式中,当发射器相对于检测器平移时,检测器检测由发射器发射的信号。在一些实施方式中,发射器或检测器相对于对象是静止的。在一些实施方式中,发射器、检测器或两者相对于对象平移。在一些实施方式中,当发射器相对于检测器静止时,检测器检测由发射器发射的信号。在一些实施方式中,发射器和检测器相对于对象是静止的。在一些实施方式中,发射器和检测器相对于对象平移。在一些实施方式中,发射器是光源。在一些实施方式中,检测器是光学相干断层扫描(OCT)检测器、红外扩散光学断层扫描(DOT)检测器或两者。在一些实施方式中,发射器是X射线发射器,并且其中检测器是X射线检测器。在一些实施方式中,致动器包括机器人。
本文提供了一种获取多颗牙齿的单个组合图像的***的实施方式,该***包括:具有口腔内探针的OCT成像设备;具有位置和取向传感器以及末端执行器的铰接臂;和计算设备,该计算设备包括处理器和具有计算机程序的非瞬态计算机可读存储介质,该计算机程序包括可由处理器执行的指令,该指令使处理器计算用于将单独的OCT图像体积映射到单个组合图像中的3D坐标系变换。
在一些实施方式中,***还包括紧固到对象的至少一颗牙齿上的夹钳,其中夹钳向计算设备提供位置数据以提供对象的多颗牙齿的参考点。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由OCT成像设备捕获。在一些实施方式中,***还包括控制器,其中控制器接收夹钳的位置数据,并且其中控制器自动定位机器人臂以保持末端执行器相对于夹钳的稳定性。
在一些实施方式中,***还包括照射多颗牙齿的光源。在一些实施方式中,光源用红色光源、绿色光源和蓝色光源顺序地照射多颗牙齿。在一些实施方式中,红色光源、绿色光源和蓝色光源每个以结构化图案发射光。在一些实施方式中,红色光源、绿色光源和蓝色光源各自包括窄带光源。在一些实施方式中,光源包括白色光源,并且其中在由OCT成像设备成像期间,顺序地应用红色带通滤光器、绿色带通滤光器和蓝色带通滤光器。在一些实施方式中,白色光源发射结构化光图案。
本文提供了一种获取多颗牙齿的单个组合图像数据的***的实施方式,该***包括:具有口腔内探针的OCT成像设备;刚性连接到牙体解剖结构的一部分的支撑固定装置,该支撑固定装置具有位置和取向传感器以及末端执行器;包括计算设备,该计算设备包括处理器和具有计算机程序的非瞬态计算机可读存储介质,该计算机程序包括可由处理器执行的指令,该指令使处理器计算用于将单独的OCT图像体积映射到单个组合图像中的3D坐标系变换。
在一些实施方式中,支撑固定装置向计算设备提供位置数据,以提供对象的多颗牙齿的参考点。在一些实施方式中,支撑固定装置的位置数据由设置在夹钳上的基准提供且由OCT成像设备捕获。
本文提供了一种获取多颗牙齿的单个组合图像的方法的实施方式,该方法包括:a)使用刚性连接到铰接臂的OCT扫描仪探针捕获牙体解剖结构的一部分的第一OCT图像,该铰接臂被配置为测量OCT扫描仪的位置和取向;b)将铰接臂移动到第二位置和取向;c)使用OCT扫描仪探针捕获牙体解剖结构的一部分的第二OCT图像,该第二图像与该第一图像部分重叠;d)使用第一图像与第二图像之间的相对位置和取向信息来创建组合第一图像和第二图像的单个体积图像;和e)在随后的位置和取向中重复从步骤(b)开始的过程,并将附加图像与先前组合的图像组合,以形成牙体解剖结构的扩展部分的单个图像。
本文提供了一种从牙体解剖结构中移除龋性病变的***的实施方式,该***包括:配置有口腔内探针的OCT扫描设备;牙钻;铰接臂,该铰接臂配置有末端执行器的;该铰接臂刚性连接到口腔内OCT探针和牙钻;和控制铰接臂的移动的计算设备。
本文提供了一种从牙体解剖结构中移除龋性病变的方法的实施方式,包括:a)用OCT成像设备扫描目标牙体解剖结构;b)分析图像以识别龋性病变;c)确定连接到计算机控制的主动铰接机器人臂的牙钻的切割路径;d)沿着切割路径移动牙钻,以移除不想要的材料;和e)重复以步骤(a)开始的过程,直到没有检测到进一步的龋性病变。
援引并入
本说明书中提及的所有出版物、专利和专利申请均以引用的方式并入本文,其程度如同每个单独的出版物、专利或专利申请被具体和单独地指明以引用的方式并入本文一样。
附图简要说明
本发明的新颖特征在所附权利要求中详细阐述。通过参考阐述了其中利用了本发明的原理的说明性实施方式的以下详细描述和附图,将获得对本发明的特征和优点的更好理解,在附图中:
图1描绘了根据一些实施方式的形成3D模型的方法;和
图2A-图2C描绘了根据一些实施方式的用于建模的咬合口腔内区。
图3示出了根据一些实施方式的用于口腔内牙体断层扫描成像***的示例性框图***。
图4示出了根据一些实施方式的用于口腔内牙体断层扫描成像***的示例性框图***。
图5示出了根据一些实施方式的与口腔内牙体断层扫描成像***结合使用的自动牙体治疗***。
具体实施方式
本文提供的是一种***的实施方式,该***用于通过使用具有机械运动控制***的光学相干断层扫描(OCT)***捕获牙体解剖结构的多个体积图像帧来产生患者牙体解剖结构的扩展部分的单个组合体积图像,该***包括:具有探针的OCT成像设备,该探针适于定位在口中以捕获牙体解剖结构的一部分的OCT体积图像帧;具有多个关节或轴和末端执行器的铰接臂,该铰接臂能够将臂定位在口腔内并提供足够的稳定性以确保所捕获的OCT图像的良好位置精度;铰接臂的末端执行器和OCT成像传感器的口腔内部分之间的刚性连接;跟踪成像传感器的位置和取向的传感器;具有软件的计算机,该软件使用所追踪的位置和取向信息来配准由OCT成像***捕获的多个帧,以形成目标牙体解剖结构的单个体积图像。
在一些实施方式中,铰接臂包括由旋转关节或线性轴连接的多个刚性元件。在一些实施方式中,关节是被动的。在一些实施方式中,关节是主动的并且包括机电致动器。在一些实施方式中,机电致动器包括编码器以捕获电动机的位置。在一些实施方式中,线性轴是被动的。在一些实施方式中,线性轴是主动的并且包括机电致动器。在一些实施方式中,机电致动器包括编码器以捕获电动机的位置。在一些实施方式中,传感器被集成到关节和轴中。在一些实施方式中,传感器是不包括在关节或轴中的分离的离散元件。在一些实施方式中,传感器是集成和离散元件的组合。在一些实施方式中,根据关节和轴位置和取向传感器信息与成像传感器之间的已知关系来计算成像传感器的位置和取向。
在一些实施方式中,经由机电致动器实现稳定。在一些实施方式中,经由反馈控制实现稳定。在一些实施方式中,经由前馈控制实现稳定。在一些实施方式中,经由反馈和前馈控制的组合来实现稳定。在一些实施方式中,通过利用扫描激光共焦显微图像的光学稳定方法来实现稳定,所述扫描激光共焦显微图像继而反馈到OCT扫描机构中的扫描仪以实时主动地修正目标运动。在一些实施方式中,通过被动和主动手段的组合来实现稳定。
在一些实施方式中,没有使用铰接臂,并且OCT扫描仪探针直接附接到支撑固定装置上,该支撑固定装置直接地、刚性地且可拆卸地连接到患者牙体解剖结构的一部分。在一些实施方式中,扫描仪探针刚性地连接到支撑固定装置。在一些实施方式中,扫描仪探针可以相对于目标牙齿沿着诸如轨道或类似设备的线性轴线可释放地平移,以捕获牙体解剖结构的不同部分的图像。在一些实施方式中,支撑扫描仪探针的轨道可以可释放地围绕牙体解剖结构的一部分旋转,以从牙体解剖结构的多个视图捕获图像,如图3所示。
在一些实施方式中,OCT扫描仪探针直接地和刚性地附接到支撑固定装置,该支撑固定装置直接地、刚性地、可拆卸地或可移动地连接到地面。在一些实施方式中,患者将其下颌骨放置在支撑固定装置的一部分上。在一些实施方式中,患者将其前额放置在支撑固定装置的一部分上。在一些实施方式中,患者将他们的下颚和前额放置在支撑固定装置上。在一些实施方式中,扫描仪探针刚性地连接到支撑固定装置。在一些实施方式中,扫描仪探针可以相对于目标牙齿沿着诸如轨道或类似设备的线性轴线可释放地平移,以捕获牙体解剖结构的不同部分的图像。在一些实施方式中,支撑扫描仪探针的轨道可以围绕牙体解剖结构的一部分可释放地旋转,以从牙体解剖结构的多个视图捕获图像。
在一些实施方式中,跟踪图像传感器的位置包括相对于紧固在至少一颗牙齿上的夹钳跟踪图像传感器。在一些实施方式中,第一图像传感器设置在机器人***的末端执行器上。在一些实施方式中,机器人***包括控制器和编码器,其中控制器和编码器跟踪末端执行器的位置。在一些实施方式中,控制器接收夹钳的位置数据。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第一图像传感器捕获。在一些实施方式中,夹钳的位置数据由设置在夹钳上的基准提供且由第二图像传感器捕获。在一些实施方式中,控制器自动地使末端执行器相对于夹钳稳定。在一些实施方式中,末端执行器的移动是完全自动化的。在一些实施方式中,当控制器自动地使末端执行器相对于夹钳稳定时,末端执行器的移动由使用者控制。
本文提供的是一种方法的实施方式,该方法用于通过使用具有机械运动控制***的光学相干断层扫描(OCT)***捕获牙体解剖结构的多个体积图像帧来产生患者牙体解剖结构的扩展部分的单个组合体积图像,该方法包括:将可移动的OCT成像传感器移动到口腔中的第一位置;跟踪OCT像传感器的位置和取向;捕获OCT体积图像帧;将成像传感器移动到口腔中的第二位置;跟踪所述第二位置和取向;捕获第二OCT图像;基于所跟踪的位置和取向信息来叠加第一图像和第二图像;以及重复步骤以顺序地捕获和叠加附加的OCT体积图像帧,直到捕获了解剖结构的所期望的部分。
在一些实施方式中,图像分割算法用于从体积图像帧中提取表面边界信息。在一些实施方式中,除了位置和取向信息之外,还使用所提取的表面边界信息来顺序地叠加多个图像体积。
本发明提供了一种方法的实施方式,该方法在手术程序期间通过在已移除部分牙体解剖结构后重复捕获OCT体积图像来捕获附加的牙体解剖结构。考虑到OCT的穿透深度有限,并且在一些情况下需要在该深度以下进行可视化,我们创建了一个过程来对这种更深的材料进行成像。该过程在1)移除牙体解剖结构和2)捕获附加的OCT图像的步骤之间交替迭代地重复。在一些实施方式中,分析OCT图像以确定是否存在附加的腐烂。在一些实施方式中,该过程被进一步详细描述为:1)除了接近腐烂的材料所需的任何所需的健康解剖结构之外,移除可见的腐烂的牙体解剖结构,以及2)捕获附加的OCT图像,该OCT图像捕获附加的牙体解剖结构。
在一些实施方式中,该过程继续进行,直到在OCT图像中没有发现进一步的腐烂。在一些实施方式中,OCT图像由***操作员分析,以确定任何附加的龋性病变的存在和位置。在一些实施方式中,通过诸如卷积深度神经网络(CNN)的AI算法来分析OCT图像,以确定任何附加的龋性病变的存在和位置。
本文提供了使用光学相干断层扫描(OCT)进行口腔内扫描的***和方法的实施方式。在一些实施方式中,使用从OCT扫描捕获的数据来生成口腔内表面的3D模型。
I.自动模块化牙体定位***
在一些实施方式中,提供了用于牙体扫描的模块化多自由度牙体定位***。在一些实施方式中,提供了一种牙体末端执行器。在一些实施方式中,牙体末端执行器包括用于光学相干断层扫描(OCT)扫描仪、微型计算机断层扫描扫描仪、口腔内X射线计算机断层扫描扫描仪、近红外光学断层扫描扫描仪、扩散光学断层扫描扫描仪、扩散光学成像扫描仪、超声扫描仪或其组合的探针。
在一些实施方式中,牙体定位***通过静态或动态配准***跟踪患者移动,以将机器人基座与牙体解剖结构配准。
在一些实施方式中,牙体定位***包括由多个刚性元件组成的主动铰接臂,这些刚性元件通过旋转关节或线性轴连接,配置为在多个自由度上平移和旋转(定位)牙体末端执行器。在一些实施方式中,关节和轴是被动的。在一些实施方式中,多个关节和轴是主动的且包括机电致动器。在一些实施方式中,机电致动器包括编码器以捕获电动机的位置。在一些实施方式中,线性轴是被动的。在一些实施方式中,线性轴是主动的且包括机电致动器。在一些实施方式中,机电致动器包括编码器以捕获电动机的位置。在一些实施方式中,传感器被集成到关节和轴中。在一些实施方式中,传感器是不包括在关节或轴中的分离的离散元件。在一些实施方式中,传感器是集成和离散元件的组合。在一些实施方式中,根据关节和轴位置和取向传感器信息和成像传感器之间的已知关系来计算成像传感器的位置和取向。
在一些实施方式中,跟踪牙体末端执行器相对于口具壳体的平移,该口具壳体被配置为至少部分定位在对象的口中。在一些实施方式中,跟踪牙体末端执行器相对于附接至对象的一颗或多颗牙齿的牙钳的平移。在一些实施方式中,跟踪牙体末端执行器相对于口具壳体和牙钳的平移,所述口具壳体被配置为至少部分地定位在对象的口中。
在一些实施方式中,牙体定位***包括末端执行器与控制和/或数据获取***之间的单向数据连接。在一些实施方式中,牙体定位***包括末端执行器与控制和/或数据获取***之间的双向数据连接。在一些实施方式中,牙体定位***包括末端执行器与控制和/或数据获取***之间的多方向数据连接。
在一些实施方式中,OCT探针相对于牙齿的位置和取向信息被用作图像拼接的输入。在一些实施方式中,OCT相对于牙齿的位置信息使得能够成像更大的体积。在一些实施方式中,当每个扫描的相对位置连同扫描仪的光学细节已知时,允许将多个OCT扫描组合成更大的体积。在一些实施方式中,OCT扫描仪在扫描期间保持足够稳定,从而抑制失真和/或运动伪影。
II.自动OCT牙体注册***
在一些实施方式中,OCT用于校准设备与牙齿表面的高精度配准。在一些实施方式中,OCT利用扫描牙齿,其中末端执行器在框架中。在一些实施方式中,OCT扫描牙齿,其中牙钳在框架中。在一些实施方式中,OCT增加了牙钳配准的精度。在一些实施方式中,牙齿、牙钳和末端执行器被捕获在框架中。在一些实施方式中,实时执行使用OCT的校准。在一些实施方式中,使用OCT的校准在手术前执行。在一些实施方式中,异步地执行OCT的校准。
III.自动稳定的口腔内牙体扫描仪***
模块化多自由度牙体定位***可包括一个或多个成像传感器。该一个或多个成像传感器可以包括OCT扫描仪、扫描激光共焦显微镜、口腔内扫描仪、荧光成像仪、图像传感器、微CT扫描仪、口腔内X射线CT、照相机、扩散光学断层扫描扫描仪、扩散光学成像扫描仪、近红外光学断层扫描扫描仪、摄像机、彩色照相机、彩色摄像机、三维照相机或超声扫描仪、光学口腔内表面扫描仪或其组合。在一些实施方式中,一个或多个成像传感器被稳定到牙齿。在一些实施方式中,一个或多个传感器被稳定到多颗牙齿。在一些实施方式中,一个或多个传感器被稳定到颌。在一些实施方式中,该***相对于牙齿、多颗牙齿或颌稳定传感器以减少运动伪影。在一些实施方式中,牙体定位***包括一个或多个自由度。在一些实施方式中,该***包括至少5个自由度。
在一些实施方式中,经由稳定***的机械设计,通过被动(即开环)手段实现稳定。在一些实施方式中,通过经由机电致动器的主动手段来实现稳定。在一些实施方式中,经由反馈控制来实现主动稳定。在一些实施方式中,经由前馈控制来实现主动稳定。在一些实施方式中,经由反馈和前馈控制的组合来实现主动稳定。
在一些实施方式中,通过利用扫描激光共焦显微图像的光学稳定方法实现稳定,然后将其反馈到OCT扫描机构中的扫描仪,以实时主动地修正目标运动。在一些实施方式中,通过被动和主动手段的组合来实现稳定。在一些实施方式中,通过利用透镜的光学稳定方法来实现稳定。
A.手动致动牙体扫描仪稳定***
手动致动模块化多自由度牙体定位***可包括一个或多个成像传感器。一个或多个成像传感器可包括OCT扫描仪、扫描激光共焦显微镜、口腔内扫描仪、图像传感器、微CT扫描仪、口腔内X射线CT、扩散光学断层扫描扫描仪、扩散光学成像扫描仪、近红外光学断层扫描扫描仪、荧光成像仪、口腔内或口腔外红外激光CT、照相机、摄影机、彩色照相机、彩色摄影机、三维照相机,或超声扫描仪或其组合。在一些实施方式中,一个或多个成像传感器被稳定到牙齿。在一些实施方式中,一个或多个成像传感器被稳定到多颗牙齿。在一些实施方式中,一个或多个传感器被稳定到颌。在一些实施方式中,该***使成像传感器相对于牙齿稳定以减少运动伪影。在一些实施方式中,牙体定位***包括一个或多个自由度。在一些实施方式中,该***包括至少5个自由度。
在一些实施方式中,有被动稳定但自动定位。在一些实施方式中,有被动稳定但受控的机械定位。在一些实施方式中,有被动稳定和手动定位。在一些实施方式中,有将成像器连接到目标牙齿的静态固定装置。该静态固定装置可以具有一个固定位置、多个固定位置或包含某种形式的轨道***。在一些实施方式中,临床医生使用的和临床医生已知的手指放置技术使临床医生能够执行患者头部移动的宏观跟踪,并且上述光学或另一种稳定方法执行微观水平的跟踪和稳定。
IV.OCT探针
在一些实施方式中,OCT扫描仪包括探针,其被设计成跨越TD(时域)OCT、SD-OCT(谱域)和/或SS-OCT(扫频源)的样本臂中的目标表面扫描点聚焦OCT光束。在一些实施方式中,OCT扫描仪是探针,其被设计成跨越线场TD OCT、SD-OCT和/或SS-OCT的样本臂中的目标表面扫描线聚焦OCT光束。在一些实施方式中,OCT扫描仪是探针,其被设计成跨越全场TDOCT和/或SS-OCT的样本臂中的目标表面扫描平行OCT光束(均匀光场光束)。在优选实施方式中,OCT扫描仪包括具有1310nm的中心波长的SS-OCT,其在大约100nm的范围内扫频。
在一些实施方式中,光源是宽带光源。在一些实施方式中,光源是白炽光源。在一些实施方式中,光源是气体放电源。在一些实施方式中,光源是发射光二极管。在一些实施方式中,光源是超辐射发射光二极管(SLD)。在一些实施方式中,光源是超短脉冲激光器。在一些实施方式中,光源是超连续谱激光器。在一些实施方式中,光源是具有不同发射波长和带宽的光源的组合。在一些实施方式中,光源是激光器。在一些实施方式中,光源是可以扫频一定范围波长的波长扫频激光器。在一些实施方式中,光源是可以扫频一定范围的光频的光频扫频激光器。在一些实施方式中,光源不是激光器。在一些实施方式中,光源不是准直的。在一些实施方式中,光源光束聚焦或发散。在一些实施方式中,光源在待成像物体的表面上具有焦点。在一些实施方式中,光源在待成像物体的表面上具有线聚焦光束。在一些实施方式中,OCT扫描仪从多于一个位置发射光。在一些实施方式中,OCT扫描仪发射均匀的光场。
在一些实施方式中,OCT探针在患者牙齿相对于OCT探针的单个位置处捕获具有多个波长的数据。在一些实施方式中,OCT探针在患者牙齿相对于OCT探针的单个位置处捕获具有多个光频的数据。在一些实施方式中,本文的***不包括或不采用用于结构化照明的投影仪。
在一些实施方式中,***使用OCT***和OCT探针中的偏振光学器件(包括偏振器、波片、法拉第旋转器、偏振光纤、偏振保持光纤等或其组合)实现的OCT信号的偏振敏感检测,以改善从牙齿中的病理材料返回的OCT信号相对于从健全组织返回的OCT信号的幅度。病理材料包括龋性病变、白斑、牙体填充物、牙体植入材料等。
在一些实施方式中,***使用OCT***和OCT探针中的偏振光学器件(包括偏振器、波片、法拉第旋转器、偏振光纤、偏振保持光纤等或其组合)实现的OCT信号的偏振敏感检测,以获得从牙齿中的病理材料返回的OCT信号相对于从健全组织返回的OCT信号的相位延迟。病理材料包括龋性病变、白斑、牙体填充物、牙体植入材料等。
在一些实施方式中,***使用OCT***和OCT探针中的偏振光学器件(包括偏振器、波片、法拉第旋转器、偏振光纤、偏振保持光纤等或其组合)实现的OCT信号的偏振敏感检测,以获得从牙齿中的病理材料返回的OCT信号相对于从健全组织返回的OCT信号的振幅和相位延迟。病理材料包括龋性病变、白斑、牙体填充物、牙体植入材料等。
在一些实施方式中,OCT光束应用于目标区域,以执行高分辨率成像,从而识别蛀牙、龋齿或其他牙齿缺陷。在一些实施方式中,分辨率是变化的。在一些实施方式中,***以相对大的视场和大的横向扫描间隔捕获部分牙体解剖结构的3D OCT扫描,作为快速生成相对低分辨率的3D体积图像的手段。在一些实施方式中,使用较小的视场和较小的横向扫描间隔来生成牙体解剖结构的感兴趣区域的较高分辨率的3D体积图像。
在一些实施方式中,将保持模块化多自由度牙体定位***的固定主体上的指定点的位置用作为坐标系的原点(“原点”)。在一些实施方式中,固定主体是机械定位***。在一些实施方式中,嵌入在牙体定位***中的位置和取向传感器用于提供OCT头与原点的相对位置。在一些实施方式中,定位***中的关节角度和线性轴位置编码器用于提供OCT头与原点的相对位置。在一些实施方式中,OCT头与原点的相对位置用于定义坐标变换矩阵。在一些实施方式中,坐标变换矩阵继而用于将来自OCT扫描仪的OCT数据的坐标变换到机械定位***主体的坐标系中。在一些实施方式中,从不同位置和取向取得的多个OCT扫描被转换到机械定位***主体的坐标系中,从而用于生成牙体组织(例如牙弓)的扩展体积的单个体积3D模型。在一些实施方式中,使用其它图像配准技术作为上述坐标变换方法的补充,以在OCT扫描之间提供更精确的图像配准。在一些实施方式中,使用分割算法从对应于OCT图像中捕获的多颗牙齿的外表面的OCT扫描中提取3D表面信息。在一些实施方式中,表面配准算法,例如基于所提取的表面信息的迭代最近点(ICP)算法,用于配准多个OCT扫描以提高精度。在一些实施方式中,ICP算法与从定位***提供的位置和取向信息结合使用,以提高体积图像配准的精度。
在一些实施方式中,收集的OCT数据集中的空间失真(如透镜失真)通过预校准移除。在一些实施方式中,通过测量OCT探针***和用于获得OCT信号的光学器件的特性来获得该预校准。在一些实施方式中,通过使用基于物理的模拟,例如使用几何光学和射线跟踪方法,模拟OCT***和用于获得OCT信号的光学器件的特性,来获得该预校准。在一些实施方式中,通过对OCT***和用于获得OCT信号的光学器件的测量和基于物理的模拟的组合来获得该预校准。
在一些实施方式中,通过操纵OCT扫描仪,从同一目标的不同位置、取向或视角取得的多个OCT图像被配准并组合,以创建更完整的OCT数据集。在一些实施方式中,手动执行OCT扫描仪相对于相同目标的操纵。在一些实施方式中,通过机械定位***(例如机器人***)自动执行OCT扫描仪相对于相同目标的操纵。在一些实施方式中,通过使用机械定位***上的OCT扫描仪的坐标系数据来辅助这些多个图像的配准。在一些实施方式中,相邻OCT图像之间的重叠用于将OCT图像配准在一起。在一些实施方式中,5-15%的OCT图像重叠以将OCT图像配准在一起。在一些实施方式中,15-20%的OCT图像重叠以将OCT图像配准在一起。在一些实施方式中,20-30%的OCT图像重叠以将OCT图像配准在一起。在一些实施方式中,30-40%的OCT图像重叠以将OCT图像配准在一起。在一些实施方式中,40-50%的OCT图像重叠以将OCT图像配准在一起。在一些实施方式中,50-60%的OCT图像重叠以将OCT图像配准在一起。在一些实施方式中,60-70%的OCT图像重叠以将OCT图像配准在一起。在一些实施方式中,70-80%的OCT图像重叠以将OCT图像配准在一起。在一些实施方式中,80-90%的OCT图像重叠以将OCT图像配准在一起。在一些实施方式中,90-99%的OCT图像重叠以将OCT图像配准在一起。
在一些实施方式中,从3D OCT数据集提取的样本目标的表面信息可用于其他捕获的OCT图像的配准。在一些实施方式中,由OCT扫描仪从同一目标重复获取的多个OCT图像被配准并组合/平均,以创建最终OCT数据集的改进质量。
在光学上不同的材料之间的界面(例如,空气和牙釉质,如邻间表面之间的小气隙,或牙龈和牙釉质之间的界面),通常会产生更强烈的反射。在一些实施方式中,由OCT检测到的超过气隙的第一表面被识别为牙齿或牙龈表面。在一些实施方式中,使用分割算法来识别牙齿的表面,包括牙齿表面可能被咬合的邻间和龈下区中的那些表面。在一些实施方式中,通过机器学习的分割用于识别牙齿的表面,包括牙齿表面可能被咬合的邻间和龈下区。在一些实施方式中,利用边缘检测算法来识别牙齿或牙龈表面。在一些实施方式中,利用诸如人工智能图像识别的其它计算机视觉技术来识别牙齿或牙龈表面。
在一些实施方式中,利用多个图像来推断咬合表面的轮廓。在一些实施方式中,扫描仪(例如,口腔内图像扫描仪)捕获接近咬合表面的多个图像。在一些实施方式中,多个扫描仪同时捕获接近咬合表面的多个图像。在一些实施方式中,在单个口腔内探针上提供多个扫描仪。
参考图2A-图2C,描绘了可由本文所述的***和方法推断出的咬合表面。参考图2A和图2B,可以通过本文所述的***和方法来推断可能被相邻牙齿视觉阻挡的咬合表面。在一些实施方式中,参考图2B,牙体解剖结构的三维表示允许从该表示中移除相邻的牙齿,使得能够观察到咬合表面210的表示。在一些实施方式中,参考图2C,牙体解剖结构的三维表示允许龈下表面215的可视化。
在一些实施方式中,经由激光扫描的3D表面映射用于促进多个3D OCT体积数据集的共同配准。在一些实施方式中,经由激光共焦扫描或其他光学口腔内扫描设备的3D表面映射用于促进多个3DOCT体积数据集的共同配准。在一些实施方式中,完全从3D OCT数据推断对象的表面轮廓信息。
V.自动OCT引导的机器人牙体手术***
本文提供了一种***和方法的实施方式,该***和方法通过在移除部分牙体解剖结构后重复捕获OCT体积图像来在手术程序期间捕获扩展的牙体解剖结构。在一些实施方式中,该***包括具有末端执行器的铰接臂,其中末端执行器刚性地连接到牙钻设备和能够捕获牙齿内部结构的一部分的口腔内成像设备,例如OCT扫描仪,如图2所示。在一些实施方式中,该***包括连接到OCT扫描仪的计算机。在一些实施方式中,该***包括计算机显示屏,该计算机显示屏被配置为示出由OCT扫描仪捕获的图像。
在一些实施方式中,铰接臂是机动机械臂。在一些实施方式中,铰接式机动机器人臂包括连接到计算机的控制器。在一些实施方式中,计算机控制铰接臂的移动。
在一些实施方式中,铰接臂是被动的。在一些实施方式中,操作人员控制铰接臂。
在一些实施方式中,铰接臂通过静态或动态配准***跟踪患者移动,以将机器人基座与牙体解剖结构配准。
在一些实施方式中,该方法开始于捕获牙齿部分的口腔内OCT扫描。对捕获的牙体解剖结构进行分析,以确定龋性病变(龋齿)的位置。在一些实施方式中,操作人员分析计算机显示器上所示的图像,以确定是否存在附加的龋性病变及其位置。
在一些实施方式中,通过经过训练的AI算法(如卷积深度神经网络(CNN))分析捕获的牙体解剖结构,以确定任何附加龋性病变的存在和位置。在一些实施方式中,AI确定铰接臂的运动路径,从而移动牙钻设备以移除不想要的材料。
该过程在以下步骤之间交替迭代地重复:1)除接触腐烂的材料所需的任何所需的健康解剖结构之外,还移除可见的腐烂的牙体解剖结构,以及2)捕获附加的OCT图像,直到在OCT图像中没有识别出进一步的腐烂。
A.扫描头
在一些实施方式中,扫描头(OCT,或IOS,或扫描激光共聚焦显微镜、或显微CT、口腔内X射线CT、X射线发射器、X射线检测器、漫射光学断层扫描扫描仪、漫射光学成像扫描仪、近红外光学断层扫描扫描仪、口腔内或口腔外红外激光CT或摄像机等)不是手持的。在一些实施方式中,扫描头是手动(例如,通过转动耦合到平移或旋转阶段的旋钮)或自动(例如,通过电机)机械致动的。
在一些实施方式中,用于牙体扫描程序的模块化多自由度牙体定位***起到稳定扫描仪相对于牙齿的作用,以减少运动伪影。在一些实施方式中,稳定的扫描仪是OCT扫描仪。在一些实施方式中,稳定的扫描仪是口腔内扫描仪。在一些实施方式中,OCT扫描仪包括扫描激光共聚焦显微镜扫描机构。在一些实施方式中,稳定的扫描仪是摄像机。在一些实施方式中,稳定的扫描仪是微型CT。在一些实施方式中,稳定的扫描仪是超声波。在一些实施方式中,稳定的扫描仪是口腔内X射线CT。在一些实施方式中,稳定的扫描仪是口腔内或口腔外红外激光CT。在一些实施方式中,稳定的扫描仪是漫射光学断层扫描扫描仪。在一些实施方式中,稳定的扫描仪是漫射光学成像扫描仪,在一些实施方式中,稳定的扫描仪是近红外光学相干断层扫描扫描仪。在一些实施方式中,稳定扫描仪是上述两个或更多个实施方式的组合。在一些实施方式中,用于扫描部分或全部牙体解剖结构的机械结构减少了上述识别的任何扫描模式的图像捕获过程中的运动伪影。
B.带集成式口腔内扫描仪(IOS)或集成式摄像机的OCT探针
在一些实施方式中,设备使用第二个扫描仪,其附属于具有独立光路的OCT扫描仪(例如,两个扫描仪在空间上彼此相邻,但具有独立光路的实施方式)。在一些实施方式中,来自两个扫描仪的数据可以同时地、顺序地或在时间上交错地捕获。在一些实施方式中。一种用于扫描牙弓或半牙弓的机械结构减少了来自OCT、口腔内扫描或视频捕获的图像捕获过程的运动伪影。
1.带集成式摄像机/彩色表面扫描
在一些实施方式中,一个扫描仪是OCT扫描仪,另一个扫描仪是静态的或摄像机。在一些实施方式中,一个扫描仪是OCT扫描仪,并且一个扫描仪是扫描激光共焦显微镜扫描仪。在一些实施方式中,至少一个扫描仪包括OCT扫描仪、口腔内扫描仪、扫描激光共焦显微镜扫描仪、图像传感器、微CT扫描仪、口腔内X射线CT、口腔内或口腔外红外激光CT、扩散光学断层扫描扫描仪、扩散光学成像扫描仪、近红外光学断层扫描扫描仪、照相机、摄像机、彩色照相机、彩色摄像机、三维照相机或超声扫描仪或其组合。在一些实施方式中,摄像机图像被配准到从先前收集的OCT扫描数据中提取的3D表面上。在一些实施方式中,静止的或视频数据不用于配准OCT数据。
在一些实施方式中,至少提供两个扫描仪。在一些实施方式中,第一扫描仪包括OCT扫描仪,第二扫描仪包括彩色照相机。在一些***实施方式中,彩色照相机和OCT扫描仪之间的已知相对位置和取向用于将彩色图像映射到由OCT成像的3D表面上。相对位置和取向由3D OCT数据生成。在一些实施方式中,通过将彩色图像与从3D OCT数据生成的2D投影图像配准来完成将彩色图像映射到OCT数据的3D表面上。
在一些实施方式中,映射到OCT数据表面的彩色图像用于突出显示牙齿缺陷,如蛀牙、碎片和龋齿。在一些实施方式中,口腔内扫描***还映射牙龈表面。在一些实施方式中,将彩色图像映射到牙龈表面上。在一些实施方式中,映射到OCT数据表面上的彩色图像用于突出显示牙龈缺陷,例如牙龈炎、牙周病、牙龈萎缩和多余牙斑区域。
在一些实施方式中,分析获得的彩色图像的强度水平,以定位和/或突出显示牙齿缺陷和牙龈缺陷。在一些实施方式中,使用诸如边缘检测和最近邻算法的计算机视觉技术来识别牙齿和牙龈缺陷。
在一些实施方式中,3D OCT数据和实况视频是在两个之间同时地、顺序地或交错地捕获的。在一些实施方式中,从不同的视点取得的3D OCT数据和实况视频数据。在一些实施方式中,3D OCT数据和实况视频不共同配准。在一些实施方式中,3D OCT数据和实况视频是不同的。在一些实施方式中,摄像机的视场大于或等于OCT扫描仪的视场。
在一些实施方式中,用宽带可见光源照射摄像机的视场,该光源具有或不具有带通滤光器。在一些实施方式中,用宽带白炽灯照射摄像机的视场。在一些实施方式中,用宽带可见范围放电灯照射摄像机的视场。在一些实施方式中,用宽带可见范围LED照射摄像机的视场。在一些实施方式中,光源是超发光LED。在一些实施方式中,光源是激光器。在一些实施方式中,光源是宽带激光器。在一些实施方式中,光源是窄带激光器。在一些实施方式中,光源是多个激光器。在一些实施方式中,多个激光器发射多个波长的光。在一些实施方式中,光源不是LED灯、激光器或二者之一。在一些实施方式中,照相机的视场由位于与照相机的壳体分离的壳体中的光源照射。在一些实施方式中,一个或多个光纤电缆用于将来自照明光源的光传送到照相机的视场。在一些实施方式中,多个激光器发射红色、绿色和蓝色波长的光。
在一些实施方式中,宽带可见范围LED照射牙齿组织,并且彩色照相机用于捕获牙体组织外表面的彩色图像。在一些实施方式中,所捕获的彩色图像被映射到通过OCT成像的3D表面上。在一些实施方式中,OCT捕获数据,从OCT数据中提取牙体组织的外表面,然后将彩色图像映射到表面图像上以提供牙齿表面的表示。在一些实施方式中,该***包括显示器,因为颜色渲染取决于照相机/光源和显示器的细节。在一些实施方式中,捕获的图像被处理并显示在校准的监视器上,使得颜色被精确地渲染。
在一些实施方式中,牙医使用精确渲染的彩色表面图来分析牙体解剖结构的颜色。在一些实施方式中,从OCT数据中提取3D牙体表面以供进一步使用(例如规划切割路径),但不向用户显示。
2.带口腔内扫描的OCT
在一些实施方式中,经由一个或多个3D口腔内扫描(IOS)方法收集牙体解剖结构的3D表面数据。在一些实施方式中,将图像或视频配准到从先前收集的3D IOS扫描数据提取的3D表面上。
在一些实施方式中,3D IOS数据和实况视频或图像被同时地、顺序地或彼此交错地捕获。在一些实施方式中,3D IOS数据和实况视频或图像数据是从不同的视点/视角取得的。在一些实施方式中,3D IOS数据和实况视频或图像不是共同配准的。在一些实施方式中,3D IOS数据和实况视频或图像是不同的。在一些实施方式中,使用牙齿/多个牙齿的3DIOS扫描来生成牙齿表面的3D模型。在一些实施方式中,OCT数据、3D扫描数据或其组合用于生成牙齿表面几何形状/拓扑结构的3D模型。
在一些实施方式中,三角测量用于测量牙体解剖结构的3D表面。在一些实施方式中,将变换矩阵应用于三角化表面扫描以将其与收集的3D OCT数据配准。在一些实施方式中,3D IOS使用至少2个空间分离的位置,可预测的图案化光从所述至少2个空间分离的位置与一个或多个摄像机一起被投射到表面上以推断3D表面数据。图案化光可以使用投影仪的1D或2D阵列或者照射的1D或2D衍射网格来生成。
在一些实施方式中,3D IOS使用衍射光学阵列(其以1D或2D布置,并且光源以线性或Z字形方式扫频,以用变化图案的混合连续组照射目标)以及一个或多个摄像机来推断3D表面数据。在一些实施方式中,实时修改衍射光学阵列以实现最佳的深度分辨率和最小的遮挡。在一些实施方式中,衍射光学阵列是可变形镜阵列。在一些实施方式中,衍射光学阵列是空间光调制器阵列。在一些实施方式中,衍射光学阵列是可变形透镜阵列。
在一些实施方式中,3D IOS使用多个不同波长的结构光图案结合成像传感器上的多波长滤光器。例如,蓝光、绿光和红光的三个偏移图案可以与具有拜耳滤光器的成像传感器一起使用。在一些实施方式中,3D IOS使用非成像光学器件来创建将激光散斑模拟为点照明的高度详细的结构化光图案,并使用一个或多个摄像机来推断3D表面数据。在一些实施方式中,3D IOS使用非成像光学器件来创建高度详细的激光散斑图案作为点照明,并使用一个或多个摄像机来推断3D表面数据。
在一些实施方式中,3D IOS使用来自空间上不同的源的一组同时投影的结构化图案,这些结构化图案可以被同时成像,并且随后被光学地或数字地分解成来自每个光源的单独图像(例如,经由滤光或光学傅立叶滤光或数字傅立叶滤光),以及一个或多个摄像机来推断3D表面数据。
在一些实施方式中,IOS生成点云作为3D扫描程序的一部分。在一些实施方式中,通过基于采样区中的点云数据的密度向3D表面数据分配权重来评估IOS数据。在该实施方式中,一旦使用上述权重确定点是有效的,则将点添加到3D模型。在一些实施方式中,数据被赋予0的权重,在这种情况下数据不被包括在内。在一些实施方式中,数据被赋予小于某个阈值的权重,在这种情况下,数据不被包括在内。
在一些实施方式中,基于对由其他手段(例如机器学习生成的模型)生成的初始模型估计的拟合,IOS数据被包括在内。随着模型中包含更多的IOS数据,模型估计将从初始估计进行细化。在一些实施方式中,机器学习算法包括卷积深度神经网络(CNN)方法。
在一些实施方式中,连续和/或分析表面拟合算法用于确定3D表面数据的有效性。例如,在一些实施方式中,协方差行列式和/或克拉美罗(Cramer-Rao)界用于确定测量点是否属于表面。
在一些实施方式中,人工智能(AI)或机器学习方法用于从点云数据创建3D模型。在一些实施方式中,生成对抗性网络(GAN)用于从点云数据创建3D模型。在图1中,红色框指的是采用现有的3D牙齿模型,并使用来自瞬态3D模型(手指、嘴唇、脸颊、工具)的“噪声”对其进行修改的AI。蓝色框指的是检测并移除这些离群值以创建尽可能接近基线的结果模型的AI。通过比较结果和基线3D模型来测量GAN的每次迭代的成功。在一些实施方式中,卷积神经网络(CNN)使用通过在采样数据集进行训练而提取的颌和牙齿对称性来将点云映射到没有伪影的牙齿的3D模型。
在一些实施方式中,根据其与平均位置的偏差大小,移除离群点。在一些实施方式中,基于在样本序列中排序的点和对平滑(例如,分段连续多项式)表面的拟合来移除离群点。在一些实施方式中,在不使用权重的情况下自动移除离群点。在一些实施方式中,使用机器学习来识别和移除3D扫描数据中的离群值。
图1描绘了方法工作流的实施方式。在一些实施方式中,红色的步骤表示采用现有的3D牙齿模型并用来自瞬时3D模型(手指、嘴唇、脸颊、工具)的“噪声”对其进行修改的AI模型。在一些实施方式中,蓝色的步骤表示AI模型检测并移除这些离群值以使其回到基线。
在一些实施方式中,通过与基线无异常模型度量(灰色)进行比较来训练蓝色AI。在一些实施方式中,使用蓝色性能度量(灰色)来训练红色AI以改进异常添加。在一些实施方式中,在操作中,只有蓝色AI存在并执行与上述类似的操作。
在一些实施方式中,图1可以被解释为GAN训练方法的图。在一些实施方式中,训练从无异常模型(灰色)开始。在一些实施方式中,该方法包括注入模拟异常(红色AI)。在一些实施方式中,该方法包括转换为点云(红色AI)。在一些实施方式中,该方法包括读取点云(蓝色AI)。在一些实施方式中,该方法包括检测并移除点云空间中的异常(蓝色AI)。在一些实施方式中,该方法包括分割3D模型(蓝色AI)。在一些实施方式中,该方法包括检测并移除3D模型空间中的异常(蓝色AI)。
VI.摆位和定位***
在一些实施方式中,摆位和定位***包括静态固定装置、具有各种位置的静态固定装置、具有轨道的静态固定装置、有动力的机器人设备、无动力的机器人设备、与牙齿上、设备上或外部放置的照相机组合的外部基准或内部基准、陀螺仪及其任意组合。
在一些实施方式中,了解多个体积/图像之间的空间关系,或具有更好的初始估计将减少计算时间。如果多个图像之间的空间关系不精确,则了解空间关系允许计算器的播种,从而允许更快地收敛于空间关系。
A.受控扫描***
本发明提供了一种用于扫描对象的3D牙体解剖结构的***。在一些实施方式中,该***包括发射器、检测器和相对于检测器平移发射器的致动器。在一些实施方式中,扫描***不包括致动器,其中发射器被配置为相对于检测器手动平移。在一些实施方式中,扫描***包括一个发射器和一个检测器。在一些实施方式中,扫描***包括一个发射器和检测器阵列。在一些实施方式中,扫描***包括发射器阵列和一个检测器。在一些实施方式中,扫描***包括发射器阵列和检测器阵列。在一些实施方式中,当发射器和检测器在对象的口内时捕获对象的3D牙体解剖结构。
在一些实施方式中,当发射器相对于检测器静止时,检测器检测由发射器发射的信号。在一些实施方式中,当发射器相对于检测器平移时,检测器检测由发射器发射的信号。
在一些实施方式中,当发射器相对于检测器静止时,检测器检测由发射器发射的信号,其中发射器和检测器相对于对象是静止的。在一些实施方式中,当发射器相对于检测器静止时,检测器检测由发射器发射的信号,其中发射器和检测器相对于对象平移。在一些实施方式中,当发射器相对于检测器平移时,检测器检测由发射器发射的信号,其中检测器相对于对象是静止的。在一些实施方式中,当发射器相对于检测器平移时,检测器检测由发射器发射的信号,其中检测器、发射器或两者相对于对象是静止的。
在一些实施方式中,发射器是光源,其中检测器是扩散光学断层扫描(DOT)检测器。在一些实施方式中,发射器是光源,其中检测器是红外扩散光学断层扫描(DOT)检测器。在一些实施方式中,发射器是X射线发射器,其中检测器是X射线检测器。在一些实施方式中,致动器包括机器人。
在一些实施方式中,本发明包括自动的、手动的、支架引导的或手动控制的扫描***,其中扫描仪至少包括发射器和检测器。扫描仪移动以捕获所需的3D体积,和/或保持扫描仪相对于患者的解剖结构静止以减少运动伪影。在一些实施方式中,扫描方法采用漫射光学断层扫描,其中使用单个光源或光源阵列来处理照明,并且使用围绕成像物体的单个检测器或检测器阵列来处理检测,其中光源和检测器都位于口腔内。在一些实施方式中,扫描方法采用红外扩散断层扫描,其中使用单个红外光源或红外光源阵列来处理照明,并且使用围绕成像物体的单个检测器或检测器阵列来处理检测,其中光源和检测器都位于口腔内。在一些实施方式中,扫描方法采用X射线计算机断层扫描,其中使用单个光源或光源阵列来处理照明,并且使用围绕成像物体的单个检测器或检测器阵列来处理检测,其中光源和检测器都位于口腔内。在一些实施方式中,传感器可以保持静止,并且发射器可以相对于目标解剖结构(例如牙齿)移动。在一些实施方式中,传感器可以相对于目标解剖结构(例如牙齿)移动,发射器可以保持静止。在一些实施方式中,传感器和发射器都被移动。移动这些部件,以便从多个位置捕获更多数据,从而在3D中重建目标组织,以引导手术机器人。
VII.3D模型数据显示方法
在一些实施方式中,以着色视图、横截面视图、部分透明视图、阴影视图或其任何组合来显示牙齿的3D模型。在一些实施方式中,不将牙齿的3D模型显示为线框渲染。在一些实施方式中,在至多两个横截面中显示牙齿的3D模型。在一些实施方式中,牙齿的3D模型以基于滑块输入、所确定的感兴趣区域或两者的对比度来显示。在一些实施方式中,彩色牙齿表面数据可以由用户切换为开或关,或者使其具有变化的不透明度。
A.收集数据的使用
在一些实施方式中,OCT数据或3D体积数据用于生成部分或全部患者牙体解剖结构(整个牙齿、整个牙弓、颊咬合配准区等)的3D模型。该模型可包括3D表面数据(其可包括诸如龈下牙齿表面的咬合表面)、3D体积数据或两者。
在一些实施方式中,OCT数据或3D体积数据用于引导机器人牙体手术。在一些实施方式中,OCT用于利用手术前图像引导机器人牙体手术。在一些实施方式中,使用OCT或3D体积数据来引导具有手术内图像的机器人牙体手术。
在一些实施方式中,OCT数据或3D体积数据用于预测和/或定位解剖或病理状况。在一些实施方式中,解剖或病理状况位于牙齿之间的接触、龈下牙齿表面上,并且可表现为龋病、裂缝、根管或骨折。在一些实施方式中,OCT或3D体积数据用于定位骨骼、牙根放置位置或缺齿区域或理想的牙种植体放置区域。
在一些实施方式中,OCT或3D体积数据用于创建治疗计划。在一些实施方式中,治疗计划由临床医生或用户批准。在一些实施方式中,使用机器人***来实施治疗计划。在一些实施方式中,OCT数据或3D体积数据用于引导机器人实施牙体程序。在一些实施方式中,该程序是牙体填充、牙冠、牙根管、牙体植入。在一些实施方式中,机器人控制是完全或部分自动化的。在一些实施方式中,牙医引导机械臂。
在一些实施方式中,OCT数据或3D体积数据、3D扫描数据和/或牙齿表面数据中的一个或组合用于确定病理体积。在一些实施方式中,病理体积构成龋病、牙齿断裂、牙齿吸收的精确定位体积。在一些实施方式中,病理包括软组织病理,包括牙龈炎或牙周炎。在一些实施方式中,病理包括骨病理,其包括骨囊肿。在一些实施方式中,使用OCT数据或3D体积数据、3D扫描数据、病理体积和/或牙齿表面几何形状/拓扑结构中的一个或组合来制作预备几何形状。在一些实施方式中,使用OCT数据、或3D体积数据、3D扫描数据、或牙齿表面几何形状/拓扑结构、病理体积、和/或预备体几何形状中的一个或组合来制作修复体几何形状。在一些实施方式中,使用OCT数据、或3D体积数据、3D扫描数据、牙齿表面几何形状/拓扑结构、预备体几何形状、病理体积、和/或修复体几何形状中的一个或组合来形成切割牙齿或移除病理组织的工具路径轨迹,或者在一些实施方式中制造牙体修复体或固定装置。工具路径可用于在切割牙齿/多颗牙齿之前或之后制造修复固定装置。
在一些实施方式中,制作了基于牙齿上已完成的预备体的3D模型的固定装置。这种产生牙体固定装置的方法包括创建牙体物品(例如,牙齿)的至少一部分的三维图像;生成在该牙体物品上执行的已完成的牙体预备体(例如,牙冠预备体)的3D模型;将与该三维模型相关联的数据发送到牙体假体产生设备;以及响应于接收到与完成的牙体预备体的3D模型相关联的数据,产生牙体假体。在一些实施方式中,假体是牙冠。在一些实施方式中,假体是植入物。在一些实施方式中,假体是牙体种植体基牙。
B.与自动牙体治疗***结合使用
在一些实施方式中,由本文的***和方法生成的三维(3D)模型或表示用于使用自动牙体治疗***构建切割路径或规划程序。
参考图5,根据一些实施方式描绘了自动牙体治疗***的示意图示。在一些实施方式中,牙体治疗***10包括与牙齿扫描仪14和机械臂16通信的中央处理单元12。在一些实施方式中,机械臂16包括至少六个自由度。在一些实施方式中,中央处理单元12控制牙体治疗***10的自动操作。在一些实施方式中,中央处理单元12接收图像文件、平移切割路径或自动移动指令。与OCT***和方法生成的3D表示相关的自动移动指令和切割路径的定位,如本文所述。
在一些实施方式中,中央处理单元12包括显示器24,在其上通过一系列屏幕提示引导手术过程。显示器24可以从需要手术干预的图像文件中渲染对象28中需要手术干预的目标牙齿的图像26。在一些实施方式中,投影切割路径包括待治疗的目标牙齿的图像上的视觉指示124。
在一些实施方式中,中央处理单元12控制机械臂16移除目标牙齿的区。牙体治疗***10可包括输入设备120、122,输入设备120、122例如可以是从用户接收手术指令以提供手术干预的键盘和鼠标。在一些实施方式中,指令由中央处理单元12接收。在一些实施方式中,手术指令包括待治疗的目标牙齿的图像上的视觉指示124。控制程序20可通过一系列屏幕提示(即,用户界面)引导用户通过牙体协议。在一些实施方式中,可归因于控制程序20的动作被理解为是指由中央处理单元12执行相关步骤。在一些实施方式中,牙体治疗***10包括静态存储器130,用于存储可由用户访问的患者概况和记录。在改进中,中央处理单元12还显示加载屏幕,该加载屏幕示出一系列患者记录并给出加载现有患者或创建新患者记录的选项。
图5描绘对象28坐在牙科椅上30。对象的头部可以通过头部约束32来固定。机械臂16可以包括用于执行牙体手术的末端执行器38。末端执行器38可以是数字控制的牙钻。在一些实施方式中,耦合器40用于将传统的高速电动牙体手持件附接到机械臂16。在一些实施方式中,工具转换器42允许自动工具更换机械臂的钻头。在一些实施方式中,牙体治疗***10包括被动定位编码器臂44,该自动定位编码器臂44跟踪患者位置并将其中继到中央处理单元12。
在一些实施方式中,机械臂16由多个关节臂组成,以允许末端执行器44的精确移动。在一些实施方式中,被动定位编码器臂44跟踪对象的头部运动和牙齿运动。在一些实施方式中,编码臂44由具有编码器的多个关节的臂组成,以生成其末端执行器的3D位置。在一些实施方式中,编码器被植根到与机器人臂相关的特定点。在一些实施方式中,编码器被夹到正在进行手术的目标牙齿后面的牙齿。在一些实施方式中,编码器被夹到靠近目标牙齿的牙齿。
在一些实施方式中,被动定位编码器臂44还包括传感器输出电缆,其用于将定位信息转移到中央处理单元12。在一些实施方式中,编码器臂包括生成末端执行器(即改进的橡胶坝夹钳)的3D位置的编码器。在一些实施方式中,当对象移动时,编码器臂44相对于在改进的橡胶坝夹钳上生成的往复力是被动的,并且该移动不会受到被动臂的阻力。例如,对象移动并且力被施加到橡胶坝夹钳,然后该力被转移到定位臂,并且对其移动的任何阻力将对橡胶坝夹钳生成往复力。在一些实施方式中,编码器臂44感测对象触发关闭程序的快速移动。在另一变型中,编码器臂44可操作以由对象(即,通过开关)关闭。
可与本文的OCT***和方法结合使用的示例性自动牙体治疗***包括在公开申请WO 2017/130060 A1中描述的自动牙体治疗***和在公开申请WO 2019/215512 A1中描述的自动牙钻***,前述通过引用并入本文。
VIII.定义
除非另有规定,否则本文所用的所有技术术语、符号和其他技术和科学术语或专有名词的含义与请求保护的主题所属领域的普通技术人员通常理解的含义相同。在一些情况下,为了清楚和/或便于参考,在本文中定义了具有通常理解的含义的术语,并且在本文中包括这样的定义不应被解释为表示与本领域中通常理解的实质差异。
在本申请中,各种实施方式可以以范围格式呈现。应当理解的是,范围格式的描述仅仅是为了方便和简洁,而不应被解释为对公开范围的不灵活限制。因此,对一个范围的描述应被视为具体公开了该范围内所有可能的子范围以及个别数值。例如,诸如从1至6等范围的描述应被视为已具体公开了从1至3、从1至4、从1至5、从2至4、从2至6、从3至6等子范围,以及该范围内的单个数字,例如1、2、3、4、5和6。这不论范围的宽度而适用。
如说明书和权利要求书中所使用的,单数形式“一”、“一个”和“该”包括复数引用,除非上下文另有明确规定。例如,术语“样本”包括多个样本,包括其混合物。
术语“确定”、“测量”、“评价”、“评估”、“测定”和“分析”在本文中经常互换使用,以表示测量的形式。术语包括确定元素是否存在(例如,检测)。这些术语可以包括定量、定性或定量和定性确定。评估可以是相对的或绝对的。“检测存在”除了根据上下文确定存在或不存在之外,还可以包括确定存在的某物的量。
术语“对象”、“个体”或“患者”在本文中经常互换使用。“对象”可以是含有表达的遗传物质的生物实体。生物实体可以是植物、动物或微生物,包括例如细菌、病毒、真菌和原生动物。对象可以是体内获得或体外培养的生物实体的组织、细胞及其后代。对象可以是哺乳动物。哺乳动物可以是人。对象可能被诊断或怀疑处于疾病的高风险中。在某些情况下,对象不一定被诊断或怀疑处于疾病的高风险中。
术语“体内”用于描述在对象体内发生的事件。
术语“体外”用于描述在对象体外发生的事件。不对对象进行体外测定。相反,它是在与对象分离的样本上执行的。对样本进行的体外测定的示例是“离体”测定。
术语“离体”用于描述发生在用于容纳实验室试剂的容器中的事件,以使其与获得材料的生物来源分离。离体测定可包括基于细胞的测定,其中采用活细胞或死细胞。离体测定还可涵盖不采用完整细胞的无细胞测定。
如本文所用,术语“约”数是指该数加上或减去该数的10%。术语“约”范围是指该范围减去其最低值的10%并加上其最大值的10%。
如本文所用,术语“治疗”是指用于在接受者中获得有益或期望的结果的药物或其它干预方案。有益或期望的结果包括但不限于治疗益处和/或预防益处。治疗益处可以是指症状或所治疗的潜在疾病的根除或改善。此外,通过根除或改善与潜在疾病相关联的一种或多种生理症状,可以获得治疗益处,从而在对象中观察到改善,尽管对象可能仍然受到潜在紊乱的折磨。预防效果包括延迟、预防或消除疾病或病症的出现,延迟或消除疾病或病症的症状的发作,减缓、停止或逆转疾病或病症的进展或其任意组合。为了预防益处,处于发展特定疾病的风险中的对象,或者报告疾病的一种或多种生理症状的对象,可以接受治疗,即使可能还没有做出这种疾病的诊断。
本文使用的章节标题仅用于组织目的,不应被解释为限制所描述的主题。
IX.实施例
以下实施例仅用于说明目的而被包括,并不旨在限制本发明的范围。
实施例1:使用机器人位置数据和来自收集数据的表面提取的OCT或3D体积数据图 像配准方法
在一些实施方式中,该方法包括识别机械臂的基座的坐标,该机械臂包含OCT扫描探针P0和两个取向向量U0和V0,该取向向量U0和V0与P0组合来定义机器人基座处的坐标系CS0。在一些实施方式中,在OCT扫描仪探针上建立具有位置P1和取向矢量U1和V1的第二坐标系,从而定义坐标系CS1。在一些实施方式中,扫描仪探针相对于机器人臂的位置需要校准,该校准可以在初始组装时或之后不时地进行。
如果机械臂和OCT或图像扫描仪探针固定,则只需识别一个坐标系。
在一些实施方式中,确定将点从CS1映射到CS0的变换矩阵M1。继而对牙体解剖结构的一部分执行第一OCT扫描。根据OCT扫描仪的设计参数和已知的CS1,已知所捕获的图像体积的空间位置和取向。图像体积的空间位置和取向由3D坐标系表示。应用M1矩阵以将图像体积的坐标系变换到机器人坐标系。在一些实施方式中,使用分割算法来提取所捕获的牙体解剖结构的多个特征的表面位置,诸如牙齿的一部分的外部边界。继而使用M1将从OCT提取的表面位置(x1,y1,z1)变换到机器人基座坐标系CS0中。
对象的第二OCT或3D体积图像扫描通过使用机械臂将OCT扫描仪探针移动到P2来执行,其中取向矢量U2和V2限定坐标系CS2。确定将点从CS2映射到CS0的变换矩阵M2。从第一位置和取向到第二位置和取向的移动可以由机器人自动完成。自动移动可以由控制设备控制。继而使用M2将第二图像体积的空间位置和取向变换到机器人基座坐标系CS0中。
在一些实施方式中,分割算法用于提取所捕获的牙体解剖结构的多个特征的表面位置,例如牙齿的一部分的外部边界。继而使用M2将从OCT提取的表面位置(x2,y2,z2)变换到机器人基座坐标系CS0中。继而将来自第一图像和第二图像的图像体积拼接在一起,形成更大的合成图像。重复上述方法以获得部分牙齿或多个完整和部分牙齿的扩展体积图像。在一些实施方式中,拼接算法通过在公共坐标系CS0中重叠第一图像和第二图像并且凭借平均表示牙体解剖结构的重叠部分的样本而合并重叠数据,来组合第一图像和第二图像。在一些实施方式中,所提取的表面数据用于使用诸如ICP的算法来改进两个图像体积的配准,以在组合体图像样本数据之前最小化两个所提取的表面上的3D点样本数据之间的距离。
在一些实施方式中,重复上述方法以获得表示表面拓扑、表面下的3D OCT或3D体积信息的全弓体积图像。在一些实施方式中,重复上述方法以获得表示表面拓扑、表面下的3D OCT或3D体积图像信息的颊咬合配准图像。
在一些实施方式中,从OCT或3D体积探针到物体表面的表面位置坐标(x,y,z)的识别使用OCT扫描仪探针和目标牙齿之间的气隙(或“工作距离”)的存在。气隙用于识别牙齿(或其一部分)的外表面。由于相对于OCT扫描探针的位置的OCT A扫描中最接近的大振幅峰值可以被识别为表面位置,可以促进识别。
在一些实施方式中,分割用于识别牙齿的表面,包括在近侧区处和牙龈组织(边缘)内的部分、其他牙体解剖结构(裂缝、管等)和龋病以及其他牙齿病理。在一些实施方式中,通过机器/深度学习来实现分割和识别。在一些实施方式中,该方法假设机器人的坐标系是绝对的。
实施例2:耦合到计算设备的示例性OCT***
参考图3,根据一些实施方式,用于获取牙体解剖结构的表示301的示例性***包括具有口腔内探针302的OCT成像设备307。在一些实施方式中,***包括铰接臂305。在一些实施方式中,刚性耦合器303将铰接臂305连接到探针302。在一些实施方式中,铰接臂设有位置和取向传感器306。在一些实施方式中,铰接臂设有末端执行器304,如本文所述。
在一些实施方式中,***包括计算设备308。在一些实施方式中,计算设备可操作地耦合到铰接臂305的位置和取向传感器306。在一些实施方式中,计算设备308可操作地耦合以从OCT成像***307接收图像。在一些实施方式中,计算设备包括处理器和具有计算机程序的非瞬态计算机可读存储介质。在一些实施方式中,计算程序包括可由处理器执行的指令,该指令使处理器计算用于将各个OCT图像体积映射到牙体解剖结构的单个组合表示的3D坐标系变换,如本文所公开的。在一些实施方式中,计算机程序利用从位置和取向传感器接收的位置数据以将位置/取向数据分配给各个OCT图像体积。换言之,在一些实施方式中,计算设备308通过使用位置/取向数据配准多个OCT帧来形成扩展的OCT体积。
如本文所公开,位置和取向数据可根据耦合到牙体解剖结构的一部分的支撑固定装置或夹钳的位置生成。在一些实施方式中,OCT***可以基于在OCT帧的一部分内捕获的支撑固定装置的一部分来配准OCT探针的一部分。
实施例3:示例性OCT定位***
参考图4,描述了根据一些实施方式的用于定位和取向OCT/口腔内探针402的***。在一些实施方式中,OCT探针捕获包括目标牙体解剖结构的一系列图像体积或帧。在一些实施方式中,探针与OCT成像***407通信。
在一些实施方式中,定位***包括刚性耦合器403,如本文所讨论的。在一些实施方式中,刚性耦合器403是牙钳,如本文所讨论的。在一些实施方式中,刚性耦合器连接到OCT探针402并允许OCT探针围绕目标牙体解剖结构401平移和旋转。
在一些实施方式中,***包括旋转台404,其将探针402连接至耦合器403,以允许探针402相对于牙体解剖结构401旋转。在一些实施方式中,***包括轨道***405,其将探针402连接至耦合器403,以允许探针402相对于牙体解剖结构401平移。在一些实施方式中,旋转台404和平移轨道***405的组合允许探针402相对于目标牙体解剖结构401多点定位。
在一些实施方式中,如上文所述,定位***包括一个或多个位置和取向传感器406。在一些实施方式中,位置和取向传感器根据探针402围绕牙体解剖结构的平移和旋转生成位置和取向数据。如本文所公开的,位置和取向数据可用于通过基于传感器406提供的位置和取向数据将多个OCT图像帧拼接在一起来促进生成牙体解剖结构401的三维表示。在一些实施方式中,***与处理OCT图像的计算设备通信,以将它们拼接在一起并形成整个目标牙体解剖结构的三维表示。在一些实施方式中,计算设备包括处理器,该处理器包括用于基于由传感器406提供的位置和/或取向数据将两个或更多个OCT图像拼接在一起的指令。
虽然本发明的优选实施方式已经本文中进行了说明和描述,但对于本领域的技术人员而言显而易见地是,这些实施方式仅作为示例提供。在不脱离本发明的情况下,本领域技术人员现在可以想到许多变化、改变和替换。应当理解,在实践本发明时,可以采用本文所述的本发明的实施方式的各种替代方案。下面的权利要求旨在限定本发明的范围,并且在这些权利要求及其等同物的范围内的方法和结构由此被覆盖。

Claims (109)

1.一种将色彩重叠到由光学相干断层扫描(OCT)***捕获的图像上的方法,所述方法包括:
在OCT***的第一图像传感器捕获目标区域的第一图像期间,追踪所述第一图像传感器的位置;
在第二图像传感器捕获所述目标区域的第二图像期间,追踪所述第二图像传感器的位置,其中所述第二图像传感器是彩色图像传感器;
在OCT图像中找到表面边界;
将所述第二图像传感器的位置数据与所述第一图像传感器相关联,以将由所述第一图像传感器捕获的所述OCT图像与由所述第二图像传感器捕获的彩色图像对准;以及将所述彩色图像叠加到从所述OCT图像提取的所述表面边界上。
2.根据权利要求1所述的方法,其中所述目标区域的第一图像的所述捕获包括用光源照射所述目标区域,其中照射所述目标区域包括用红色光源、绿色光源和蓝色光源顺序地照射所述目标区域。
3.根据权利要求2所述的方法,其中所述红色光源、所述绿色光源和所述蓝色光源每个以结构化图案发射光。
4.根据权利要求2所述的方法,其中所述红色光源、所述绿色光源和所述蓝色光源各自包括窄带光源。
5.根据权利要求1所述的方法,其中所述目标区域的第一图像的所述捕获包括用白色光源照射所述目标区域,并且其中所述方法还包括应用红色带通滤光器、绿色带通滤光器和蓝色带通滤光器。
6.根据权利要求5所述的方法,其中顺序地应用所述红色带通滤光器、所述绿色带通滤光器和所述蓝色带通滤光器。
7.根据权利要求6所述的方法,其中所述白色光源发射结构化光图案。
8.根据权利要求1所述的方法,其中所述第二图像传感器包括摄像机。
9.根据权利要求1所述的方法,其中,所述第一图像传感器捕获所述目标区域的所述第一图像,并且同时地所述第二图像传感器捕获所述目标区域的所述第二图像。
10.根据权利要求1或9所述的方法,其中所述第一图像传感器捕获所述目标区域的所述第一图像,并且顺序地所述第二图像传感器捕获所述目标区域的所述第二图像。
11.根据权利要求1所述的方法,还包括在捕获所述第一图像之前,稳定所述第一图像传感器。
12.根据权利要求11所述的方法,其中经由机械稳定***实现稳定。
13.根据权利要求12所述的方法,其中经由机电致动器实现稳定。
14.根据权利要求13所述的方法,经由反馈控制实现所述稳定。
15.根据权利要求13所述的方法,经由前馈控制实现所述稳定。
16.根据权利要求13所述的方法,其中经由反馈控制和前馈控制的组合实现所述稳定。
17.根据权利要求12所述的方法,通过利用扫描激光共焦显微图像的光学稳定方法实现所述稳定,所述扫描激光共焦显微图像继而反馈到OCT扫描机构中的扫描仪以实时主动地修正目标运动。
18.根据权利要求12所述的方法,通过被动手段和主动手段的组合实现所述稳定。
19.根据权利要求1所述的方法,其中追踪所述第一图像传感器的所述位置包括相对于紧固到至少一颗牙齿上的夹钳追踪所述第一图像传感器。
20.根据权利要求19所述的方法,其中所述第一图像传感器设置在机器人***的末端执行器上。
21.根据权利要求20所述的方法,其中所述机器人***包括控制器和编码器,其中所述控制器和所述编码器追踪所述末端执行器的位置。
22.根据权利要求21所述的方法,其中所述控制器接收所述夹钳的位置数据。
23.根据权利要求22所述的方法,其中所述夹钳的所述位置数据由设置在所述夹钳上的基准提供且由所述第一图像传感器捕获。
24.根据权利要求22所述的方法,其中所述夹钳的所述位置数据由设置在所述夹钳上的基准提供且由所述第二图像传感器捕获。
25.根据权利要求22-24中任一项所述的方法,其中所述控制器自动地使所述末端执行器相对于所述夹钳稳定。
26.根据权利要求25所述的方法,其中所述末端执行器的移动是完全自动化的。
27.根据权利要求25所述的方法,其中当所述控制器自动地使所述末端执行器相对于所述夹钳稳定时,所述末端执行器的移动由使用者控制。
28.根据权利要求1所述的方法,其中追踪所述第二图像传感器的所述位置包括相对于紧固到至少一颗牙齿上的夹钳追踪所述第二图像传感器。
29.根据权利要求19所述的方法,其中所述第一图像传感器设置在机器人***的末端执行器上。
30.根据权利要求19所述的方法,其中所述机器人***包括控制器和编码器,其中所述控制器和所述编码器追踪末端执行器的位置。
31.根据权利要求30所述的方法,其中所述控制器接收所述夹钳的位置数据。
32.根据权利要求31所述的方法,其中所述夹钳的所述位置数据由设置在所述夹钳上的基准提供且由所述第一图像传感器捕获。
33.根据权利要求31所述的方法,其中所述夹钳的所述位置数据由设置在所述夹钳上的基准提供且由所述第二图像传感器捕获。
34.根据权利要求31-33中任一项所述的方法,其中所述控制器自动地使所述末端执行器相对于所述夹钳稳定。
35.根据权利要求34所述的方法,其中所述末端执行器的移动是完全自动化的。
36.根据权利要求34所述的方法,其中当所述控制器自动地使所述末端执行器相对于所述夹钳稳定时,所述末端执行器的移动由使用者控制。
37.根据权利要求1所述的方法,还包括基于从所述OCT图像提取的所述表面边界生成三维表面区域。
38.根据权利要求37所述的方法,还包括突出显示龋齿区域。
39.一种使用光学相干断层扫描执行口腔内扫描以对牙体解剖结构进行成像的方法,所述方法包括:
使用由机械稳定***支撑的OCT***执行体积扫描,以捕获口腔内表面的至少两个部分重叠的图像;
识别牙齿的外表面处的OCT信号强度的变化;和
使用分割算法从所述口腔内表面的所述至少两个部分重叠的图像生成所述牙齿表面的三维模型;
以及使用拼接算法将所述至少两个部分重叠的图像彼此配准。
40.根据权利要求39所述的方法,其中同时捕获所述至少两个部分重叠的图像。
41.根据权利要求39所述的方法,其中顺序地捕获所述至少两个部分重叠的图像。
42.根据权利要求39所述的方法,其中所述牙体解剖结构包括牙齿的龈下表面。
43.根据权利要求39所述的方法,其中所述牙体解剖结构是与相邻牙齿的表面接触的牙齿的表面。
44.根据权利要求39所述的方法,还包括在捕获第一图像之前稳定所述OCT***。
45.根据权利要求44所述的方法,其中经由机电致动器实现稳定。
46.根据权利要求44所述的方法,经由反馈控制实现所述稳定。
47.根据权利要求44所述的方法,经由前馈控制实现所述稳定。
48.根据权利要求44所述的方法,其中经由反馈控制和前馈控制的组合实现所述稳定。
49.根据权利要求44所述的方法,通过利用扫描激光共焦显微图像的光学稳定方法实现所述稳定,所述扫描激光共焦显微图像继而反馈到OCT扫描机构中的扫描仪以实时主动地修正目标运动。
50.根据权利要求44所述的方法,通过被动手段和主动手段的组合实现所述稳定。
51.根据权利要求39所述的方法,其中第一图像传感器设置在机器人***的末端执行器上。
52.根据权利要求51所述的方法,其中所述机器人***包括控制器和编码器,其中所述控制器和所述编码器追踪所述末端执行器的位置。
53.根据权利要求52所述的方法,其中所述控制器接收夹钳的位置数据。
54.根据权利要求53所述的方法,其中所述夹钳的所述位置数据由设置在所述夹钳上的基准提供且由所述第一图像传感器捕获。
55.根据权利要求53所述的方法,其中所述夹钳的所述位置数据由设置在所述夹钳上的基准提供且由第二图像传感器捕获。
56.根据权利要求52-55中任一项所述的方法,其中所述控制器自动地使所述末端执行器相对于所述夹钳稳定。
57.根据权利要求51所述的方法,其中所述末端执行器的移动是完全自动化的。
58.根据权利要求57所述的方法,其中当控制器自动地使所述末端执行器相对于夹钳稳定时,所述末端执行器的移动由使用者控制。
59.根据权利要求39所述的方法,其中追踪第二图像传感器的位置包括相对于紧固到至少一颗牙齿上的夹钳追踪所述第二图像传感器。
60.根据权利要求59所述的方法,其中第一图像传感器设置在机器人***的末端执行器上。
61.根据权利要求59所述的方法,其中所述机器人***包括控制器和编码器,其中所述控制器和所述编码器追踪末端执行器的位置。
62.根据权利要求61所述的方法,其中所述控制器接收所述夹钳的位置数据。
63.根据权利要求62所述的方法,其中所述夹钳的所述位置数据由设置在所述夹钳上的基准提供且由第一图像传感器捕获。
64.根据权利要求62所述的方法,其中所述夹钳的所述位置数据由设置在所述夹钳上的基准提供且由所述第二图像传感器捕获。
65.根据权利要求61-64中任一项所述的方法,其中所述控制器自动地使所述末端执行器相对于所述夹钳稳定。
66.根据权利要求65所述的方法,其中所述末端执行器的移动是完全自动化的。
67.根据权利要求65所述的方法,其中当所述控制器自动地使所述末端执行器相对于所述夹钳稳定时,所述末端执行器的移动由使用者控制。
68.一种用于映射对象的三维(3D)牙体解剖结构的***,包括:
OCT***的第一图像传感器;
第二图像传感器,其中所述第二图像传感器是彩色图像传感器;和
计算设备,所述计算设备包括处理器和具有计算机程序的非瞬态计算机可读存储介质,所述计算机程序包括可由处理器执行的指令,所述指令使得所述处理器:将由所述第一图像传感器捕获的OCT图像与由所述第二图像传感器捕获的彩色图像对准;以及将所述彩色图像叠加到从所述OCT图像中提取的表面边界上。
69.根据权利要求68所述的***,其中所述第二图像传感器的视场大于或等于所述第一图像传感器的视场。
70.根据权利要求68或69所述的***,还包括紧固到所述对象的至少一颗牙齿上的夹钳,其中所述夹钳向所述计算设备提供所述对象的所述牙体解剖结构的位置数据。
71.根据权利要求70所述的***,还包括机器人铰接***,所述机器人铰接***包括:
机器人臂,所述机器人臂包括末端执行器,其中所述末端执行器耦合到所述第一图像传感器和所述第二图像传感器;
编码器***,所述编码器***用于提供所述机器人臂和所述末端执行器的位置数据,其中所述机器人臂的所述位置数据被传送到所述计算设备,以促进由所述第一图像传感器捕获的所述OCT图像与由所述第二图像传感器捕获的所述彩色图像的对准。
72.根据权利要求71所述的***,其中所述机器人铰接***还包括控制器,并且其中所述控制器从所述夹钳接收所述对象的所述牙体解剖结构的所述位置数据,并且其中所述控制器自动定位所述机器人臂以维持所述末端执行器相对于所述夹钳的稳定性。
73.根据权利要求68至72中任一项所述的***,其中所述OCT***还包括用于照射所述对象的所述牙体解剖结构的光源。
74.根据权利要求73所述的***,其中所述光源用红色光源、绿色光源和蓝色光源顺序地照射所述牙体解剖结构。
75.根据权利要求74所述的***,其中所述红色光源、所述绿色光源和所述蓝色光源每个以结构化图案发射光。
76.根据权利要求74或75所述的***,其中所述红色光源、所述绿色光源和所述蓝色光源各自包括窄带光源。
77.根据权利要求73所述的***,其中所述光源包括照射白色光源,并且其中在由所述第二图像传感器成像期间,顺序地应用红色带通滤光器、绿色带通滤光器和蓝色带通滤光器。
78.根据权利要求77所述的***,其中所述白色光源发射结构化光图案。
79.根据权利要求71至78中任一项所述的***,其中所述第二图像传感器包括彩色摄像机。
80.一种用于扫描对象的3D牙体解剖结构的***,包括:
发射信号的发射器;
捕获所述3D牙体解剖结构的检测器;和
相对于所述检测器平移所述发射器的致动器。
81.根据权利要求80所述的***,其中所述扫描***包括发射器阵列、检测器阵列或两者。
82.根据权利要求80所述的***,其中当所述发射器和所述检测器在对象的口内时,所述检测器捕获所述对象的所述3D牙体解剖结构。
83.根据权利要求80所述的***,其中当所述发射器相对于所述检测器静止时,所述检测器检测由所述发射器发射的信号。
84.根据权利要求80所述的***,其中当所述发射器相对于所述检测器平移时,所述检测器检测由所述发射器发射的所述信号。
85.根据权利要求84所述的***,其中所述发射器或所述检测器相对于所述对象是静止的。
86.根据权利要求84所述的***,其中所述发射器、所述检测器或两者相对于所述对象平移。
87.根据权利要求80所述的***,其中当所述发射器相对于所述检测器静止时,所述检测器检测由所述发射器发射的所述信号。
88.根据权利要求87所述的***,其中所述发射器和所述检测器相对于所述对象是静止的。
89.根据权利要求87所述的***,其中所述发射器和所述检测器相对于所述对象平移。
90.根据权利要求80所述的***,其中所述发射器是光源。
91.根据权利要求90所述的***,其中所述检测器是光学相干断层扫描(OCT)检测器、红外扩散光学断层扫描(DOT)检测器或两者。
92.根据权利要求80所述的***,其中所述发射器是X射线发射器,并且其中所述检测器是X射线检测器。
93.根据权利要求80所述的***,其中所述致动器包括机器人。
94.一种获取多颗牙齿的单个组合图像的***,所述***包括:
具有口腔内探针的OCT成像设备;
具有位置和取向传感器以及末端执行器的铰接臂;和
计算设备,所述计算设备包括处理器和具有计算机程序的非瞬态计算机可读存储介质,所述计算机程序包括可由所述处理器执行的指令,所述指令使得所述处理器计算用于将单独的OCT图像体积映射到单个组合图像中的3D坐标系变换。
95.根据权利要求94所述的***,还包括紧固到对象的至少一颗牙齿上的夹钳,其中所述夹钳向所述计算设备提供位置数据以提供所述对象的所述多颗牙齿的参考点。
96.根据权利要求95所述的***,其中所述夹钳的所述位置数据由设置在所述夹钳上的基准提供且由所述OCT成像设备捕获。
97.根据权利要求94所述的***,还包括控制器,其中所述控制器接收夹钳的位置数据,并且其中所述控制器自动定位机器人臂以保持所述末端执行器相对于所述夹钳的稳定性。
98.根据权利要求94至97中任一项所述的***,还包括照射所述多颗牙齿的光源。
99.根据权利要求98所述的***,其中所述光源用红色光源、绿色光源和蓝色光源顺序地照射所述多颗牙齿。
100.根据权利要求99所述的***,其中所述红色光源、所述绿色光源和所述蓝色光源每个以结构化图案发射光。
101.根据权利要求99或100所述的***,其中所述红色光源、所述绿色光源和所述蓝色光源各自包括窄带光源。
102.根据权利要求98所述的***,其中所述光源包括白色光源,并且其中在由所述OCT成像设备成像期间,顺序地应用红色带通滤光器、绿色带通滤光器和蓝色带通滤光器。
103.根据权利要求102所述的***,其中所述白色光源发射结构化光图案。
104.一种获取多颗牙齿的单个组合图像数据的***,所述***包括:
具有口腔内探针的OCT成像设备;
刚性连接到牙体解剖结构的一部分的支撑固定装置,所述支撑固定装置具有位置和取向传感器以及末端执行器;
计算设备,所述计算设备包括处理器和具有计算机程序的非瞬态计算机可读存储介质,所述计算机程序包括可由所述处理器执行的指令,所述指令使得所述处理器计算用于将单独的OCT图像体积映射到单个组合图像中的3D坐标系变换。
105.根据权利要求104所述的***,其中所述支撑固定装置向所述计算设备提供位置数据,以提供对象的所述多颗牙齿的参考点。
106.根据权利要求105所述的***,其中所述支撑固定装置的所述位置数据由设置在夹钳上的基准提供且由所述OCT成像设备捕获。
107.一种获取多颗牙齿的单个组合图像的方法,所述方法包括:
a)使用刚性连接到铰接臂的OCT扫描仪探针捕获牙体解剖结构的一部分的第一OCT图像,所述铰接臂被配置为测量所述OCT扫描仪的位置和取向;
b)将所述铰接臂移动到第二位置和取向;
c)使用OCT扫描仪探针捕获所述牙体解剖结构的一部分的第二OCT图像,所述第二图像与所述第一图像部分重叠;
d)使用所述第一图像与所述第二图像之间的相对位置和取向信息来创建组合所述第一图像和所述第二图像的单个体积图像;以及
e)在随后的位置和取向中重复从步骤(b)开始的过程,并将附加图像与先前组合的图像组合,以形成所述牙体解剖结构的扩展部分的单个图像。
108.一种从牙体解剖结构中移除龋性病变的***,所述***包括:
配置有口腔内探针的OCT扫描设备;
牙钻;
铰接臂,所述铰接臂配置有末端执行器;所述铰接臂刚性连接到所述口腔内OCT探针和所述牙钻;以及
控制所述铰接臂的移动的计算设备。
109.一种从牙体解剖结构中移除龋性病变的方法,包括:
a)用OCT成像设备扫描目标牙体解剖结构;
b)分析图像以识别龋性病变;
c)确定连接到计算机控制的主动铰接机器人臂的牙钻的切割路径;
d)沿着所述切割路径移动所述牙钻,以移除不想要的材料;以及
e)重复以步骤(a)开始的过程,直到没有检测到进一步的龋性病变。
CN202280039433.0A 2021-03-30 2022-03-30 用于口腔内扫描的光学相干断层扫描 Pending CN117480354A (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US63/167,868 2021-03-30
US63/177,463 2021-04-21
US63/184,653 2021-05-05
US63/185,276 2021-05-06
US63/185,618 2021-05-07
US63/192,482 2021-05-24
US63/194,553 2021-05-28
US63/218,108 2021-07-02
US202163227865P 2021-07-30 2021-07-30
US63/227,865 2021-07-30
PCT/US2022/022550 WO2022212507A1 (en) 2021-03-30 2022-03-30 Optical coherence tomography for intra-oral scanning

Publications (1)

Publication Number Publication Date
CN117480354A true CN117480354A (zh) 2024-01-30

Family

ID=89638375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280039433.0A Pending CN117480354A (zh) 2021-03-30 2022-03-30 用于口腔内扫描的光学相干断层扫描

Country Status (1)

Country Link
CN (1) CN117480354A (zh)

Similar Documents

Publication Publication Date Title
US11185233B2 (en) Methods and systems for imaging orthodontic aligners
JP7427038B2 (ja) 歯科診断機能を有する口腔内スキャナ
US11628046B2 (en) Methods and apparatuses for forming a model of a subject's teeth
US10052160B2 (en) Robotic surgery system
WO2022212507A1 (en) Optical coherence tomography for intra-oral scanning
US20230000600A1 (en) Intraoral 3d scanning with automatic charting
CN117480354A (zh) 用于口腔内扫描的光学相干断层扫描

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination