CN106875432A - 颞下颌关节运动重建方法及*** - Google Patents

颞下颌关节运动重建方法及*** Download PDF

Info

Publication number
CN106875432A
CN106875432A CN201710139518.7A CN201710139518A CN106875432A CN 106875432 A CN106875432 A CN 106875432A CN 201710139518 A CN201710139518 A CN 201710139518A CN 106875432 A CN106875432 A CN 106875432A
Authority
CN
China
Prior art keywords
camera
mark
taken
mark point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710139518.7A
Other languages
English (en)
Other versions
CN106875432B (zh
Inventor
谢理哲
王林
陈雅丽
王松
胡轶宁
高鹏程
严斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing TuYan Medical Technology Co., Ltd
Original Assignee
Affiliated Stomatological Hospital of Nanjing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affiliated Stomatological Hospital of Nanjing Medical University filed Critical Affiliated Stomatological Hospital of Nanjing Medical University
Priority to CN201710139518.7A priority Critical patent/CN106875432B/zh
Publication of CN106875432A publication Critical patent/CN106875432A/zh
Application granted granted Critical
Publication of CN106875432B publication Critical patent/CN106875432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明提供一种颞下颌关节运动重建方法及***,通过采集拍摄者开闭口下颌运动的标记点轨迹的图像序列;对每帧图像中口内固定标记装置上所有标记点三维坐标的确定,获取标记点在空间中的运动轨迹,收集口内固定标记装置的CBCT影像以及收集拍摄者的CBCT影像;将口内固定标记装置的CBCT影像的标记点与摄像机拍摄获取的标记点进行配准,获取标记点运动的变换矩阵;利用变换矩阵对拍摄者的CBCT影像进行刚体变换,获得拍摄者的CBCT影像序列,并获得颞下颌的运动影像。本发明能够获得人体颞下颌关节的下颌骨髁突和颞骨关节面的真实运动情况,可用于颞下颌关节疾病的辅助诊断,关节运动的动态分析,增加颞下颌关节诊断的手段,辅助提高医生诊断的准确性和效率,提高医疗的质量和效率。

Description

颞下颌关节运动重建方法及***
技术领域
本发明涉及一种颞下颌关节运动重建方法及***属于医学光电应用领域。
背景技术
近年来,随着图像技术的发展,以及临床辅助诊断设备的不断更新,基于光学的技术设备的出现、革新和推广,为临床医学水平特别是口腔额面医学的发展提供了有利的条件。
现阶段对于颞下颌关节的分析主要有基于放射成像技术以及基于面部描记点的跟踪技术的动态运动轨迹分析等手段。放射成像技术只能分析静止状态的关节面和关节突,而关节疾病常常是一个复杂的动态的过程,通过静止影像能分析的因素非常有限。基于面部描迹的分析手段虽然能提供动态的信息,但是因为会受到表面软组织的影响,并不能精确的表征关节本身的运动情况。而对于直接重建出关节的动态运动的真实情况还没有现成的装置和***实现,个别可利用一些国外的三维建模软件进行近似的分析,而现今关节疾病的诊断还依赖于这些尚不完善的信息凭借医生的经验推测颞下颌关节真实的运动情况进而进行疾病的诊治。
发明内容
因此,针对现今技术的不足,本发明提出了一种颞下颌关节运动重建方法及***,不仅能实现颞下颌关节真实运动情况的重建,为关节疾病的影像辅助诊断,提供了更有力的影像学手段,让医生直观观察到患者关节真实的运动情况,提高临床的诊治的准确性,降低医生诊断的难度,还具有适用性强,采集成本低等优点。且其重建的运动结果具有较高的自由度。
本发明的技术解决方案是:
一种颞下颌关节运动重建方法,包括以下步骤:
S1、制作被拍摄者的口内固定标记装置,包括上牙列保持器、下牙列保持器、延伸臂和标记点,让被拍摄者佩戴该口内固定标记装置,佩戴时将口内固定标记装置沿着牙齿压入即可,固定于上牙列保持器的标记点为Mu1、Mu2、Mu3、Mu4、Mu5,固定于下牙列保持器的标记点为Md1、Md2、Md3、Md4、Md5
S2、利用双目视觉技术中张正友摄像机标定方法进行标定,并获得摄像头组的参数;摄像机镜头中心连线为X轴,与地面平行,Y轴垂直于地面,Z轴垂直于X轴与Y轴,建立以两台摄像机的中点为世界坐标原点的三维坐标系;
S3、让被拍摄者正对坐标原点站立,使被拍摄者面部处于摄像头A与摄像头B共同的拍摄区域,让被拍摄者遵照诊断或测试需求做关节运动,利用光学采集装置采集被拍摄者的图像序列;
S4、分别采集被拍摄者的上颌口内固定标记装置和下颌口内固定标记装置的CT影像数据,收集被拍摄者颞下颌关节的CT影像数据;
S5、利用图像处理算法提取标记点M于t时刻在摄像头A与摄像头B所采集的图像中的坐标ml(ul,vl)与mr(ur,vr),并据此结合摄像头的参数计算各标记点t时刻在世界坐标系中的空间坐标Mt(x,y,z),对于运动视频序列的每一帧图像重复该操作获得标记点M于该时段的空间坐标-时间矩阵MT;
S6、分别利用t时刻上列的标记点组的空间坐标Mu1(t)、Mu2(t)、Mu3(t)、Mu4(t)、Mu5(t)与下颌的标记点组的空间坐标Md1(t)、Md2(t)、Md3(t)、Md4(t)、Md5(t)结合步骤S4采集到的口内固定标记装置的CT影像数据,分别确定所标识的口内固定标记装置的上牙列保持器和下牙列保持器于t时刻的空间位置信息;
S7、利用图像处理算法处理被拍摄者的CT影像数据,分割出被拍摄者的上、下颌骨;并将分割后的上下颌骨部分中的牙列信息与口内固定标记装置的牙列保持器部分进行配准,将保持器的运动转换为上、下颌骨的运动,从而获得颞下颌关节的运动情况。
进一步地,步骤S1包括以下步骤:
S11、分别制作上牙列保持器、下牙列保持器;
S12、分别在上下颌透明保持器自左侧尖牙至右侧尖牙唇侧近颈缘处确定等距的5个位点并用mark笔标记,使用牙科低速直机金刚砂车针打磨位点处,使表面粗糙;
S13、利用直径0.7mm不锈钢圆丝弯制10根长约5mm的延伸臂,采用水晶泥制作10个直径约2.5mm的球状标记点;
S14、将延伸臂的一端垂直接触保持器唇面位点并以光固化树脂固定,另一端***球状标记点。
进一步地,步骤S5包括以下步骤:
S51、操作人员手动点选标记点M在摄像头A与摄像头B采集的结果图像中组件图像区域中的任意点Sl、Sr
S52、分别以Sl、Sr为种子点对标记点组件的图像区域采用区域增长算法;
S53、分别获取摄像机采集图像中区域增长后的结果区域的质心Pl(ul,vl)、Pr(ur,vr)作为的标记组件分别在摄像机采集图像中的中心点的坐标Ml(ul,vl)、Mr(ur,vr);
S54、利用不同摄像机采集图像中的标记点组件的中心点坐标ml(ul,vl)、mr(ur,vr),结合摄像机的内参与外参,采用双目视觉理论计算当前标记点组件M在世界坐标系的空间坐标M(x,y,z);
S55、对于运动视频序列的每一帧图像重复该操作获得标记点M于该时刻的空间坐标-时间矩阵MT;分别对各个标记点做如上的操作,分别获取各标记点的空间坐标-时间矩阵MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5
进一步地,步骤S6包括以下的步骤:
S61、根据矩阵变换公式,首先将双目视觉计算出来的空间坐标转换到CBCT影像的坐标系当中,这一步需要对空间坐标组MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5的第一帧的空间坐标根据CBCT影像当中的标记点进行矩阵变换,计算得到变换矩阵mCamer2CT,mCamera2CT就是坐标系变换矩阵;
S62、得到了坐标系变换矩阵,再将空间坐标组MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5每一帧的空间坐标乘以mCaera2CT变换矩阵,使所有的空间坐标映射到CBCT影像的坐标系当中;
S63、根据步骤中同样的矩阵变换公式,将空间坐标组MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5每一帧空间坐标都与第一帧计算变换矩阵,得到变换矩阵序列,这个变换矩阵序列就传递了颌骨位移的运动信息,用于下一步骤对CBCT体素进行坐标变换。
进一步地,步骤S7包括以下的步骤:
S71、图像的分割:对被拍摄者的CT数据采用阈值分割算法,分割出被拍摄者的骨信息,对阈值分割的结果中上、下颌骨区域分别采用种子填充算法分割出上颌骨和下颌骨;
S72、图像配准:对被拍摄者的CT数据中的牙列信息和口内固定标记装置中牙列保持器部分采用基于特征点的刚性配准方法进行配准,利用步骤S6得到的变换矩阵序列TMi对CT影像进行刚体变换,得到每个时刻上下颌骨位置的CT影像,最终得到的一组CT影像帧序列构成CT影像动态视频。
一种采用上述任一项所述颞下颌关节运动重建方法的***,包括标记点的检测模块、视频采集模块、图像处理模块和运动重建模块,
标记点的检测模块,让被拍摄者佩戴该口内固定标记装置,佩戴时将口内固定标记装置沿着牙齿压入即可,固定于上牙列保持器的标记点为Mu1、Mu2、Mu3、Mu4、Mu5固定于下牙列保持器的标记点为Md1、Md2、Md3、Md4、Md5
视频采集模块,采用两台摄像机即摄像头A与摄像头B,利用双目视觉技术中张正友摄像机标定方法进行标定,并获得摄像头组的参数;建立以两台摄像机的中点为世界坐标原点的三维坐标系,让被拍摄者正对坐标原点站立,使被拍摄者面部处于摄像头A与摄像头B共同的拍摄区域,让被拍摄者遵照诊断或测试需求做关节运动,利用光学采集装置采集被拍摄者的图像序列;分别采集被拍摄者的上颌口内固定标记装置和下颌口内固定标记装置的CT影像数据,收集被拍摄者颞下颌关节的CT影像数据;
图像处理模块,利用图像处理算法提取标记点mt于t时刻在摄像头A与摄像头B所采集的图像中的坐标ml(ul,vl)与mr(ur,vr),并据此结合摄像头的参数计算各标记点t时刻在世界坐标系中的空间坐标mt(x,y,z),对于运动视频序列的每一帧图像重复该操作获得标记点mt于该时段的空间坐标-时间矩阵MT;分别利用t时刻上列的标记点组的空间坐标Mu1(t)、Mu2(t)、Mu3(t)、Mu4(t)、Mu5(t)与下颌的标记点组的空间坐标Md1(t)、Md2(t)、Md3(t)、Md4(t)、Md5(t)结合采集到的口内固定标记装置的CT影像数据,分别确定所标识的口内固定标记装置的上牙列保持器和下牙列保持器于t时刻的空间位置信息;
运动重建模块,利用图像处理算法处理被拍摄者的CT影像数据,分割出被拍摄者的上、下颌骨;并将分割后的上下颌骨部分中的牙列信息与口内固定标记装置的牙列保持器部分进行配准,将保持器的运动转换为上、下颌骨的运动,从而获得颞下颌关节的运动情况。
本发明的有益效果是:
一、该种颞下颌关节运动重建***,能够获得人体颞下颌关节的下颌骨髁突和颞骨关节面的真实运动情况,可用于颞下颌关节疾病的辅助诊断,关节运动的动态分析,增加颞下颌关节诊断的手段,辅助提高医生诊断的准确性和效率,提高医疗的质量和效率。
二、相较于之前的颞下颌关节运动的装置,该方法更加直接,能够结合CBCT的扫描结果获得完整的关节髁突和关节凹的运动情况,以及运动中任意时刻两者的空间位置和角度等完整的运动信息,而不是简单的低纬度的运动轨迹描迹。
三、该方法中,头部运动更加自由,减少器械对受试者运动的干扰,获得更加真实的运动情况,降低诊断中的错误信息的干扰几率。
四、已有的髁突描迹仪,由于受到装置设计的限制,对于髁突的转动信息的记录并不完全,并不能完全真实的反映其转动运动信息,这一点也将在本发明方法中得到极大的改善和解决。因为结合了CBCT,该方法直接计算了髁突和关节窝的真实运动情况,不再通过触诊等方法进行推测,故而可以极大的提高髁突和关节窝真实运动的准确率。
附图说明
图1是本发明实施例的颞下颌关节运动重建方法的流程示意图
图2是本发明实施例中光学采集装置的结构示意图。
图3是本发明实施例中口内固定标记装置的结构示意图。
图4是本发明实施例中被拍摄者佩戴口内固定标记装置示意图。
图5是本发明实施例中被拍摄者佩戴口内固定标记装置的侧面示意图。
图6是本发明实施例中被拍摄者佩戴口内固定标记装置的上颌、下颌的示意图。
图7是本发明实施例中当前标记点组件mt在世界坐标系的空间坐标mt(x,y,z)的说明示意图。
图8是本发明实施例中利用光学采集装置进行采集被拍摄者的图像序列的示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
一种颞下颌关节运动重建方法,包括以下步骤:对摄像机进行标定;将被拍摄者的头部完全置于拍摄区域内部,并将口内固定标记装置佩戴于拍摄者口中,采集拍摄者开闭口下颌运动的标记点轨迹的图像序列;利用图像处理算法,实现对每帧图像中口内固定标记装置上所有标记点三维坐标的确定,获取标记点在空间中的运动轨迹收集口内固定标记装置的CBCT影像,以及收集拍摄者的CBCT影像;将口内固定标记装置的CBCT影像的标记点与摄像机拍摄获取的标记点进行配准,获取标记点运动的变换矩阵;利用前一步获取的变换矩阵,对拍摄者的CBCT影像进行刚体变换,获得拍摄者的CBCT影像序列,并最终获得颞下颌的运动影像。
一种颞下颌关节运动重建方法,如图1,具体包括以下步骤:
S1、制作被拍摄者的口内固定标记装置,包括上牙列保持器、下牙列保持器、延伸臂和标记点,其结构示意图如图3所示。并让被拍摄者佩戴该口内固定标记装置,佩戴时将口内固定标记装置沿着牙齿压入即可,其佩戴后的示意图如图4所示,固定于上牙列保持器的标记点为Mu1,Mu2,Mu3,Mu4,Mu5固定于下牙列保持器的标记点为Md1,Md2,Md3,Md4,Md5
步骤S1具体为:
S11、分别制作上牙列保持器、下牙列保持器;
S12、分别在上下颌透明保持器自左侧尖牙至右侧尖牙唇侧近颈缘处确定等距的5个位点并用mark笔标记,使用牙科低速直机金刚砂车针打磨位点处,使表面粗糙;
S13、利用直径0.7mm不锈钢圆丝弯制10根长约5mm的延伸臂,采用水晶泥制作10个直径约2.5mm的球状标记点;
S14、将延伸臂的一端垂直接触保持器唇面位点并以光固化树脂固定,另一端***球状标记点。
S2、利用双目视觉技术中张正友摄像机标定方法进行标定,并获得摄像头组的参数;摄像机镜头中心连线为X轴,与地面平行,Y轴垂直于地面,Z轴垂直于X轴与Y轴,建立以两台摄像机的中点为世界坐标原点的三维坐标系,其坐标说明图如图5所示。
S3、让被拍摄者正对坐标原点站立,使被拍摄者面部处于摄像头A与摄像头B共同的拍摄区域,让被拍摄者遵照诊断或测试需求做关节运动,利用光学采集装置采集被拍摄者的图像序列,采集情况示意图如图6。
S4、分别采集被拍摄者的上颌口内固定标记装置和下颌口内固定标记装置的CT影像数据,收集被拍摄者颞下颌关节的CT影像数据。
S5、利用图像处理算法提取标记点mt于t时刻在摄像头A与摄像头B所采集的图像中的坐标ml(ul,vl)与mr(ur,vr),并据此结合摄像头的参数计算各标记点t时刻在世界坐标系中的空间坐标mt(x,y,z),对于运动视频序列的每一帧图像重复该操作获得标记点mt于该时段的空间坐标-时间矩阵MT。
步骤S5具体包括以下步骤:
S51、操作人员手动点选标记点M在摄像头A与摄像头B采集的结果图像中组件图像区域中的任意点Sl,Sr
S52、分别以Sl,Sr为种子点对标记点组件的图像区域采用区域增长算法。
S53、分别获取摄像机采集图像中区域增长后的结果区域的质心Pl(ul,vl),Pr(ur,vr)作为的标记组件分别在摄像机采集图像中的中心点的坐标Ml(ul,vl),Mr(ur,vr)。
S54、利用不同摄像机采集图像中的标记点组件的中心点坐标ml(ul,vl),mr(ur,vr),结合摄像机的内参与外参,采用双目视觉理论计算当前标记点组件M在世界坐标系的空间坐标M(x,y,z),如图7。
S55、对于运动视频序列的每一帧图像重复该操作获得标记点M于该时刻的空间坐标-时间矩阵MT;分别对各个标记点做如上的操作,分别获取各标记点的空间坐标-时间矩阵MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5
步骤S5将CBCT影像拍摄的标记点与摄像机拍摄获取的标记点三位坐标进行配准,计算第一帧之后的标记点组与基准组的变换矩阵TM,并最终获取变换矩阵序列TMi,这就是最后一步对拍摄者CBCT影像做刚体变换的变换矩阵序列。
S6、分别利用t时刻上列的标记点组的空间坐标Mu1(t),Mu2(t),Mu3(t),Mu4(t),Mu5(t)与下颌的标记点组的空间坐标Md1(t),Md2(t),Md3(t),Md4(t),Md5(t)结合采集到的口内固定标记装置的CT影像数据,分别确定所标识的口内固定标记装置的上牙列保持器和下牙列保持器于t时刻的空间位置信息。
步骤S6具体包括以下的步骤:
S61、根据矩阵变换公式,首先将双目视觉计算出来的空间坐标转换到CBCT影像的坐标系当中,这一步需要对空间坐标组MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5的第一帧的空间坐标根据CBCT影像当中的标记点进行矩阵变换,计算得到变换矩阵mCamer2CT。mCamera2CT就是坐标系变换矩阵。
S62、得到了坐标系变换矩阵,再将空间坐标组MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5每一帧的空间坐标乘以mCaera2CT变换矩阵,使所有的空间坐标映射到CBCT影像的坐标系当中。
S63、根据第一步中同样的矩阵变换公式,将空间坐标组MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5每一帧空间坐标都与第一帧计算变换矩阵,得到变换矩阵序列TMi,这个变换矩阵序列就传递了颌骨位移的运动信息,用于下一步骤对CBCT体素进行坐标变换。
S7、利用阈值分割算法提取CBCT图像中骨组织的区域再对其提取结果采用区域增长算法处理,分别分割出被拍摄者的上、下颌骨;并将分割后的上下颌骨部分中的牙列信息与口内固定标记装置的牙列保持器部分进行配准,将保持器的运动转换为上、下颌骨的运动,从而获得颞下颌关节的运动情况。
步骤S7具体包括以下的步骤:
S71、图像的分割:对被拍摄者的CT数据采用阈值分割算法,分割出被拍摄者的骨信息,对阈值分割的结果中上、下颌骨区域分别采用种子填充算法分割出上颌骨和下颌骨;
S72、图像配准:对被拍摄者的CT数据中的牙列信息和口内固定标记装置中牙列保持器部分采用基于特征点的刚性配准方法进行配准,在步骤S6中TMi变换矩阵序列TMi对CT影像进行刚体变换,可以得到每个时刻上下颌骨位置的CT影像,最终得到的一组CT影像帧序列构成CT影像动态视频。
步骤S72对拍摄者CBCT做刚体变换,首先选定一个阈值,提取出CBCT影响中的表述颌骨的体素,对这些体素的三维坐标通过变换矩阵重新计算位置,就获得了一副新的CBCT影像,重复这样的处理,可以由变换矩阵序列得到一组CBCT影像序列,最终获得颌骨的运动影像。
实施例还给出一种颞下颌关节运动重建***,通过口内固定标记装置、光学采集装置以及关节CT影像对颞下颌关节的运动进行4D重建。
一种采用上述任一项所述颞下颌关节运动重建方法的***,包括标记点的检测模块、视频采集模块、图像处理模块和运动重建模块,
标记点的检测模块,让被拍摄者佩戴该口内固定标记装置,佩戴时将口内固定标记装置沿着牙齿压入即可,固定于上牙列保持器的标记点为Mu1、Mu2、Mu3、Mu4、Mu5固定于下牙列保持器的标记点为Md1、Md2、Md3、Md4、Md5
视频采集模块,采用两台摄像机即摄像头A与摄像头B,利用双目视觉技术中张正友摄像机标定方法进行标定,并获得摄像头组的参数;建立以两台摄像机的中点为世界坐标原点的三维坐标系,让被拍摄者正对坐标原点站立,使被拍摄者面部处于摄像头A与摄像头B共同的拍摄区域,让被拍摄者遵照诊断或测试需求做关节运动,利用光学采集装置采集被拍摄者的图像序列;分别采集被拍摄者的上颌口内固定标记装置和下颌口内固定标记装置的CT影像数据,收集被拍摄者颞下颌关节的CT影像数据;
图像处理模块,利用图像处理算法提取标记点M于t时刻在摄像头A与摄像头B所采集的图像中的坐标ml(ul,vl)与mr(ur,vr),并据此结合摄像头的参数计算各标记点t时刻在世界坐标系中的空间坐标Mt(x,y,z),对于运动视频序列的每一帧图像重复该操作获得标记点M于该时段的空间坐标-时间矩阵MT;分别利用t时刻上列的标记点组的空间坐标Mu1(t)、Mu2(t)、Mu3(t)、Mu4(t)、Mu5(t)与下颌的标记点组的空间坐标Md1(t)、Md2(t)、Md3(t)、Md4(t)、Md5(t)结合采集到的口内固定标记装置的CT影像数据,分别确定所标识的口内固定标记装置的上牙列保持器和下牙列保持器于t时刻的空间位置信息;
运动重建模块,利用图像处理算法处理被拍摄者的CT影像数据,分割出被拍摄者的上、下颌骨;并将分割后的上下颌骨部分中的牙列信息与口内固定标记装置的牙列保持器部分进行配准,将保持器的运动转换为上、下颌骨的运动,从而获得颞下颌关节的运动情况。
该种颞下颌关节运动重建方法的***中,光学采集装置包括两个摄像机即摄像头A与摄像头B及其固定支架。其结构示意图如图2所示,摄像头通过支架进行固定,且其位置、采集角度、摄像头之间的距离都可通过支架进行调节。
口内固定标记装置,包括口内保持器,延伸臂和标记点三部分。标记点通过延伸臂固定于口内保持器上,延伸臂的一端通过光固化树脂固定于固口内保持器上,另一端固定标记点。其中所述的延伸臂为不锈钢材料所制,长度为5mm。所述的标记点为塑料材料所制的球形,其半径为0.2mm。上颌固定5个标记点,下颌固定5个标记点。其结构示意图如图3所示。需要说明的是上述延伸臂的材料可换为其他材料,不限于不锈钢。受试者佩戴后的示意图如图4所示。
最后应当说明的是,以上事实仅用以说明本发明的技术方案而非对本发明保护范围的限制,尽管参照较佳实施例子对本发明做了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种颞下颌关节运动重建方法,其特征在于:包括以下步骤:
S1、制作被拍摄者的口内固定标记装置,包括上牙列保持器、下牙列保持器、延伸臂和标记点,让被拍摄者佩戴该口内固定标记装置,佩戴时将口内固定标记装置沿着牙齿压入即可,固定于上牙列保持器的标记点为Mu1、Mu2、Mu3、Mu4、Mu5,固定于下牙列保持器的标记点为Md1、Md2、Md3、Md4、Md5
S2、利用双目视觉技术中张正友摄像机标定方法进行标定,并获得摄像头组的参数;摄像机镜头中心连线为X轴,与地面平行,Y轴垂直于地面,Z轴垂直于X轴与Y轴,建立以两台摄像机的中点为世界坐标原点的三维坐标系;
S3、让被拍摄者正对坐标原点站立,使被拍摄者面部处于摄像头A与摄像头B共同的拍摄区域,让被拍摄者遵照诊断或测试需求做关节运动,利用光学采集装置采集被拍摄者的图像序列;
S4、分别采集被拍摄者的上颌口内固定标记装置和下颌口内固定标记装置的CT影像数据,收集被拍摄者颞下颌关节的CT影像数据;
S5、利用图像处理算法提取标记点M于t时刻在摄像头A与摄像头B所采集的图像中的坐标ml(ul,vl)与mr(ur,vr),并据此结合摄像头的参数计算各标记点t时刻在世界坐标系中的空间坐标Mt(x,y,z),对于运动视频序列的每一帧图像重复该操作获得标记点M于该时段的空间坐标-时间矩阵MT;
S6、分别利用t时刻上列的标记点组的空间坐标Mu1(t)、Mu2(t)、Mu3(t)、Mu4(t)、Mu5(t)与下颌的标记点组的空间坐标Md1(t)、Md2(t)、Md3(t)、Md4(t)、Md5(t)结合步骤S4采集到的口内固定标记装置的CT影像数据,分别确定所标识的口内固定标记装置的上牙列保持器和下牙列保持器于t时刻的空间位置信息;
S7、利用图像处理算法处理被拍摄者的CT影像数据,分割出被拍摄者的上、下颌骨;并将分割后的上下颌骨部分中的牙列信息与口内固定标记装置的牙列保持器部分进行配准,将保持器的运动转换为上、下颌骨的运动,从而获得颞下颌关节的运动情况。
2.如权利要求1所述的颞下颌关节运动重建方法,其特征在于,步骤S1包括以下步骤:
S11、分别制作上牙列保持器、下牙列保持器;
S12、分别在上下颌透明保持器自左侧尖牙至右侧尖牙唇侧近颈缘处确定等距的5个位点并用mark笔标记,使用牙科低速直机金刚砂车针打磨位点处,使表面粗糙;
S13、利用直径0.7mm不锈钢圆丝弯制10根长约5mm的延伸臂,采用水晶泥制作10个直径约2.5mm的球状标记点;
S14、将延伸臂的一端垂直接触保持器唇面位点并以光固化树脂固定,另一端***球状标记点。
3.如权利要求1所述的颞下颌关节运动重建方法,其特征在于,步骤S5包括以下步骤:
S51、操作人员手动点选标记点M在摄像头A与摄像头B采集的结果图像中组件图像区域中的任意点Sl、Sr
S52、分别以Sl、Sr为种子点对标记点组件的图像区域采用区域增长算法;
S53、分别获取摄像机采集图像中区域增长后的结果区域的质心Pl(ul,vl)、Pr(ur,vr)作为的标记组件分别在摄像机采集图像中的中心点的坐标Ml(ul,vl)、Mr(ur,vr);
S54、利用不同摄像机采集图像中的标记点组件的中心点坐标ml(ul,vl)、mr(ur,vr),结合摄像机的内参与外参,采用双目视觉理论计算当前标记点组件M在世界坐标系的空间坐标M(x,y,z);
S55、对于运动视频序列的每一帧图像重复该操作获得标记点M于该时刻的空间坐标-时间矩阵MT;分别对各个标记点做如上的操作,分别获取各标记点的空间坐标-时间矩阵MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5
4.如权利要求1所述的颞下颌关节运动重建方法,其特征在于,步骤S6包括以下的步骤:
S61、根据矩阵变换公式,首先将双目视觉计算出来的空间坐标转换到CBCT影像的坐标系当中,这一步需要对空间坐标组MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5的第一帧的空间坐标根据CBCT影像当中的标记点进行矩阵变换,计算得到变换矩阵mCamer2CT,mCamera2CT就是坐标系变换矩阵;
S62、得到了坐标系变换矩阵,再将空间坐标组MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5每一帧的空间坐标乘以mCaera2CT变换矩阵,使所有的空间坐标映射到CBCT影像的坐标系当中;
S63、根据步骤中同样的矩阵变换公式,将空间坐标组MTu1,MTu2,MTu3,MTu4,MTu5,MTd1,MTd2,MTd3,MTd4,MTd5每一帧空间坐标都与第一帧计算变换矩阵,得到变换矩阵序列,这个变换矩阵序列就传递了颌骨位移的运动信息,用于下一步骤对CBCT体素进行坐标变换。
5.如权利要求1所述的颞下颌关节运动重建方法,其特征在于,步骤S7包括以下的步骤:
S71、图像的分割:对被拍摄者的CT数据采用阈值分割算法,分割出被拍摄者的骨信息,对阈值分割的结果中上、下颌骨区域分别采用种子填充算法分割出上颌骨和下颌骨;
S72、图像配准:对被拍摄者的CT数据中的牙列信息和口内固定标记装置中牙列保持器部分采用基于特征点的刚性配准方法进行配准,利用步骤S6得到的变换矩阵序列TMi对CT影像进行刚体变换,得到每个时刻上下颌骨位置的CT影像,最终得到的一组CT影像帧序列构成CT影像动态视频。
6.一种采用权利要求1-5任一项所述颞下颌关节运动重建方法的***,其特征在于:包括标记点的检测模块、视频采集模块、图像处理模块和运动重建模块,
标记点的检测模块,让被拍摄者佩戴该口内固定标记装置,佩戴时将口内固定标记装置沿着牙齿压入即可,固定于上牙列保持器的标记点为Mu1、Mu2、Mu3、Mu4、Mu5固定于下牙列保持器的标记点为Md1、Md2、Md3、Md4、Md5
视频采集模块,采用两台摄像机即摄像头A与摄像头B,利用双目视觉技术中张正友摄像机标定方法进行标定,并获得摄像头组的参数;建立以两台摄像机的中点为世界坐标原点的三维坐标系,让被拍摄者正对坐标原点站立,使被拍摄者面部处于摄像头A与摄像头B共同的拍摄区域,让被拍摄者遵照诊断或测试需求做关节运动,利用光学采集装置采集被拍摄者的图像序列;分别采集被拍摄者的上颌口内固定标记装置和下颌口内固定标记装置的CT影像数据,收集被拍摄者颞下颌关节的CT影像数据;
图像处理模块,利用图像处理算法提取标记点M于t时刻在摄像头A与摄像头B所采集的图像中的坐标ml(ul,vl)与mr(ur,vr),并据此结合摄像头的参数计算各标记点t时刻在世界坐标系中的空间坐标Mt(x,y,z),对于运动视频序列的每一帧图像重复该操作获得标记点M于该时段的空间坐标-时间矩阵MT;分别利用t时刻上列的标记点组的空间坐标Mu1(t)、Mu2(t)、Mu3(t)、Mu4(t)、Mu5(t)与下颌的标记点组的空间坐标Md1(t)、Md2(t)、Md3(t)、Md4(t)、Md5(t)结合采集到的口内固定标记装置的CT影像数据,分别确定所标识的口内固定标记装置的上牙列保持器和下牙列保持器于t时刻的空间位置信息;
运动重建模块,利用图像处理算法处理被拍摄者的CT影像数据,分割出被拍摄者的上、下颌骨;并将分割后的上下颌骨部分中的牙列信息与口内固定标记装置的牙列保持器部分进行配准,将保持器的运动转换为上、下颌骨的运动,从而获得颞下颌关节的运动情况。
CN201710139518.7A 2017-03-09 2017-03-09 颞下颌关节运动重建*** Active CN106875432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710139518.7A CN106875432B (zh) 2017-03-09 2017-03-09 颞下颌关节运动重建***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710139518.7A CN106875432B (zh) 2017-03-09 2017-03-09 颞下颌关节运动重建***

Publications (2)

Publication Number Publication Date
CN106875432A true CN106875432A (zh) 2017-06-20
CN106875432B CN106875432B (zh) 2020-04-21

Family

ID=59171460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710139518.7A Active CN106875432B (zh) 2017-03-09 2017-03-09 颞下颌关节运动重建***

Country Status (1)

Country Link
CN (1) CN106875432B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108827151A (zh) * 2018-06-22 2018-11-16 北京大学口腔医学院 数据配准方法及数据配准***
CN108846866A (zh) * 2018-05-29 2018-11-20 南京医科大学附属口腔医院 基于光学成像的颅颌面软组织矢状向中轴面确定方法及***
CN109480781A (zh) * 2018-11-14 2019-03-19 南京医科大学附属口腔医院 牙列运动轨迹的示踪装置及方法
CN109543495A (zh) * 2017-09-22 2019-03-29 ***通信有限公司研究院 一种人脸关键点标注方法、装置、电子设备及存储介质
CN109820512A (zh) * 2019-02-01 2019-05-31 南京医科大学附属口腔医院 开口型开口度辅助检测及牙列运动轨迹指示装置
CN110192924A (zh) * 2019-06-20 2019-09-03 雅客智慧(北京)科技有限公司 用于口腔种植手术的定位装置及手术路径规划方法
WO2020098515A1 (zh) * 2018-11-14 2020-05-22 南京凝动数字科技有限公司 牙列运动轨迹指示器及示踪方法
CN111768497A (zh) * 2020-06-29 2020-10-13 深圳大学 一种头部动态虚拟模型的三维重建方法、装置及***
CN111784664A (zh) * 2020-06-30 2020-10-16 广州柏视医疗科技有限公司 肿瘤***分布图谱生成方法
CN111870270A (zh) * 2020-07-23 2020-11-03 上海交通大学医学院附属第九人民医院 基于cbct对颞下颌关节进行定位的方法
CN112017211A (zh) * 2020-07-28 2020-12-01 上海交通大学 一种颞颌关节运动追踪方法及***
CN112022384A (zh) * 2020-09-04 2020-12-04 上海交通大学医学院附属第九人民医院 基于cad/cam的数字化树脂*板、制备方法及应用
CN112164075A (zh) * 2020-09-23 2021-01-01 广东工业大学 一种针对上颌窦膜形态变化的分割方法
CN112426243A (zh) * 2020-11-18 2021-03-02 北京华航无线电测量研究所 一种髁突运动轨迹确定方法
CN112489135A (zh) * 2020-11-27 2021-03-12 深圳市深图医学影像设备有限公司 一种虚拟三维人脸面部重建***的标定方法
CN112489764A (zh) * 2020-11-30 2021-03-12 北京大学口腔医学院 一种多源数据融合与下颌运动轨迹调整确定颌位的方法
CN113229840A (zh) * 2020-12-04 2021-08-10 深圳市深图医学影像设备有限公司 一种口腔cbct拍摄图像运动补偿重建方法
CN113842216A (zh) * 2021-12-01 2021-12-28 极限人工智能有限公司 一种上下牙对合模拟方法、装置及电子设备
CN114998443A (zh) * 2022-05-10 2022-09-02 浙江大学 一种基于多目计算机视觉的高精度电子面弓方法
CN114998396A (zh) * 2022-05-20 2022-09-02 上海博恩登特科技有限公司 基于cbct和数字化牙模获取颞下颌关节运动参数的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590326A (zh) * 2014-10-23 2016-05-18 北京大学口腔医学院 基于计算机双目视觉的下颌运动轨迹跟踪装置及控制方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590326A (zh) * 2014-10-23 2016-05-18 北京大学口腔医学院 基于计算机双目视觉的下颌运动轨迹跟踪装置及控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUSONG YUAN ET AL: "A Method of Three-Dimensional Recording of Mandibular Movement Based on TwoDimensional Image Feature Extraction", 《PLOS ONE》 *
谢理哲 等: "基于CT影像的颞下颌关节运动重建方法", 《基于CT影像的颞下颌关节运动重建方法 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543495A (zh) * 2017-09-22 2019-03-29 ***通信有限公司研究院 一种人脸关键点标注方法、装置、电子设备及存储介质
CN109543495B (zh) * 2017-09-22 2021-03-16 ***通信有限公司研究院 一种人脸关键点标注方法、装置、电子设备及存储介质
CN108846866A (zh) * 2018-05-29 2018-11-20 南京医科大学附属口腔医院 基于光学成像的颅颌面软组织矢状向中轴面确定方法及***
CN108846866B (zh) * 2018-05-29 2022-04-12 南京医科大学附属口腔医院 基于光学成像的颅颌面软组织矢状向中轴面确定方法及***
CN108827151A (zh) * 2018-06-22 2018-11-16 北京大学口腔医学院 数据配准方法及数据配准***
CN108827151B (zh) * 2018-06-22 2020-05-19 北京大学口腔医学院 数据配准方法及数据配准***
CN109480781A (zh) * 2018-11-14 2019-03-19 南京医科大学附属口腔医院 牙列运动轨迹的示踪装置及方法
WO2020098515A1 (zh) * 2018-11-14 2020-05-22 南京凝动数字科技有限公司 牙列运动轨迹指示器及示踪方法
CN109480781B (zh) * 2018-11-14 2021-07-09 南京医科大学附属口腔医院 牙列运动轨迹的示踪装置及方法
CN109820512A (zh) * 2019-02-01 2019-05-31 南京医科大学附属口腔医院 开口型开口度辅助检测及牙列运动轨迹指示装置
CN110192924A (zh) * 2019-06-20 2019-09-03 雅客智慧(北京)科技有限公司 用于口腔种植手术的定位装置及手术路径规划方法
CN111768497A (zh) * 2020-06-29 2020-10-13 深圳大学 一种头部动态虚拟模型的三维重建方法、装置及***
CN111784664A (zh) * 2020-06-30 2020-10-16 广州柏视医疗科技有限公司 肿瘤***分布图谱生成方法
CN111870270A (zh) * 2020-07-23 2020-11-03 上海交通大学医学院附属第九人民医院 基于cbct对颞下颌关节进行定位的方法
CN112017211A (zh) * 2020-07-28 2020-12-01 上海交通大学 一种颞颌关节运动追踪方法及***
CN112022384A (zh) * 2020-09-04 2020-12-04 上海交通大学医学院附属第九人民医院 基于cad/cam的数字化树脂*板、制备方法及应用
CN112164075A (zh) * 2020-09-23 2021-01-01 广东工业大学 一种针对上颌窦膜形态变化的分割方法
CN112164075B (zh) * 2020-09-23 2023-08-01 广东工业大学 一种针对上颌窦膜形态变化的分割方法
CN112426243A (zh) * 2020-11-18 2021-03-02 北京华航无线电测量研究所 一种髁突运动轨迹确定方法
CN112426243B (zh) * 2020-11-18 2022-01-21 北京华航无线电测量研究所 一种髁突运动轨迹确定方法
CN112489135A (zh) * 2020-11-27 2021-03-12 深圳市深图医学影像设备有限公司 一种虚拟三维人脸面部重建***的标定方法
CN112489135B (zh) * 2020-11-27 2024-04-19 深圳市深图医学影像设备有限公司 一种虚拟三维人脸面部重建***的标定方法
CN112489764A (zh) * 2020-11-30 2021-03-12 北京大学口腔医学院 一种多源数据融合与下颌运动轨迹调整确定颌位的方法
CN112489764B (zh) * 2020-11-30 2022-06-28 北京大学口腔医学院 一种多源数据融合与下颌运动轨迹调整确定颌位的方法
CN113229840A (zh) * 2020-12-04 2021-08-10 深圳市深图医学影像设备有限公司 一种口腔cbct拍摄图像运动补偿重建方法
CN113229840B (zh) * 2020-12-04 2023-02-28 深圳市深图医学影像设备有限公司 一种口腔cbct拍摄图像运动补偿重建方法
CN113842216A (zh) * 2021-12-01 2021-12-28 极限人工智能有限公司 一种上下牙对合模拟方法、装置及电子设备
CN114998443A (zh) * 2022-05-10 2022-09-02 浙江大学 一种基于多目计算机视觉的高精度电子面弓方法
CN114998443B (zh) * 2022-05-10 2024-07-02 浙江大学 一种基于多目计算机视觉的高精度电子面弓方法
CN114998396A (zh) * 2022-05-20 2022-09-02 上海博恩登特科技有限公司 基于cbct和数字化牙模获取颞下颌关节运动参数的方法

Also Published As

Publication number Publication date
CN106875432B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN106875432A (zh) 颞下颌关节运动重建方法及***
US9922454B2 (en) Method for designing an orthodontic appliance
Mah et al. Current status and future needs in craniofacial imaging
RU2567604C2 (ru) Динамический виртуальный артикулятор
US8620045B2 (en) System , method and article for measuring and reporting craniomandibular biomechanical functions
CN103690173B (zh) 下颌三维运动捕捉及可视化***及方法
US11229503B2 (en) Implant surgery guiding method
WO2018112273A2 (en) Augmented reality enhancements for dental practitioners
CN106580470B (zh) 基于双目视觉的头部定位方法及***
CN108113780B (zh) 用于下颌骨髁假体制作的下颌骨髁运动轨迹测量方法
CN111784754B (zh) 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
CN111768497B (zh) 一种头部动态虚拟模型的三维重建方法、装置及***
CN114998443B (zh) 一种基于多目计算机视觉的高精度电子面弓方法
JPWO2006033483A1 (ja) 人体情報抽出装置、人体撮影情報の基準面変換方法および断面情報検出装置
CN105012038B (zh) 用于虚拟〔牙合〕架的下颌三维运动轨迹跟踪装置
US10751152B2 (en) Jaw motion tracking system and operating method using the same
CN112972027A (zh) 一种利用混合现实技术的正畸微种植体植入定位方法
CN110246571A (zh) 牙齿数据处理方法
JP2017221329A (ja) 2次元画像を用いて生体の下顎開閉軸とバーチャル咬合器の開閉軸を一致させる方法
CN114708312A (zh) 基于多模态信息融合的颞下颌关节运动重建方法
CN116763481A (zh) 一种基于多模态融合的颞下颌关节运动***性还原方法
CN109771070B (zh) 牙列运动轨迹指示器及示踪方法
CN114668538A (zh) 三维模块化颅颌骨医学影像的数字颌型架及构建方法
CN114512219A (zh) 一种基于多目计算机视觉的电子面弓方法
CN113768468B (zh) 一种多传感器、多功能的口腔问题定位设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200424

Address after: 210003 no.90-3, tousuo village, Gulou District, Nanjing City, Jiangsu Province

Patentee after: Nanjing TuYan Medical Technology Co., Ltd

Address before: 210029 No. 140, Hanzhoung Road, Gulou District, Jiangsu, Nanjing

Patentee before: AFFILIATED STOMATOLOGICAL HOSPITAL OF NANJING MEDICAL University

TR01 Transfer of patent right