CN114041876A - 一种基于结构光的增强现实骨科透视导航方法及*** - Google Patents
一种基于结构光的增强现实骨科透视导航方法及*** Download PDFInfo
- Publication number
- CN114041876A CN114041876A CN202111448706.0A CN202111448706A CN114041876A CN 114041876 A CN114041876 A CN 114041876A CN 202111448706 A CN202111448706 A CN 202111448706A CN 114041876 A CN114041876 A CN 114041876A
- Authority
- CN
- China
- Prior art keywords
- structured light
- perspective
- camera
- coordinate system
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 39
- 230000000399 orthopedic effect Effects 0.000 title claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 15
- 238000002594 fluoroscopy Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005553 drilling Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000001356 surgical procedure Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 229910052751 metal Inorganic materials 0.000 description 5
- 239000002184 metal Substances 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 241000233805 Phoenix Species 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 210000002758 humerus Anatomy 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012829 orthopaedic surgery Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
- A61B17/17—Guides or aligning means for drills, mills, pins or wires
- A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
- A61B17/17—Guides or aligning means for drills, mills, pins or wires
- A61B17/1717—Guides or aligning means for drills, mills, pins or wires for applying intramedullary nails or pins
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于结构光的增强现实骨科透视导航方法及***，包括以下步骤：S1：利用标定靶，将X光透视设备的成像源坐标系与结构光重建模型的坐标系转换至同一坐标系下；S2：获取X光透视设备拍摄的病人患处透视图片以及结构光扫描病人患处得到的三维重建点云模型；S3：在同一坐标系下，将透视图片与三维重建点云模型进行匹配融合，得到融合信息；S4：将融合信息输出到结构光中进行图像叠加后进行显示。本发明利用增强现实在骨科手术中导航的要求，结合结构光，满足医生在骨科手术中对透视信息的需求。
Description
技术领域
本发明涉及手术导航技术领域，具体涉及一种基于结构光的增强现实骨科透视导航方法及***。
背景技术
在医疗行业，增强现导航实术中技术越来得到重视，部分技术在微创神经外科以及整形外科和创伤外科迅速发展。而在骨科手术领域，术中变形更小的特点与增强现实技术的特点更加搭配。对于引入增强现实来实现骨科手术术中导航，国外目前研究较少，国内更是凤毛麟角。德国、英国和美国等国在这方面的研究处于世界的领先地位，部分研究团队在将增强现实用于头部、小腿、脊柱等部位的骨科手术，研制出了许多先进的***和设备，虽然其中一些已经在临床试验中取得了成功，但仍然没有投入实际的大规模临床使用中，这些产品离商业化和产业化还有很长的距离。
现有技术分无标记和有标记配准两种增强现实导航技术，有标记配准是采用可跟踪标记点植入患者体内或表面皮肤，再进行CT扫描获得透视信息，利用高精度跟踪设备获得标记点现实中空间位置，再利用CT扫描信息中的标记点位置与现实中空间坐标所配准，以此找到CT中患者患处在实际空间中的位置，最后利用摄像头将虚实信息融合指导医生操作，如2003年，Jaramaz等人基于CT机研发的HipNav手术导航***；无标记配准，则是利用线下标定靶配准，将透视设备与相机在某一固定空间位置配准，配准完毕后即可将患者移动至固定位置进行透视拍摄以此来进行手术导航，如1999年，Navab教授等人研究开发的双镜融合X光透视图像的手术导航***。
传统有标记配准增强现实导航***配准时间长、流程复杂、集成度低，需要大量的时间和人力来调整装置的位置，手术空间狭小，若配准流程出错、误触标记点或者在术中移动了跟踪设备就需要重新配准，会增加手术流程，延长手术时间，增加手术风险；
传统无标记配准增强现实导航***结构复杂，需要对透视设备进行改造，线下配准虽然减少了术中配准时间，但操作依然繁琐并且透视设备必须在固定位置，固定在透视设备上的大体积的机械结构也影响透视设备平时的普通使用，难以使医生接受；
目前大多数增强现实导航平台结构复杂，价格高昂，普通医院难以支付高昂的费用购买这类平台，难以普及；而增强现实以外的骨科导航技术，如传统机械或电磁导航等与其相比，导航不够直观，操作也虽然简化但依旧繁琐，且依旧要多次透视，依然会对患者和医生产生大量辐射；
将现阶段绝大多数的基于X光透视信息的手术导航***需要借助外部光学定位设备来对术中医生患者位置以及手术操作进行追踪，这需要高精度的术前配准流程，并且术中附加的手术部位跟踪标记也会对患者的身体造成额外的伤害。并且由于手术***的组成复杂，各设备间的交互会影响手术中的效率以及精确度，并且也会对狭小的手术操作空间造成很大的负担。对于医生而言，更希望手术导航***是操作中的辅助设备，而不需要改变原有的手术流程，而不兼容医生操作的手术设备也缺乏临床上的可靠性，难以让医生接受。
发明内容
本发明的目的是提供一种基于结构光的增强现实骨科透视导航方法及***，利用增强现实在骨科手术中导航的要求，结合结构光，满足医生在骨科手术中对透视信息的需求。
为了解决上述技术问题，本发明提供了一种基于结构光的增强现实骨科透视导航方法，包括以下步骤：
S1：利用标定靶，将X光透视设备的成像源坐标系与结构光重建模型的坐标系转换至同一坐标系下；
S2：获取X光透视设备拍摄的病人患处透视图片以及结构光扫描病人患处得到的三维重建点云模型；
S3：在同一坐标系下，将透视图片与三维重建点云模型进行匹配融合，得到融合信息；
S4：将融合信息输出到结构光中进行图像叠加后进行显示。
作为本发明的进一步改进，所述步骤S1具体包括以下步骤：
S11：制作标定靶，基于透视原理，采用圆孔标定靶，将X光透视设备等效为针孔相机模型；
S22：将标定靶放置于X光透视设备下拍摄一张X光图片，标记标定靶某个边缘角点为世界坐标系原点，利用张氏标定法求得以射线模拟的针孔相机模型的相机坐标到世界坐标系的旋转平移矩阵记为R1T1和针孔相机的内参矩阵记为Intrinsic1；
S23：保持标定靶位置，利用结构光的光学相机拍摄一张光学图片，标记标定靶同一边缘角点为世界坐标系原点，利用张氏标定法求得结构光相机坐标到世界坐标系的旋转平移矩阵R2T2和内参矩阵记为Intrinsic2，再求得结构光相机坐标系到结构光重建坐标系的旋转平移单位矩阵R3T3，即可求得结构光重建坐标系到世界坐标系的旋转平移矩阵记为R3T3R2T2；
S33：得到构光重建坐标系到模拟的针孔相机模型的相机坐标系的平移旋转矩阵为RT＝[R1T1]-1R2T2，两者空间位置的相对关系标定完成。
作为本发明的进一步改进，所述步骤S3具体包括以下步骤：
S31：以结构光重建坐标系作为空间原点，在虚拟空间中渲染重建好的点云模型；
S32：使用标定好的RT和Intrinsic1在虚拟空间中创建一个模拟X光透视设备成像的第一虚拟相机；
S33：根据第一虚拟相机投影点云模型，创建虚拟投影平面，利用纹理映射将病人患处透视图片映射至虚拟平面，第一虚拟相机拍摄到点云模型和病人患处透视图片融合后的图片；
S34：对融合后的图片进行感兴趣区域划分或钻孔规划预处理，得到融合信息。
作为本发明的进一步改进，所述步骤S4具体包括以下步骤：利用Intrinsic2和R2T2创建模拟结构光相机的第二个虚拟相机，第二个虚拟相机接收到处理后的融合信息后和现实中结构光相机的图像相叠加后输出显示。
一种基于结构光的增强现实骨科透视导航***，包括计算机工作站，所述计算机工作站以执行如上所述的一种基于结构光的增强现实骨科透视导航方法。
作为本发明的进一步改进，所述标定靶采用圆孔标定靶，所述圆孔标定靶包括矩形底板，所述矩形底板上设有若干间距相等的圆孔。
作为本发明的进一步改进，所述结构光包括外壳和设在所述外壳内的投影仪和相机，所述投影仪和所述相机的相对位置固定。
作为本发明的进一步改进，***还包括移动支架，所述移动支架上铰链有滑动架，所述结构光安装在滑动架上。
作为本发明的进一步改进，所述X光透视设备为移动式C型臂，所述移动支架上还设有显示屏，所述显示屏连接所述计算机工作站。
本发明的有益效果：本发明利用增强现实在骨科手术中导航的要求，满足医生在骨科手术中对透视信息的需求，虚实结合的效果在手术中起到***，不需要多次拍摄X光图像，大大减少对医生和患者的辐射剂量；X光透视图像和患者身体内部骨骼真实空间位置的叠加精度小于2mm满足大部分骨科手术要求；本发明能够独立于X光透视设备，不对透视设备进行结构改造影响设备其他功能的使用；本发明能够优化标定流程，将整体标定过程缩短至五分钟以内，简化标定方法让医生不接受训练也可以迅速学会操作方法；
本发明***具有较强的集成性，将基于结构光技术的手术导航***所需要的硬件设施集成在可移动装置中，同时可以满足医生在手术过程中对结构光装置全方位移动的需要，可以移动结构光装置到达所需要的位置，增加协调性、创新性，结构简单，操作方便，成本低廉，减少人为操作失误。
附图说明
图1是本发明方法流程示意图；
图2是本发明采用的标定靶结构示意图；
图3是本发明X光射线源于平面模型关系示意图；
图4是本发明渲染和显示彩色点云需要创建颜色查找表图；
图5是本发明标量值对应索引值示意图；
图6是本发明点云对应像素点值示例图；
图7是本发明增强效果示意图；
图8是本发明实施例中采用的部分硬件结构示意图；
图中标号说明：1、标定靶；2、X光射线源；3、平面模型；4、可移动支架；5、滑动架；6、结构光；7、显示器。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参考图1，本发明提供了一种基于结构光的增强现实骨科透视导航方法，包括以下步骤：
S1：利用标定靶，将X光透视设备的成像源坐标系与结构光重建模型的坐标系转换至同一坐标系下；
S2：获取X光透视设备拍摄的病人患处透视图片以及结构光扫描病人患处得到的三维重建点云模型；
S3：在同一坐标系下，将透视图片与三维重建点云模型进行匹配融合，得到融合信息；
S4：将融合信息输出到结构光中进行图像叠加后进行显示。
具体的，在方法使用前将标定靶至于可移动式X光透视设备下拍摄一张X光图片，此时不移动标定靶，再使用结构光的光学相机拍摄一张光学相片，利用两张图片将X光射线源的世界坐标系变换至以结构光的重建坐标系下，此时完成标定过程。使用时，不移动结构光和X光透视设备，将病人患处移动至X光透视设备下拍摄一张透视图片，再利用结构光扫描患处获得三维重建点云模型，将图片和重建模型二者匹配融合，再将融合信息从结构光的光学相机中进行输出，指导医生进行手术。
可移动式X光透视设备与结构光配准标定方法：
想要将X光图像和结构光重建图像融合，必须先将透视设备成像源(即射线源)坐标系与结构光重建模型的坐标系转换至同一坐标系下，因此设计了一种基于相机模型的配准标定方法：首先将C型臂等效成一个针孔相机模型，由于标定靶需要X光图片和光学相机图片都可以识别，根据X射线的透视原理设计了一块金属圆孔标定靶，如图2所示；
拍摄一张标定靶1的X光图片，标记标定靶1某个边缘角点为世界坐标系原点，利用张氏标定法求得以射线模拟的针孔相机模型的相机坐标系到世界坐标系的旋转平移矩阵记为R1T1和模拟相机的内参矩阵记为Intrinsic1；
利用结构光的相机拍摄一张标定靶1的照片，同样标记标定靶1同一个边缘角点为世界坐标系原点，利用张氏标定法求得结构光相机坐标系到世界坐标系的旋转平移矩阵R2T2和内参矩阵记为Intrinsic2，再求得结构光相机坐标系到结构光重建坐标系的旋转平移矩阵R3T3，即可求得结构光重建坐标系到世界坐标系的旋转平移矩阵记为R3T3 R2T2；
由于R3T3一般为单位矩阵，由此可以得到构光重建坐标系到模拟的针孔相机模型的相机坐标系的平移旋转矩阵为RT＝[R1T1]-1R2T2，两者空间位置的相对关系标定完成。
其中，利用光学相机的标定方法标定X光内、外参数(将X光看做一个光学相机，此时求出的内、外参实际上是模拟相机成像模型的内、外参)。通过生产商已知结构光相机的内参与畸变参数，可用内参反求此时结构光相机的外参。由于标定算法使用的是张正友标定法，需要检测角点，由于普通的棋盘格相机标定板无法被X光识别，所以想要标定X光和结构光的相对位置需要一个可用同时被光学相机和X光同时识别的标定靶1。X光射线会被金属吸收，所以可以使用镂空的金属板来制作拥有特征角点标定靶1，但是棋盘格明显无法加工，所以放弃传统的棋盘角点检测方法，改用检测圆心标记点，设计了一块19x19规则通孔的标定靶1，可以同时被相机和X光所识别。
增强现实融合方法：
以结构光重建坐标系作为空间原点，利用Opengl在虚拟空间中渲染重建好的点云模型，使用标定好的RT和Intrinsic1在虚拟空间中创建一个模拟C型臂成像的虚拟相机，再根据opengl相机投影模型，创建虚拟投影平面，利用纹理映射将X光图片映射至虚拟平面，此时虚拟相机则可以拍摄到点云模型和X光图片融合后的图片，此时可以对融合好的X光图片进行感兴趣区域划分或钻孔规划等预处理，再利用Intrinsic2和R2T2创建模拟结构光相机的第二个虚拟相机，第二个虚拟相机接受到处理后的信息后和现实中结构光相机的图像相叠加后显示输出，指导医生手术。
原理：如图3所示，标定结束后，可以通过变换矩阵R3T3将所有空间坐标关系转换至以结构光相机光心为原点的坐标系下，同时通过X光射线源2外参和CCD成像平面的尺寸可以重建在结构光坐标系下的X光投影锥形束，通过结构光外参和相机CMOS成像元件尺寸可以重建相机投影模型。采集目标点云和透视图像，利用VTK或其他可视化库平台渲染并显示点云，根据重建的投影锥形束和相机投影的参数，可以在图形空间中构建模拟结构光相机和X光的虚拟相机，获得不同视角的点云。根据锥形束对应关系创建一个平面模型3，利用纹理映射将X光图片贴图在平面上，以此得到简单的点云和X光图片对应关系。由于想要在图形空间中渲染和显示彩色点云需要创建颜色查找表，如图4所示。所以需要对点云每个点设定标量，根据标量找到对应的rgb值，由于单目结构光的点云每个点和二维图像的每个像素点一一对应，所以可以根据结构光拍摄的二维图像像素排列顺序给点云定义标量值和创建颜色查找表，如图5所示关系。
根据这一特性，就可以根据点云的标量号修改其rgb值和图片的对应像素点的rgb值。例如，以1024x1024分辨率的结构光相机为例，点云中某个点的标量号为150，其对应的像素点坐标为图片上(0，150)，若修改这个点的rgb值则在视频图像中对应修改(0，150)像素坐标的rgb值，若点的标量为1025则对应的像素点坐标是(1，1)，如图6所示；
由此可以遍历点云上每一个点，计算此点与射线源相连的直线，判断其是否与平面模型3有交点，如果有交点，则求出交点坐标与之对应的图像的像素坐标(i，j)记录并获取其rgb值赋予点云。由于点云每个点与结构光相机拍摄的二维图像的像素一一对应，则记录被修改rgb值的点的标量号和对应的被修改的rgb值，则可以在二维图像中找到对应的像素点并替换其rgb值，则可以在视频输出时达到增强现实的效果，如图7所示效果。
本发明还提供了一种基于结构光的增强现实骨科透视导航***，包括计算机工作站，所述计算机工作站以执行如上所述的一种基于结构光的增强现实骨科透视导航方法。具体执行过程，体现在以下实施例中。
实施例
如图8所示，一种基于结构光的增强现实骨科透视导航***主要由显示器7、计算机工作站、C型臂、单目结构光6、可移动支架4和标定靶1等组成。单目结构光6可以通过可移动支架4来调节和C型臂的距离和结构光6投影仪的俯仰角，上下高度的移动距离范围在0.2m-1.2m,结构光6中的投影仪的投射角度范围分别为0-180°和0-360°。
具体硬件设置：
(1)计算机工作站：本发明所涉及的计算机工作站的主要硬件配置为CPU和GPU显卡，计算机的核心控制计算能力主要依靠CPU，与图形计算和显示渲染相关的方面主要依靠GPU能力。在手术过程中需要快速对肝脏表面进行三维重建，这就需要计算机能够快速计算出肝脏表面三维空间的坐标以及对三维点云进行渲染对计算机的CPU计算能力以及GPU显卡的显示渲染能力要求较高。综合以上的需求，本发明所选择的计算机的CPU为i7-9700K,显卡为GTX-2080ti。为了能与双目结构光6设备以及图像交互显示器7相连，计算机工作站至少需要包含1个DP接口、1个HDMI接口，以及3个USB接口。
(2)单目结构光6：主要由1台投影仪、1个相机以及固定壳组成，投影仪用于投射条纹光栅，相机用于拍摄图片及表面三维重建，投影仪的产品功率为165W，投影分辨率为1024*768，相机的型号为MER-130-30Ux(-L)，分辨率为2048×1536。所选的投影仪和相机具有价格相对低廉、外形小巧的特点，便于将其集成在固定壳内，同时可以满足肝脏表面三维重建的基本需求。在手术过程中可能需要根据医生的站位以及手术位置的变化来将双目结构光6调节到医生指定的区域，为了防止手术过程中需要多次标定***的参数，本发明设计了固定壳。单目相机和投影仪标定后，它们之间的相对位置不能再改变，否则需要重新标定。将相机和投影仪的地步打上螺纹孔，与固定架通过螺钉连接，当调节好相机和投影仪的相对位置后，将其保持固定可以保证它们在标定以及后续的移动操作下，其相对位置不会发生改变，避免重复标定。
(3)滑动架5：保证投影仪和相机能根据需求调整位置，通过螺钉和螺栓分别双目结构光6的固定壳以及可移动支架4相连。可以自由调整其在可移动支架4允许的长度范围内滑动，并且可以借助铰链的旋转来完成双目结构光0-180°和0-360°的旋转，能够提供医生所需要的投射和三维重建视野范围。
(4)显示器7：用于显示虚实融合信息，显示器7采用飞利浦第三代高清显示器7，其具有价格低、4K分辨率、2K屏可以同时满足分屏以及多种不同连接方式的优点。在显示器7的背面打上4个螺纹孔，与可移动支架4通过螺钉连接，以便于其可以悬挂在医生需要的视线范围内。
(5)可移动支架4：用于支撑显示器7并给滑动支架提供导向，可移动支架4主要由铝合金材料构成，其外观和尺寸主要如图8所示，其主要功能提供一个将实验所需的设备集成的平台，便于结构光6的扫描、三维重建等操作。
(6)标定板：本发明所设的标定板为如图2所示的圆形标定板，其尺寸为15Cm*15cm,并且其中的圆心距为7mm。相比于棋盘格标定板，圆形标定板的亚像素提取精度高，通常情况下可以获得更好的标定精度。
***在对髓内钉固定术执行增强现实导航方法，包括以下步骤：
1)医生将结构光6装置移动到手术区域的大致位置，固定装置；
2)打开结构光6扫描仪的硬件设备。通过电脑打开双目结构光6扫描仪的软件控制***，启动可移动式C臂，然后利用标定靶1对该***进行标定；
3)标定完成后将病人移动至C臂下，在股骨或肱骨内置入髓内钉后，拍摄一张X光图片，找到钉孔位置后旋转至钉孔正对后固定患者患处，再拍摄一张X光图片；
4)点击开始扫描，对手术区域进行扫描实时重建三维曲面，并将其和透视图像融合的信息实时显示在显示器7上，在摄像头拍摄的视频中看到透视信息和规划好的钻孔点，医生可以在实时的视频的指导下在病人体表找到钻孔点后使用手术刀划卡1-2cm的切口，置入导钻套后钻孔，再将固定螺钉置入钉孔和骨骼完成固定。
本***引入结构光***，可以在不改造透视设备的情况下完成增强现实配准。该***将C型臂或其他X射线透视设备模拟成针孔相机，设计了一块金属圆孔标定靶1，利用这个金属标定靶1完成了射线源和结构光重建坐标系空间位置的标定。本***由显示器7、计算机工作站、结构光6、滑动支架以及可移动支架4等组成，结构简单，操作方便，成本低廉。本***利用创建虚拟相机的方法将透视图片和点云模型融合，并利用虚拟相机将融合信息与真实相机相融合实现增强现实效果。
本发明该为骨科医生在病人体表提供准确的透视信息的术中导航***，为未来的增强现实技术在骨科手术导航上的发展和推广奠定基础并且有积极推动的作用。该***大大减少了术中医生和患者所受到的辐射，为医生手术过程提供了更直观的导航，医生可以通过摄像头在病人体表找到切割或者钻孔位置，精准的定位避免了一些骨科手术开放式的必要性，有利于微创骨科的发展。基于该***的手术流程是简化现在医生的传统手术流程而不是改变，更利于医生接受，同时集成性好、价格低廉、体积小等优点可以使得很多基层医院使用到，也便于更多二、三级骨科手术的使用。对骨科疾病的临床辅助诊断、介入手术的成功率和临床解剖教学等有重要作用。将基于结构光6技术的手术导航***所需要的硬件设施集成在可移动装置中，同时可以满足医生在手术过程中对结构光装置全方位移动的需要，可以移动结构光装置到达所需要的位置，增加协调性、创新性。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (10)
1.一种基于结构光的增强现实骨科透视导航方法，其特征在于：包括以下步骤：
S1：利用标定靶，将X光透视设备的成像源坐标系与结构光重建模型的坐标系转换至同一坐标系下；
S2：获取X光透视设备拍摄的病人患处透视图片以及结构光扫描病人患处得到的三维重建点云模型；
S3：在同一坐标系下，将透视图片与三维重建点云模型进行匹配融合，得到融合信息；
S4：将融合信息输出到结构光中进行图像叠加后进行显示。
2.如权利要求1所述的一种基于结构光的增强现实骨科透视导航方法，其特征在于：所述步骤S1具体包括以下步骤：
S11：制作标定靶，基于透视原理，采用圆孔标定靶，将X光透视设备等效为针孔相机模型；
S22：将标定靶放置于X光透视设备下拍摄一张X光图片，标记标定靶某个边缘角点为世界坐标系原点，利用张氏标定法求得以射线模拟的针孔相机模型的相机坐标到世界坐标系的旋转平移矩阵记为R1T1和针孔相机的内参矩阵记为Intrinsic1；
S23：保持标定靶位置，利用结构光的光学相机拍摄一张光学图片，标记标定靶同一边缘角点为世界坐标系原点，利用张氏标定法求得结构光相机坐标到世界坐标系的旋转平移矩阵R2T2和内参矩阵记为Intrinsic2，再求得结构光相机坐标系到结构光重建坐标系的旋转平移单位矩阵R3T3，即可求得结构光重建坐标系到世界坐标系的旋转平移矩阵记为R3T3R2T2；
S33：得到构光重建坐标系到模拟的针孔相机模型的相机坐标系的平移旋转矩阵为RT＝[R1T1]-1R2T2，两者空间位置的相对关系标定完成。
3.如权利要求1所述的一种基于结构光的增强现实骨科透视导航方法，其特征在于：所述步骤S2具体包括以下步骤：保持结构光和X光透视设备位置，将病人患处移动至X光透视设备拍摄一张病人患处透视图片，再利用结构光扫描患处获得三维重建点云模型。
4.如权利要求2所述的一种基于结构光的增强现实骨科透视导航方法，其特征在于：所述步骤S3具体包括以下步骤：
S31：以结构光重建坐标系作为空间原点，在虚拟空间中渲染重建好的点云模型；
S32：使用标定好的RT和Intrinsic1在虚拟空间中创建一个模拟X光透视设备成像的第一虚拟相机；
S33：根据第一虚拟相机投影点云模型，创建虚拟投影平面，利用纹理映射将病人患处透视图片映射至虚拟平面，第一虚拟相机拍摄到点云模型和病人患处透视图片融合后的图片；
S34：对融合后的图片进行感兴趣区域划分或钻孔规划预处理，得到融合信息。
5.如权利要求4所述的一种基于结构光的增强现实骨科透视导航方法，其特征在于：所述步骤S4具体包括以下步骤：利用Intrinsic2和R2T2创建模拟结构光相机的第二个虚拟相机，第二个虚拟相机接收到处理后的融合信息后和现实中结构光相机的图像相叠加后输出显示。
6.一种基于结构光的增强现实骨科透视导航***，其特征在于：包括计算机工作站，所述计算机工作站以执行如权利要求1-5中任一项所述的一种基于结构光的增强现实骨科透视导航方法。
7.如权利要求6所述的一种基于结构光的增强现实骨科透视导航***，其特征在于：所述标定靶采用圆孔标定靶，所述圆孔标定靶包括矩形底板，所述矩形底板上设有若干间距相等的圆孔。
8.如权利要求6所述的一种基于结构光的增强现实骨科透视导航***，其特征在于：所述结构光包括外壳和设在所述外壳内的投影仪和相机，所述投影仪和所述相机的相对位置固定。
9.如权利要求8所述的一种基于结构光的增强现实骨科透视导航***，其特征在于：***还包括移动支架，所述移动支架上铰链有滑动架，所述结构光安装在滑动架上。
10.如权利要求9所述的一种基于结构光的增强现实骨科透视导航***，其特征在于：所述X光透视设备为移动式C型臂，所述移动支架上还设有显示屏，所述显示屏连接所述计算机工作站。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111448706.0A CN114041876A (zh) | 2021-11-30 | 2021-11-30 | 一种基于结构光的增强现实骨科透视导航方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111448706.0A CN114041876A (zh) | 2021-11-30 | 2021-11-30 | 一种基于结构光的增强现实骨科透视导航方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114041876A true CN114041876A (zh) | 2022-02-15 |
Family
ID=80212089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111448706.0A Pending CN114041876A (zh) | 2021-11-30 | 2021-11-30 | 一种基于结构光的增强现实骨科透视导航方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114041876A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399503A (zh) * | 2022-03-24 | 2022-04-26 | 武汉大学 | 医学图像处理方法、装置、终端及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102784003A (zh) * | 2012-07-20 | 2012-11-21 | 北京先临华宁医疗科技有限公司 | 一种基于结构光扫描的椎弓根内固定手术导航*** |
| US20180153626A1 (en) * | 2010-04-28 | 2018-06-07 | Ryerson University | System and methods for intraoperative guidance feedbac |
| US20180303558A1 (en) * | 2016-08-17 | 2018-10-25 | Monroe Milas Thomas | Methods and systems for registration of virtual space with real space in an augmented reality system |
| CN109464196A (zh) * | 2019-01-07 | 2019-03-15 | 北京和华瑞博科技有限公司 | 采用结构光影像配准的手术导航***及配准信号采集方法 |
| CN110141363A (zh) * | 2019-06-17 | 2019-08-20 | 苏州大学 | 一种基于结构光扫描的脊柱多阶段配准方法 |
| WO2021069449A1 (en) * | 2019-10-06 | 2021-04-15 | Universität Bern | System and method for computation of coordinate system transformations |
-
2021
- 2021-11-30 CN CN202111448706.0A patent/CN114041876A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180153626A1 (en) * | 2010-04-28 | 2018-06-07 | Ryerson University | System and methods for intraoperative guidance feedbac |
| CN102784003A (zh) * | 2012-07-20 | 2012-11-21 | 北京先临华宁医疗科技有限公司 | 一种基于结构光扫描的椎弓根内固定手术导航*** |
| US20180303558A1 (en) * | 2016-08-17 | 2018-10-25 | Monroe Milas Thomas | Methods and systems for registration of virtual space with real space in an augmented reality system |
| CN109464196A (zh) * | 2019-01-07 | 2019-03-15 | 北京和华瑞博科技有限公司 | 采用结构光影像配准的手术导航***及配准信号采集方法 |
| CN110141363A (zh) * | 2019-06-17 | 2019-08-20 | 苏州大学 | 一种基于结构光扫描的脊柱多阶段配准方法 |
| WO2021069449A1 (en) * | 2019-10-06 | 2021-04-15 | Universität Bern | System and method for computation of coordinate system transformations |
Non-Patent Citations (1)
| Title |
|---|
| XIN ZHANG,LONG CHEN,FENGFENG ZHANG，LINING SUN: "Research on the Accuracy and Speed of Three-Dimensional Reconstruction of Liver Surface Based on Binocular Structured Light", 《DIGITAL OBJECT IDENTIFIER》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399503A (zh) * | 2022-03-24 | 2022-04-26 | 武汉大学 | 医学图像处理方法、装置、终端及存储介质 |
| CN114399503B (zh) * | 2022-03-24 | 2022-07-01 | 武汉大学 | 医学图像处理方法、装置、终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gavaghan et al. | A portable image overlay projection device for computer-aided open liver surgery | |
| Navab et al. | Merging visible and invisible: Two camera-augmented mobile C-arm (CAMC) applications | |
| Chen et al. | Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display | |
| Navab et al. | Camera augmented mobile C-arm (CAMC): calibration, accuracy study, and clinical applications | |
| RU2714665C2 (ru) | Направляющая система для позиционирования пациента для медицинской визуализации | |
| US20190000564A1 (en) | System and method for medical imaging | |
| WO2021217713A1 (zh) | 手术导航***及执行手术导航方法的计算机与存储介质 | |
| Blackwell et al. | An image overlay system for medical data visualization | |
| Chu et al. | Registration and fusion quantification of augmented reality based nasal endoscopic surgery | |
| Blackwell et al. | Augmented reality and its future in orthopaedics. | |
| CN102784003B (zh) | 一种基于结构光扫描的椎弓根内固定手术导航*** | |
| CN106691600A (zh) | 一种脊柱椎弓根钉植入定位装置 | |
| CN201029876Y (zh) | 骨科手术导航*** | |
| CN103211655A (zh) | 一种骨科手术导航***及导航方法 | |
| CN105266897A (zh) | 一种基于增强现实的显微外科手术导航***及导航方法 | |
| EP2438880A1 (en) | Image projection system for projecting image on the surface of an object | |
| CN103519895A (zh) | 一种骨科手术辅助导引方法 | |
| Blackwell et al. | An image overlay system for medical data visualization | |
| WO2002080773A1 (en) | Augmentet reality apparatus and ct method | |
| Zeng et al. | A surgical robot with augmented reality visualization for stereoelectroencephalography electrode implantation | |
| CN100581447C (zh) | 骨科手术导航*** | |
| Fotouhi et al. | Development and pre-clinical analysis of spatiotemporal-aware augmented reality in orthopedic interventions | |
| Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
| Ma et al. | Visualization, registration and tracking techniques for augmented reality guided surgery: a review | |
| Liao et al. | Precision-guided surgical navigation system using laser guidance and 3D autostereoscopic image overlay |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220215 |
|
| RJ01 | Rejection of invention patent application after publication |