CN111839727A - 基于增强现实的***粒子植入路径可视化方法及*** - Google Patents
基于增强现实的***粒子植入路径可视化方法及*** Download PDFInfo
- Publication number
- CN111839727A CN111839727A CN202010666341.8A CN202010666341A CN111839727A CN 111839727 A CN111839727 A CN 111839727A CN 202010666341 A CN202010666341 A CN 202010666341A CN 111839727 A CN111839727 A CN 111839727A
- Authority
- CN
- China
- Prior art keywords
- virtual
- patient
- dimensional
- coordinate system
- particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002245 particle Substances 0.000 title claims abstract description 112
- 238000002513 implantation Methods 0.000 title claims abstract description 84
- 210000002307 prostate Anatomy 0.000 title claims abstract description 35
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 24
- 238000007794 visualization technique Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 33
- 239000003550 marker Substances 0.000 claims abstract description 32
- 238000012800 visualization Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000004164 analytical calibration Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 11
- 210000000056 organ Anatomy 0.000 claims description 11
- 210000001519 tissue Anatomy 0.000 claims description 11
- 230000002285 radioactive effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 210000002640 perineum Anatomy 0.000 claims description 6
- 238000002504 lithotomy Methods 0.000 claims description 5
- 230000003902 lesion Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 description 24
- 238000002360 preparation method Methods 0.000 description 13
- 238000013519 translation Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000007943 implant Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 206010060862 Prostate cancer Diseases 0.000 description 2
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 2
- 238000002725 brachytherapy Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 206010006784 Burning sensation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004013 groin Anatomy 0.000 description 1
- 238000012538 light obscuration Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1001—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy using radiation sources introduced into or applied onto the body; brachytherapy
- A61N5/1007—Arrangements or means for the introduction of sources into the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/103—Treatment planning systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1001—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy using radiation sources introduced into or applied onto the body; brachytherapy
- A61N5/1007—Arrangements or means for the introduction of sources into the body
- A61N2005/1012—Templates or grids for guiding the introduction of sources
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及医疗导航领域，公开了一种基于增强现实的***粒子植入路径可视化方法及***，包括以下步骤：根据术前资料，构建虚拟二维切面；完成器械标定；设定***，获取相机的外参数；建立病人与所述二维切面的关系,并提取所述二维切面；实时拍摄术区场景，提取图像中的标记物；根据所述标记物完成所述二维切面和图像的虚实配准；将配准后的二维切面投影到病人术区体表；检测所述粒子植入器的位置，投射光点完成可视化；本发明可以实现病人术区冠状面上的粒子植入路径可视化，还将可视化影像投影在病人体表，保证了医生的手眼一致性，避免植入过程过分依赖医生的个人经验和想象，提高手术成功率。
Description
技术领域
本发明涉及医疗导航领域，具体涉及一种基于增强现实的***粒子植入路径可视化方法及***。
背景技术
相关资料表明，近年来我国***癌患者数量在迅速增加，因此针对***癌的有效治疗面临日益严峻的挑战。目前临床上较为常用的治疗方法是由医生将超声探头放入直肠中，在超声图像和导向板的辅助下，手动调整粒子植入器并将放射性粒子植入到目标靶点。在治疗过程中，由于病人以截石位的姿势躺在病床上，医生通过切换超声探头的工作模式，也只能获取病人手术区域横截面和矢状面上的影像信息，无法获取病人手术区域冠状面上的影像信息，进一步导致***近距离放射性治疗术中的粒子植入靶点和植入路径在冠状面上的信息都无法被医生获知，影响了手术精度，而且粒子植入过程中过分依赖医生的个人经验和想象，会加大医生的决策压力，使得医生更容易疲劳。
针对以上问题，现有技术中提出了使用虚拟现实来呈现病人手术区域的三维虚拟影像，辅助医生实现更精准的粒子植入操作，但是虚拟现实的使用需要医生在术前花费较多的时间来构建逼真的三维虚拟影像，而且三维虚拟影像的显示不直观、非原位，医生在观察超声图像和患者手术区域的同时，还要切换视野去观察三维虚拟影像的显示屏。
发明内容
为了克服上述所指的现有技术中的不足之处，本发明提供一种基于增强现实的***粒子植入路径可视化方法及***，能够利用增强现实技术为医生提供病人手术区域冠状面上的器官组织和粒子植入路径的可视化信息，使得医生可以在术中获知更多的信息，而且可视化***保证了医生的手眼一致性，减轻了医生的压力，提高了手术成功率。
为达到上述目的，本发明的技术方案是这样实现的。
一种基于增强现实的***粒子植入路径可视化方法，其特征在于，包括：
根据术前资料，构建虚拟二维切面；
完成器械标定；
设定***，获取相机的外参数；
建立病人与所述二维切面的关系,并提取所述二维切面；
实时拍摄术区场景，提取图像中的标记物；
根据所述标记物完成所述二维切面和图像的虚实配准；
将配准后的二维切面投影到病人术区体表；
检测所述粒子植入器的位置，投射光点完成可视化。
优选地，所述术前资料，包括：
术前资料是一系列病人手术区域中器官组织的CT或MRI影像，影像中包含有粘贴在病人手术区域正面体表上的标记物，其中所述手术区域是指病人从***到横膈膜之间的躯体部分。
优选地，所述虚拟二维切面，包括：
虚拟二维切面是病人手术区域的器官组织在冠状面上的一系列切面，每一个在病人手术区域不同高度的切面都根据体表标记物的形状及位置，绘制了一模一样的虚拟标记物，并且结合了术前规划方案，在所述不同高度的切面上绘制了对应的粒子植入靶点和植入路径，其中所述不同高度的划分是依据所述术前规划中一系列粒子植入的靶点所在的不同位置上的冠状面而进行的优选地，所述器械标定，包括：
针对双目相机进行标定，使用了张正友标定法获取所述双目相机的内参数和畸变参数；
针对粒子植入器进行标定，是利用电磁定位将所述粒子植入器外针针尖坐标统一在电磁定位坐标系中；
针对光点投射仪进行标定，是利用电磁定位将光点投射仪的中心坐标统一在电磁定位坐标系中；
针对投影仪进行标定，由于所述投影仪是连接在所述光点投射仪上的，因此通过对所述光点投射仪进行标定，即可间接获知所述投影仪的中心在电磁定位坐标系中的坐标。
优选地，所述建立病人与所述二维切面的关系，包括：
医生按照术前规划方案移动粒子植入器到导向板前的第一个放射性粒子植入位置，通过检测所述粒子植入器外针针尖的真实世界坐标，从而将所述粒子植入器外针针尖的真实世界坐标信息与第一个植入靶点所对应的虚拟二维切面相关联，后续手术过程中通过检测所述粒子植入器外针针尖在不同高度的冠状面间的垂直距离变化就能获得对应的虚拟二维切面。
优选地，所述术区场景，包括：
术区场景的范围应该覆盖病人正面手术区域的体表及标定使用的棋盘格标定板。
优选地，所述虚实配准，包括：
在虚实配准之前，需要根据所述术区场景图像中特征点的真实世界坐标和二维切面中特征点的虚拟世界坐标，使用四元数法求出虚拟世界坐标系和真实世界坐标系之间的转换关系；
所述二维切面需要完成从虚拟世界坐标系到真实世界坐标系、相机坐标系和成像坐标系的依次转换，才能实现虚实配准
优选地，所述投影到病人术区体表，包括：
主机根据所述二维切面在虚实配准中得到的坐标系转换结果，控制投影仪完成投影。
优选地，所述投射光点完成可视化，包括：
每一个光点都由所述光点投射仪中的一个激光二极管投射出来，一系列光点组成所述粒子植入器外针针尖在冠状面上的行进路径。
一种基于增强现实的***粒子植入路径可视化***，其特征在于，包括：
光点投射仪，用于投射光点到病人正面手术区域的体表上，使用一系列光点来表现***粒子植入过程的真实靶点和路径；
电磁发射器，用于发射电磁波；
双目相机，用于实时获取术区场景的图像；
电磁接收器，用于接收所述电磁发射器发射出来的电磁波，然后产生对应大小和相位的电流；
粒子植入器，用于植入放射性粒子到***的病灶中；
导向板，用于辅助和引导医生扎入所述粒子植入器的外针；
病床，用于固定病人的截石位姿势；
电磁***，用于连接所述电磁接收器，并分析所述电磁接收器产生的电流大小和相位，确定各电磁接收器和电磁发射器间的位置关系；
棋盘格标定板，术前用于辅助获取所述双目相机的内参数和畸变参数，术中用于辅助获取所述双目相机的外参数；
电脑显示屏，用于浏览术前资料和虚拟二维切面；
投影仪，用于投影虚拟二维切面到病人正面手术区域的体表上；
主机，用于处理术前资料，绘制和存储虚拟二维切面，实时接收、识别和处理术中场景，完成虚实配准，接收和分析所述电磁定位确定的坐标数据，控制所述投影仪完成图像投影，控制所述光点投射仪完成光点投射。
本发明提供的一种基于增强现实的***粒子植入路径可视化方法及***，通过利用术前资料构建虚拟二维切面，再进行器械标定，完成了可视化***的术前准备工作，进行手术时启动***，获取相机的外参数，接着建立病人与所述二维切面的关系,并提取所述二维切面，同时拍摄术区场景并提取图像中的标记物，然后再根据所述标记物完成所述二维切面和图像的虚实配准，并将配准后的二维切面投影到病人术区体表，最后通过检测所述粒子植入器的位置，投射光点完成可视化。由此，从而使得医生可以在术中获知病人手术区域冠状面上的器官组织和粒子植入路径的可视化信息，避免了因为信息的缺失而影响手术精度，并且可视化信息利用增强现实技术直接投影在病人正面手术区域的体表上，保证了可视化信息的直观性和原位性，降低了手术过程对医生个人经验和想象的依赖程度，最终减轻了医生的精神压力，提高了手术成功率。
附图说明
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1是本发明的可视化方法原理流程图。
图2是本发明的可视化***构成示意图。
图3是本发明的术前准备流程图。
图4是本发明的术中粒子植入路径可视化流程图。
图5是本发明的虚实配准流程图。
具体实施方式
为使本技术领域的人员更好地理解本发明实施例的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
如图1所示，是本发明的可视化方法原理流程图，具体包括：
步骤S101，根据术前资料，构建虚拟二维切面；
步骤S102，完成器械标定；
步骤S103，设定***，获取相机的外参数；
步骤S104，建立病人位置与所述二维切面的关系；
步骤S105，根据所述关系与粒子植入器的实时位置提取二维切面；
步骤S106，实时拍摄术区场景，提取图像中的标记物；
步骤S107，根据所述标记物完成所述二维切面和图像的虚实配准；
步骤S108，将配准后的二维切面投影到病人术区体表；
步骤S109，检测所述粒子植入器的位置，投射光点完成可视化。
本发明实施例中，***粒子植入路径可视化***可以划分为两个阶段：术前准备阶段和术中导航阶段。步骤S101和步骤S102都属于术前准备阶段，而其余步骤则都属于术中导航阶段。
步骤S101，由于获取的术前资料是CT或MRI影像，所以这些影像资料都是断层的，而根据所述术前资料构建的虚拟二维切面，在内容衔接上也存在了相同的间隔。
进一步地，步骤S102所要完成的器械标定有两个主要内容：完成双目相机的标定矫正，获取所述双目相机的内参数和矫正参数；将粒子植入器外针针尖、光点投射仪和投影仪的坐标信息统一到电磁定位坐标系下。
进一步地，步骤S103中设定***主要是设定关于光点投射仪的检测范围和工作范围，并通过计算双目相机的外参数来确定所述双目相机与病人之间的位置关系。
进一步地，步骤S104中病人位置与所述二维切面关系的建立，实际是建立术中病人第一个靶点植入处的位置信息与存储库中具有相同植入靶点信息的那一个二维切面的关系，当所述关系建立之后，可以视这一个二维切面为基准切面，则每当粒子植入器外针针尖在真实世界中移动一定距离后，就会根据所述距离信息，从存储库中提取与基准切面有相同距离信息的二维切面。
进一步地，在步骤S105中，所述二维切面需要在主机的存储库中提取。
进一步地，在步骤S106中，使用了双目相机实时拍摄术区场景，然后将获得的图像传递给主机，由主机来完成所述图像中的标记物识别和提取。
进一步地，在步骤S107中使用了四元数算法将所述二维切面从虚拟世界坐标西转换到真实世界坐标系，然后从真实世界坐标系转换到相机坐标系，再从相机坐标系转换到像素坐标系，进而完成虚实配准。
进一步地，在步骤S108中，二维切面的投影由投影仪来完成，而投影仪的投影范围和投影角度，都由主机根据虚实配准后获得的信息来控制。
进一步地，在步骤S109中，使用了高度聚集的激光来模拟粒子植入的路径和靶点信息。
如图2所示，是本发明的可视化***构成示意图，具体包括：
光点投射仪201，用于投射光点到病人正面手术区域的体表上，使用一系列光点来表现***粒子植入过程的真实靶点和路径；
电磁发射器202，用于发射电磁波；
双目相机203，用于实时获取术区场景的图像；
电磁接收器204，用于接收电磁发射器202发射出来的电磁波，然后产生对应大小和相位的电流，从而辅助***完成对粒子植入器205的跟踪定位；
粒子植入器205，用于植入放射性粒子到***的病灶中；
导向板206，用于辅助和引导医生扎入粒子植入器205的外针；
病床207，用于固定病人的截石位姿势；
棋盘格标定板208，术前用于辅助获取双目相机203的内参数和畸变参数，术中用于获取辅助双目相机203的外参数；
主机209，用于处理术前资料，绘制和存储虚拟二维切面，实时接收、处理和识别术中场景，完成所述虚拟二维切面和术中场景的虚实配准，接收和分析电磁***209确定的位置关系，控制投影仪212完成增强投影，控制光点投射仪201完成光点投射；
电磁***210，用于连接电磁接收器204和电磁接收器213，并分析电磁接收器204和电磁接收器213产生的电流大小和相位，确定电磁接收器204、电磁接收器213和电磁发射器202间的位置关系；
电脑显示屏211，用于浏览术前资料和虚拟二维切面；
投影仪212，用于投影虚拟二维切面到病人正面手术区域的体表上；
电磁接收器213，用于接收电磁发射器202发射出来的电磁波，然后产生对应大小和相位的电流，从而辅助***完成对光点投射仪201的跟踪定位，并间接完成对投影仪212的跟踪定位。
本发明实施例中，光点投射仪201是一个长方体结构，在水平面方向上的长度比病人体宽略长，从而保证光点投射仪201的投射范围可以完全覆盖病人正面手术区域的体表。此外，光点投射仪201的内部有多个按长方形均匀分布的激光二极管，每一个激光二极管的功率都小于5mw，因此发射出的激光不会给病人带来灼烧感，而且每一个激光二极管发射出来的光点大小与粒子植入的靶点大小相一致。在术中，光点投射仪201悬挂在病人正面手术区域的正上方，光点投射仪201的悬挂高度可调整，用以保证手术过程中投射范围刚好可以覆盖病人正面手术区域的体表。光点投射仪201上还安装有电磁接收器213，在经过器械标定后，可以通过电磁接收器213接收电磁波后产生的电流变化来确定光点投射仪201在真实世界坐标系中的位置变化。此外，光点投射仪201通过VGA接口或无线网络与主机209相连，在光点投射时，主机209实时接受粒子植入器205的位置信息，根据所述位置信息控制光点投射仪201中激光二极管的发光与熄灭。
在术中，双目相机203需要放置在病人的左侧或右侧，用以实时获取术中场景的图像。双目相机203的高度可以调整，调整的高度应当保证双目相机203可以完整拍摄到术区场景，而双目相机203在获取术区场景图像后，将会把所述图像发送给主机209处理。此外，双目相机之上固定有一个电磁发射器202，在本***中，电磁发射器202被设定为真实世界坐标下的原点。而且在术中获取了双目相机203的外参数之后，双目相机203和电磁发射器202相对于病人的位置将不再发生任何改变。
粒子植入器205是用来植入放射性粒子到***的病灶中的，为了减少金属对电磁场的影响，粒子植入器205除了外针和内针以外的所有结构都使用非金属材料制造。而电磁接收器204则固定在粒子植入器205的尾端，在经过器械标定后，可以通过电磁接收器204接收电磁波后产生的电流变化来确定粒子植入器205外针针尖在真实世界坐标系中的位置变化。
病床207上固定有大腿支架，用以保证病人的截石位姿势，而导向板206则通过连接装置固定在病床207上并竖立放置于病人的***前，帮助医生经过病人***往预设的靶点位置扎入粒子植入器205的外针。
此外，与双目相机203放置方向相反的另一侧病床207上，还固定有棋盘格标定板208，棋盘格标定板208是正方形不透明纸板，上画有黑色与白色两种方格。在术前，棋盘格标定板208可以从病床207上取下来，用以辅助获取双目相机203的内参数和畸变参数，而在术中获取了所述外参数后，棋盘格标定板208可以从病床207上取下来。
电磁***210安放在主机209上方，并且与电磁接收器204、电磁接收器213和主机209相连。电磁接收器204和电磁接收器213产生的电流作为输入信息传给电磁***210，电磁***210通过分析电流的大小与相位，可以确定电磁接收器204、电磁接收器213与电磁发射器202之间的位置关系，然后电磁***210将所述位置关系作为输出信息传给主机209，主机209根据所述位置信息和器械标定结果，可以获知双目相机203、粒子植入器205、光点投射仪201和投影仪212在真实世界坐标系中的位置关系。
医生可以使用电脑显示屏211浏览术前资料和完成术前规划，然后在电脑显示屏211显示的软件操作界面中处理术前资料并绘制渲染虚拟二维切面，并将所述虚拟二维切面存储在主机209的存储库中。
投影仪212的大小与光点投射仪201一样，并且和光点投射仪201相连，所以在对光点投射仪201和电磁接收器213进行器械标定时，可以间接完成投影仪212的器械标定，从而实现对投影仪212的跟踪定位。此外，投影仪212通过VGA接口或无线网络与主机209相连，在投影时，由主机209发出控制信号，控制控制投影仪212将影像投影到特定区域。
进一步地，主机209除了要完成上述功能，还要根据存储库中存放的运算程序和术中获取的相机外参数和图像特征，使用CPU单元完成虚拟配准的运算，获取虚实配准后的转换矩阵。
如图3所示，是本发明的术前准备流程图，具体包括：
步骤S301，相机标定和畸变校正；
步骤S302，获取病人术区的二维医学影像；
步骤S303，影像预处理，并绘制渲染成三维模型；
步骤S304，在三维模型中绘制植入靶点和路径；
步骤S305，将三维模型转换成冠状面上的二维切面；
步骤S306，对粒子植入器、光点投射仪和投影仪标定。
本发明实施例共包含三项独立的术前准备内容，这三项内容的完成次序不分先后。
步骤S01中使用了张正友标定法来获取双目相机203的内参数和畸变参数，在进行标定校正时，需要使用双目相机203从不同角度拍摄若干张棋盘格标定板208的图像，而且为了保证能获得稳定的结果，图像数量不应该少于八张。此外，在放置好棋盘格标定板208后，需要设定其上任一角点为真实世界坐标系原点，然后标识棋盘格标定板208的四个顶角为特征点，测量所述四个特征点在真实世界坐标系下的坐标值。
进一步地，使用角点检测的方法，提取所述特征点在图像坐标系下的图像坐标，然后结合所述特征点的真实坐标，求解理想无畸变情况下的双目相机203的内参数和外参数并用极大似然估计提高精度。
具体地，所述内参数是指双目相机203的焦距、光心在像素坐标系中的坐标、在X方向上一个像素的物理长度、在Y方向上一个像素的物理长度。此外，所述外参数用来表示双目相机203与棋盘格标定板208在真实世界坐标系下的位置关系，所述外参数由三个旋转参数和三个平移参数计算获得，但是外参数会随着双目相机203的位置变化而变化，所以步骤S301获得的外参数只是用来优化双目相机203的内参数和畸变参数。
进一步地，应用最小二乘法求出双目相机203的径向畸变参数，再结合双目相机203的内参数、外参数，使用极大似然法再次提高所述内参数和径向畸变参数的精度，从而完成术前准备中双目相机203的标定和畸变校正。
而步骤S302到步骤S305都属于影像获取与模型绘制部分，步骤S302中医生需要在病人手术区域的肚脐和两腹股沟顶部连线之间的体表上，水平两排均匀粘贴大于五个并小于十五个的直径为一厘米的黑色半球形不透明塑料作为标记物，然后获取一系列病人手术区域的CT或MRI影像，并将所述影像保存为DICOM格式的术前资料。
具体地，所述手术区域是病人从***到横膈膜之间的躯体部分，此外，从冠状面观察时，所述标记物的粘贴位置不能遮挡***。
进一步地，步骤S303将对步骤S302所获取的一系列影像使用图像增强技术进行去噪处理，再使用阈值分割的方法，将所述影像中的器官组织进行分割从而完成了影像的预处理过程。然后，医生将完成了预处理后的影像导入3Dslicer软件中，使用面绘制的方法，绘制虚拟三维模型，所述三维模型中的所有器官组织都需使用浅色调进行渲染，不同的器官组织使用不同的颜色进行渲染，但是不可以使用白色渲染，而影像中标记物的渲染使用黑色。
进一步地，步骤S304将结合所述虚拟三维模型和术前规划的方案，在所述3Dslicer软件中绘制添加植入靶点和植入路径，所述植入靶点和植入路径的渲染颜色互不相同，并且每一个植入靶点有一个对应的植入路径，每一个植入靶点与对应的植入路径处于同一冠状面上，然后使用除黑色以外的深色调进行渲染。其中，所述术前规划的方案，是由医生在绘制渲染虚拟三维模型之前，根据所述术前资料而确定的一系列粒子植入靶点和植入路径。
具体地，所绘制的植入路径的粗细，应该与粒子植入器205的外针外径保持一致，而所绘制的植入靶点的大小，应该与粒子植入器205的外针内径保持一致。
步骤S305将步骤S304绘制渲染完成的虚拟三维模型按照各个植入靶点所在的冠状面，转换成一系列的二维切面，并根据所述虚拟三维模型中标记物在冠状面上的坐标信息，为每一张二维切面绘制渲染大小、颜色、位置都一样的标记物，最后将所述二维切面保存在主机209的存储库中，这就完成了术前准备中的影像获取与模型绘制。
由于本***将电磁发射器202设定为真实世界坐标系的原点，因此所有电磁接收器在电磁定位坐标系下的位置，都可视为真实世界坐标系下的位置。
具体地，在步骤S306中，粒子植入器205的末端固定有电磁接收器204，在电磁发射器202往外发射电磁波后，电磁接收器204将接收电磁波并产生特定大小和相位的电流，所述电流的大小和相位信息会随电磁接收器204的位置变化而变化，然后所述信息将被发送到与电磁接收器204连接的电磁***210中，电磁***210通过接收到的信息，可以确定电磁发射器202与电磁接收器204的位置关系，所述位置关系由电磁***210发送给主机209，主机209将结合接收到的位置关系、电磁接收器204与粒子植入器205外针针尖的距离关系，从而确定粒子植入器205外针针尖的真实世界坐标。
此外，光点投射仪201的上方一角固定有电磁接收器213，电磁接收器213的工作原理与电磁接收器204相同，只不过电磁接收器213与电磁发射器202之间的位置关系在被主机209接收后，主机209将结合接收到的位置关系、光点投射仪201中心位置与电磁接收器213之间的距离关系，从而确定光点投射仪201的真实世界坐标，由于投影仪212也是与光点投射仪固定相连，所以主机209将结合光点投射仪201中心位置与投影仪212中心的距离关系，同时确定投影仪212的真实世界坐标，至此就完成了术前准备中的粒子植入器205、光点投射仪201与投影仪212的标定。
如图4所示，是本发明的术中粒子植入路径可视化流程图，具体包括：
步骤S401，设定光点投射仪的检测范围和工作范围；
步骤S402，医生操控粒子植入器获取标定板世界坐标；
步骤S403，标定获取相机外参数，确定转换矩阵；
步骤S404，医生依次植入粒子；
步骤S405，是否进入检测范围；
步骤S406，如果是，则关联二维切面与病人的信息，并提取切面；
步骤S407，获取术区真实场景；
步骤S408，图像处理，并识别图像中的标记物；
步骤S409，虚实配准；
步骤S410，配准后的二维切面投影在病人术区体表上；
步骤S411，是否显示一秒之后，如果是，则返回步骤S407；
步骤S412，是否进入工作范围；
步骤S413，根据外针针尖位置投射光点到病人表皮上；
步骤S414，一系列的光点组合成外针针尖的植入路径；
步骤S415，是否完成粒子植入，如果是完成粒子植入，则术中粒子植入路径可视化结束，否则返回步骤S404，继续植入下一个粒子。
本发明实施例中，医生需要在步骤S401中使用设定光点投射仪的检测范围和工作范围，术中启动了可视化***后，医生可以通过主机209获知双目相机203、粒子植入器205、光点投射仪201和投影仪212在真实世界坐标系中的位置关系，然后医生需要在电脑显示屏211的软件操作界面中，将从光点投射仪201的中心位置到光点投射仪201最***一圈激光二极管之间的范围设定为光点投射仪201的工作范围。此外，医生需要操控粒子植入器205外针针尖触碰导向板206，从而间接获取导线板206的真实世界坐标，然后在电脑显示屏211的软件操作界面中，将从光点投射仪201靠近导向板206一侧最外层的激光二极管到导向板206之间的范围设定为光点投射仪201的检测范围。
进一步地，在进行步骤S402之前，需要将棋盘格标定板208固定于病人一侧的病床207上，然后将双目相机203放置于棋盘格对面的地面上，调整双目相机203的高度以及相对于病床207之间的距离，保证双目相机203可以完整拍摄到包括棋盘格标定板208和病人手术区域的正面体表之内的术区场景。此外，医生需要在病人身上粘贴与术前准备中完全一样的标记物，所述标记物的粘贴位置也要与术前准备中的相一致。
进一步地，步骤S402中医生操控粒子植入器205外针针尖触碰棋盘格标定板208的四个顶角，通过获取粒子植入器205外针针尖的真实世界坐标，间接确定所述四个顶角的真实世界坐标。
进一步地，在步骤S403中结合张正友标定法及术前准备中获得的双目相机203的内参数和畸变参数，求出双目相机203的外参数。
具体地，所述外参数表示了手术过程中双目相机203与棋盘格标定板208在真实世界坐标系下的位置关系，即从棋盘格标定板208所在的真实世界坐标系到双目相机203所在的相机坐标系的转换关系，所述外参数包含了六个变量，分别是三个旋转参数和三个平移参数，并且所述外参数可以用转换矩阵
来表示。
所述转换矩阵中，R表示旋转参数矩阵
所述旋转参数矩阵中的每一个参数都是由双目相机203的光轴相对于真实世界坐标系各坐标轴的方向余弦组合而成，其中所述方向余弦由三个旋转参数变量组成：
表示所述光轴对于真实世界坐标系X轴的旋转角度，φ表示所述光轴对于真实世界坐标系Y轴的旋转角度，ω表示所述光轴对于真实世界坐标系Z轴的旋转角度；而T表示平移参数矩阵
其中：tx表示X方向上的平移参数，ty表示Y方向上的平移参数，tz表示Z方向上的平移参数。
此外，在获取了所述外参数后，双目相机203与病床207在真实世界坐标系下的位置关系在整个***粒子植入手术过程中都将保持不变。
进一步地，步骤S404中，医生按照术前规划方案植入第一个放射性粒子。
进一步地，在刚开始进行粒子植入时，在步骤S405中可视化***的电磁***210会对粒子植入器205外针针尖进行实时的跟踪定位，而主机209会判定粒子植入器205外针针尖是否进入光点投射仪201的检测范围。
如果判定结果为“是”，则在步骤S406中，主机209会提取粒子植入器205外针针尖在真实世界坐标系下的高度信息，并将所述高度信息与主机209存储库中保存的一个虚拟二维切面进行关联，同时从存储库中将所述虚拟二维切面提取到主机209的缓存区中。其中，此时所述的一个虚拟二维切面包含的植入靶点和植入路径与医生开始植入第一个放射性粒子的植入靶点和植入路径相一致。
同时，在粒子植入过程中，步骤S407使用双目相机203获取术区场景的图像，并将所述图像发送到主机209。
进一步地，步骤S408中，当主机209接收到所述图像时，对所述图像依次完成从图像二值化、连通域分析到标记物识别等图像处理。
进一步地，步骤S409将所述图像中的标记物与存放在缓存区的虚拟二维切面中的标记物进行虚实配准，获得虚实配准后的转换矩阵。
进一步地，主机209根据所述转换矩阵以及投影仪的真实世界坐标，在步骤S410中控制投影仪212将所述虚拟二维切面投影到病人正面手术区域的体表上，从而完成病人手术区域上冠状面信息的增强现实显示。
进一步地，步骤S411会判定所述虚拟二维切面的投影显示是否超过一秒，如果显示超过一秒，将返回步骤S407重新获取术区场景的图像。
具体地，病人呼吸会导致粘贴在体表上标记物产生位置变化，从而影响虚实配准的精度，而术中每隔一段时间就重新获取一次术中场景的图像，有利于提高虚实配准的精度，从而保证***的可视化效果。
进一步地，在步骤S412中，随着医生继续进行***粒子植入手术，粒子植入器205外针针尖会从病人***处扎入人体，而主机209会根据从电磁***210处接收到的位置信息，判定粒子植入器205外针针尖是否进入光点投射仪201的工作范围。
如果判定结果为“是”，则在步骤S413中，主机209会根据检测到的粒子植入器205外针针尖的真实世界坐标，控制光点投射仪201的激光二极管发光。其中，所述激光二极管处于粒子植入器205外针针尖所在的横截面和矢状面的相交线上。
具体地，粒子植入器205外针针尖在光点投射仪201的工作范围中工作时，主机209会根据电磁***210传递的位置信息，判定在一定时刻内所述外针针尖是前进转态还是后退状态，即判定所述外针针尖是深入人体还是退出人体。当所述外针针尖是前进状态时，主机209会根据所述外针针尖的位置信息，控制对应的激光二极管发光，而且在所述外针针尖进入到下一个前进位置时，已经发光的激光二极管依然保持常亮状态。当所述外针针尖是后退状态时，主机209会实时检测所述外针针尖的位置，并将所述位置之前的后退路径上对应的的激光二极管熄灭。而保持发光的激光二极管，会一直发射激光投射在病人手术区域的正面体表之上。
进一步地，在步骤S413中产生的一系列光点，就会形成一条不间断的投射在病人手术区域的正面体表之上的光线，在步骤S414中，这一条光线就代表着粒子植入器205外针针尖在冠状面上的植入路径，而光线上相对导向板206的远端点，则代表了此时所述外针针尖在冠状面上的位置，通过这一可视化的位置信息与投影的虚拟二维切面上的植入靶点，可以辅助医生判定所述外针针尖是否到达了预定的靶点位置。
进一步地，步骤S415中，可视化***将判定是否已经完成粒子植入，如果判定结果为“是”，则***粒子植入路径可视化***完成工作；如果判定结果为“否”，则***粒子植入可视化***返回步骤S404，医生根据术前规划，植入下一个放射性粒子。
具体地，若***粒子植入路径可视化***返回步骤S404后，当进行到步骤S406时，由于病人在真实世界坐标系下的位置信息已知，所以不用通过确定粒子植入的位置信息来确定病人的位置信息，直接检测粒子植入器205外针针尖在真实世界坐标系下的高度信息变化，再从主机209的存储库中提取对应的虚拟二维切面即可。
如图5所示，是本发明的虚实配准流程图，具体包括：
步骤S501，提取虚拟二维切面中特征点的虚拟坐标；
步骤S502，根据图像特征点的像素坐标求出其真实坐标；
步骤S503，获取特征点的虚拟坐标与真实坐标的转换关系；
步骤S504，将二维切面从虚拟坐标系转换到真实坐标系；
步骤S505，将二维切面从真实坐标系转换到相机坐标系；
步骤S506，将二维切面从相机坐标系转换到成像坐标系；
本发明实施例中，在完成了步骤S406后，本***将在步骤S501中提取虚拟二维切面中标记物的虚拟坐标。由于虚拟二维切面及切面中的标记物都是在术前绘制渲染完成，在这个过程中，医生可在软件操作界面中，设定虚拟世界坐标系的原点，然后通过鼠标点击，就可以获取所述虚拟二维切面中标记物的虚拟坐标，并将所述虚拟坐标与对应的虚拟二维切面一起保存在存储库中的同一区域。因此，本***在术中提取所述虚拟二维切面时，所述虚拟二维切面中标记物的虚拟坐标也可以同时获知，每一个所述标记物的虚拟坐标都可以用
来表示。
同时，在完成了步骤S408后，可以得知实时术区场景图像中标记物的像素坐标，然后在步骤S502中，主机209会根据运算程序，将所述像素坐标从成像坐标系转换到相机坐标系，再从相机坐标系转换到真实坐标系，即可获取所述标记物在真实坐标系中的坐标。其中，所述真实坐标系就是真实世界坐标系。
具体地，从相机坐标系到成像坐标系之间的转换关系，可以如下转换矩阵来表示：
所述转换矩阵B中：ax＝f×dpu，ay＝f×dpv；其中，f是双目相机203的焦距、dpu是双目相机203在X方向上一个像素的物理长度、dpv是双目相机203在Y方向上一个像素的物理长度、u0是双目相机203光心在像素坐标中的横向坐标、v0是双目相机203光心在像素坐标中的纵向坐标、γ是径向畸变参数。这些参数在术前准备过程中的步骤S301中就已经获得。因此，将所述像素坐标从成像坐标系转换到相机坐标系，可以用如下公式来表示：
其中，x′i、y′i和z′i分别是所述一个标记物在相机坐标系中的X轴坐标、Y轴坐标和Z轴坐标，B-1是相机坐标系到成像坐标系之间的转换矩阵的逆矩阵，ui、yi分别是所述一个标记物在成像坐标系中的横向坐标和纵向坐标，i代表从1到n，而n代表所述标记物的个数。
当所述标记物的像素坐标完成从成像坐标系到相机坐标系的转换时，就可以获得所述一个标记物在相机坐标系中的相机坐标
然后，所述主机209会根据运算程序继续把所述相机坐标从相机坐标系转换到真实坐标系。
具体地，从真实坐标系到相机坐标系之间的转换关系A在步骤S403中就已经获得，因此，将所述相机坐标从相机坐标系转换到真实坐标系，可以用如下公式来表示：
其中，xi、yi和zi分别是所述一个标记物在真实坐标系中的X轴坐标、Y轴坐标和Z轴坐标，A-1是真实坐标系到相机坐标系之间的转换矩阵的逆矩阵。至此，就可以获得实时区域场景图像中一个标记物的真实世界坐标
进一步地，在步骤S503中针对已经获取的标记物的虚拟坐标点集和真实坐标点集，使用四元数法来确定所述虚拟坐标和真实坐标之间的转换关系,其中，要求所述虚拟坐标点集和真实坐标点集中的每一对虚拟坐标点和真实坐标点的对应关系都是已知的。
具体地，所述虚拟坐标点集和真实坐标点集可以分别用Qn和Pn来表示。首先需要获取所述两个坐标点集的重心坐标，分别可以用如下两个公式来表示：
其中，
表示虚拟坐标点集的重心坐标、用
表示真实坐标点集的重心坐标。然后对虚拟坐标点和真实坐标点进行重心化处理，可以用如下公式来表示：
因此，就可以进一步获得重心化后的虚拟坐标点集Q′n和真实坐标点集P′n。此外，根据最小二乘法的原理，构造函数
其中r是虚拟世界坐标系到真实世界坐标系的旋转矩阵，t是虚拟世界坐标系到真实世界坐标系的平移矩阵。在所述构造函数的基础上，结合公式(6)，可以对所述构造函数进行展开简化，从而获得如下公式：
在获得公式(7)后进行四元数算法求解，首先获得公式(7)的协方差矩阵，可用如下公式表示：
其中，
再根据所述协方差矩阵(8)构建对称矩阵W，所述对称矩阵W可用如下公式表示：
求取所述对称矩阵W中最大特征值对应的特征向量，又因为特征向量与单位四元数相等，则可以求出的四元数矩阵并表示为I＝[I0 I1 I2 I3]，最终根据所述四元数矩阵与旋转矩阵的关系，可以求出虚拟世界坐标系到真实世界坐标系的旋转矩阵r，如下所示：
此外，结合公式(10)、公式(5)和公式(4)，代入构造函数
中，就可以求出虚拟世界坐标系到真实世界坐标系的平移矩阵t。至此，就获取了标记物的虚拟坐标与真实坐标的转换关系
进一步地，在步骤S504中，将虚拟坐标系与真实坐标系的转换关系
标记物的虚拟坐标相乘，可以将所述二维切面从虚拟坐标系转换到真实坐标系并通过转换计算获得所述虚拟标记物的真实坐标
进一步地，在步骤S505中，将真实坐标系到相机坐标系之间的转换关系
所述虚拟标记物的真实坐标相乘，可以将所述二维切面从真实坐标系转换到相机坐标系并通过转换计算获得所述虚拟标记物的相机坐标。
进一步地，在步骤S506中，将相机坐标系到成像坐标系之间的转换关系
所述虚拟标记物的相机坐标相乘，可以将所述二维切面从相机坐标系转换到成像坐标系并通过转换计算获得所述虚拟标记物的像素坐标。至此，就完成了基于增强现实技术的虚实配准流程。
综上所述，通过本发明所提供的一种基于增强现实的***粒子植入路径可视化方法及***，医生在进行***近距离放射性治疗术时，可以利用基于增强现实技术的投影装置，观察到病人术区冠状面上的器官组织和粒子植入路径等信息，补充了缺失的信息，并且在观察过程中保证了手眼一致性，而术中实时获取的术区场景图像，以及四元数算法的使用，则保证了虚实配准的精度，提高了病人术区冠状面上的器官组织和粒子植入路径等信息的可视化效果，最终避免了粒子的植入过程过分依赖医生的个人经验和想象的缺点，减轻了医生的工作负担，提高了手术成功率。
以上内容是结合具体地实施方式对本发明所作的进一步详细说明，不应认定本发明的具体实施只局限于以上说明。对于本技术领域的技术人员而言，在不脱离本发明构思的前提下，所作出的若干不具有创造性劳动的变形或替换，均应视为由本发明所提交的权利要求确定的保护范围之内。
Claims (10)
1.一种基于增强现实的***粒子植入路径可视化方法，其特征在于，包括：
根据术前资料，构建虚拟二维切面；
完成器械标定；
设定***，获取相机的外参数；
建立病人与所述二维切面的关系,并提取所述二维切面；
实时拍摄术区场景，提取图像中的标记物；
根据所述标记物完成所述二维切面和图像的虚实配准；
将配准后的二维切面投影到病人术区体表；
检测所述粒子植入器的位置，投射光点完成可视化。
2.根据权利要求1所述的基于增强现实的***粒子植入路径可视化方法，其特征在于，所述术前资料，包括：
术前资料是一系列病人手术区域中器官组织的CT或MRI影像，影像中包含有粘贴在病人手术区域正面体表上的标记物，其中所述手术区域是指病人从***到横膈膜之间的躯体部分。
3.根据权利要求1所述的基于增强现实的***粒子植入路径可视化方法，其特征在于，所述虚拟二维切面，包括：
虚拟二维切面是病人手术区域的器官组织在冠状面上的一系列切面，每一个在病人手术区域不同高度的切面都根据体表标记物的形状及位置，绘制了一模一样的虚拟标记物，并且结合了术前规划方案，在所述不同高度的切面上绘制了对应的粒子植入靶点和植入路径，其中所述不同高度的划分是依据所述术前规划中一系列粒子植入的靶点所在的不同位置上的冠状面而进行的。
4.根据权利要求1所述的基于增强现实的***粒子植入路径可视化方法，其特征在于，所述器械标定，包括：
针对双目相机进行标定，使用了张正友标定法获取所述双目相机的内参数和畸变参数；
针对粒子植入器进行标定，是利用电磁定位将所述粒子植入器外针针尖坐标统一在电磁定位坐标系中；
针对光点投射仪进行标定，是利用电磁定位将光点投射仪的中心坐标统一在电磁定位坐标系中；
针对投影仪进行标定，由于所述投影仪是连接在所述光点投射仪上的，因此通过对所述光点投射仪进行标定，即可间接获知所述投影仪的中心在电磁定位坐标系中的坐标。
5.根据权利要求1所述的基于增强现实的***粒子植入路径可视化方法，其特征在于，所述建立病人与所述二维切面的关系，包括：
医生按照术前规划方案移动粒子植入器到导向板前的第一个放射性粒子植入位置，通过检测所述粒子植入器外针针尖的真实世界坐标，从而将所述粒子植入器外针针尖的真实世界坐标信息与第一个植入靶点所对应的虚拟二维切面相关联，后续手术过程中通过检测所述粒子植入器外针针尖在不同高度的冠状面间的垂直距离变化就能获得对应的虚拟二维切面。
6.根据权利要求1所述的基于增强现实的***粒子植入路径可视化方法，其特征在于，所述术区场景，包括：
术区场景的范围应该覆盖病人正面手术区域的体表及标定使用的棋盘格标定板。
7.根据权利要求1所述的基于增强现实的***粒子植入路径可视化方法，其特征在于，所述虚实配准，包括：
在虚实配准之前，需要根据所述术区场景图像中特征点的真实世界坐标和二维切面中特征点的虚拟世界坐标，使用四元数法求出虚拟世界坐标系和真实世界坐标系之间的转换关系；
所述二维切面需要完成从虚拟世界坐标系到真实世界坐标系、相机坐标系和成像坐标系的依次转换，才能实现虚实配准。
8.根据权利要求1所述的基于增强现实的***粒子植入路径可视化方法，其特征在于，所述投影到病人术区体表，包括：
主机根据所述二维切面在虚实配准中得到的坐标系转换结果，控制投影仪完成投影。
9.根据权利要求1所述的基于增强现实的***粒子植入路径可视化方法，其特征在于，所述投射光点完成可视化，包括：
每一个光点都由所述光点投射仪中的一个激光二极管投射出来，一系列光点组成所述粒子植入器外针针尖在冠状面上的行进路径。
10.一种基于增强现实的***粒子植入路径可视化***，其特征在于，包括：
光点投射仪，用于投射光点到病人正面手术区域的体表上，使用一系列光点来表现***粒子植入过程的真实靶点和路径；
电磁发射器，用于发射电磁波；
双目相机，用于实时获取术区场景的图像；
电磁接收器，用于接收所述电磁发射器发射出来的电磁波，然后产生对应大小和相位的电流；
粒子植入器，用于植入放射性粒子到***的病灶中；
导向板，用于辅助和引导医生扎入所述粒子植入器的外针；
病床，用于固定病人的截石位姿势；
电磁***，用于连接所述电磁接收器，并分析所述电磁接收器产生的电流大小和相位，确定各电磁接收器和电磁发射器间的位置关系；
棋盘格标定板，术前用于辅助获取所述双目相机的内参数和畸变参数，术中用于辅助获取所述双目相机的外参数；
电脑显示屏，用于浏览术前资料和虚拟二维切面；
投影仪，用于投影虚拟二维切面到病人正面手术区域的体表上；
主机，用于处理术前资料，绘制和存储虚拟二维切面，实时接收、识别和处理术中场景，完成虚实配准，接收和分析所述电磁定位确定的坐标数据，控制所述投影仪完成图像投影，控制所述光点投射仪完成光点投射。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010666341.8A CN111839727A (zh) | 2020-07-10 | 2020-07-10 | 基于增强现实的***粒子植入路径可视化方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010666341.8A CN111839727A (zh) | 2020-07-10 | 2020-07-10 | 基于增强现实的***粒子植入路径可视化方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111839727A true CN111839727A (zh) | 2020-10-30 |
Family
ID=72984418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010666341.8A Pending CN111839727A (zh) | 2020-07-10 | 2020-07-10 | 基于增强现实的***粒子植入路径可视化方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111839727A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114176779A (zh) * | 2021-12-31 | 2022-03-15 | 杭州三坛医疗科技有限公司 | 一种手术机器人导航定位方法及装置 |
| CN115153782A (zh) * | 2022-08-12 | 2022-10-11 | 哈尔滨理工大学 | 一种超声引导下的穿刺机器人空间注册方法 |
| CN115471559A (zh) * | 2022-10-31 | 2022-12-13 | 北京石油化工学院 | 一种头部动态定位跟踪方法及*** |
| WO2022267767A1 (zh) * | 2021-06-24 | 2022-12-29 | 武汉联影智融医疗科技有限公司 | 自动化粒子植入***、粒子链生成机构和穿刺设备 |
| WO2023165239A1 (zh) * | 2022-03-03 | 2023-09-07 | 杭州大士科技有限公司 | 放射源植入装置的推杆或粒子链的位置控制组件及其使用方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6129670A (en) * | 1997-11-24 | 2000-10-10 | Burdette Medical Systems | Real time brachytherapy spatial registration and visualization system |
| CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航*** |
| US20140275760A1 (en) * | 2013-03-13 | 2014-09-18 | Samsung Electronics Co., Ltd. | Augmented reality image display system and surgical robot system comprising the same |
| CN105727431A (zh) * | 2016-01-29 | 2016-07-06 | 哈尔滨理工大学 | Trus图像导航多通道***近距离放射性粒子植入机器人 |
| CN107016685A (zh) * | 2017-03-29 | 2017-08-04 | 浙江大学 | 一种实时匹配的手术场景增强现实投射方法 |
-
2020
- 2020-07-10 CN CN202010666341.8A patent/CN111839727A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6129670A (en) * | 1997-11-24 | 2000-10-10 | Burdette Medical Systems | Real time brachytherapy spatial registration and visualization system |
| CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航*** |
| US20140275760A1 (en) * | 2013-03-13 | 2014-09-18 | Samsung Electronics Co., Ltd. | Augmented reality image display system and surgical robot system comprising the same |
| CN105727431A (zh) * | 2016-01-29 | 2016-07-06 | 哈尔滨理工大学 | Trus图像导航多通道***近距离放射性粒子植入机器人 |
| CN107016685A (zh) * | 2017-03-29 | 2017-08-04 | 浙江大学 | 一种实时匹配的手术场景增强现实投射方法 |
Non-Patent Citations (1)
| Title |
|---|
| 毕津滔等: "基于电磁跟踪与超声图像的介入机器人穿刺导航方法及实验研究", 《仪器仪表学报》, vol. 40, no. 7, pages 253 - 261 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022267767A1 (zh) * | 2021-06-24 | 2022-12-29 | 武汉联影智融医疗科技有限公司 | 自动化粒子植入***、粒子链生成机构和穿刺设备 |
| CN114176779A (zh) * | 2021-12-31 | 2022-03-15 | 杭州三坛医疗科技有限公司 | 一种手术机器人导航定位方法及装置 |
| CN114176779B (zh) * | 2021-12-31 | 2023-12-26 | 杭州三坛医疗科技有限公司 | 一种手术机器人导航定位方法及装置 |
| WO2023165239A1 (zh) * | 2022-03-03 | 2023-09-07 | 杭州大士科技有限公司 | 放射源植入装置的推杆或粒子链的位置控制组件及其使用方法 |
| CN115153782A (zh) * | 2022-08-12 | 2022-10-11 | 哈尔滨理工大学 | 一种超声引导下的穿刺机器人空间注册方法 |
| CN115471559A (zh) * | 2022-10-31 | 2022-12-13 | 北京石油化工学院 | 一种头部动态定位跟踪方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11464575B2 (en) | Systems, methods, apparatuses, and computer-readable media for image guided surgery | |
| CN111839727A (zh) | 基于增强现实的***粒子植入路径可视化方法及*** | |
| CN102949240B (zh) | 一种影像导航肺部介入手术*** | |
| US10398513B2 (en) | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures | |
| CN109419524B (zh) | 医学成像***的控制 | |
| US11364004B2 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
| CN108420529A (zh) | 基于电磁定位技术和术中图像引导的手术导航仿真方法 | |
| KR20210104715A (ko) | 광학 코드를 이용한 증강 현실 디스플레이 | |
| CN103371870A (zh) | 一种基于多模影像的外科手术导航*** | |
| US10991069B2 (en) | Method and apparatus for registration of medical images | |
| JP2017225819A (ja) | 医用画像診断装置及び医用画像処理装置 | |
| CN115054367A (zh) | 基于混合现实的病灶定位方法、装置和电子设备 | |
| CN109674533A (zh) | 基于便携式彩超设备的手术导航***及方法 | |
| KR20220164463A (ko) | 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법 | |
| US11771508B2 (en) | Robotically-assisted surgical device, robotically-assisted surgery method, and system | |
| KR20230059159A (ko) | 수술 도중 환자의 신체를 위치 설정하고 환자의 위치를 추적하기 위한 장치 및 방법 | |
| CN111631814B (zh) | 术中血管立体定位导航***及方法 | |
| CN114283179A (zh) | 基于超声图像的骨折远近端空间位姿实时获取与配准*** | |
| CN106580477A (zh) | 一种腹部外科精准手术***及方法 | |
| JP2020140716A (ja) | 体腔のマップ | |
| CN115778545B (zh) | 一种消融定位方法及*** | |
| WO2023162657A1 (ja) | 医療支援装置、医療支援装置の作動方法及び作動プログラム | |
| US20230248441A1 (en) | Extended-reality visualization of endovascular navigation | |
| US20240144497A1 (en) | 3D Spatial Mapping in a 3D Coordinate System of an AR Headset Using 2D Images | |
| Singla | Intra-operative ultrasound-based augmented reality for laparoscopic surgical guidance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |