CN113450395A - 基于光学跟踪探针划取点的手术导航空间配准方法及装置 - Google Patents
基于光学跟踪探针划取点的手术导航空间配准方法及装置 Download PDFInfo
- Publication number
- CN113450395A CN113450395A CN202110676594.8A CN202110676594A CN113450395A CN 113450395 A CN113450395 A CN 113450395A CN 202110676594 A CN202110676594 A CN 202110676594A CN 113450395 A CN113450395 A CN 113450395A
- Authority
- CN
- China
- Prior art keywords
- registration
- point
- points
- template
- optical tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Architecture (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于光学跟踪探针划取点的手术导航空间配准方法及装置,更加易于操作且成本更低,配准精度与基于基准点配准得到的结果相近。这种基于光学跟踪探针划取点的手术导航空间配准方法包括以下步骤:(1)利用一个通用的人面部模板,通过模板匹配方法以剔除图像空间中冗余的表面数据;(2)使用光学跟踪探针在真实人面部取点,并提出一个约束指标,以重建均匀的人面部轮廓;(3)通过粗到精的增量点云配准方法以及配准约束指标,约束所采集点云的完整性和配准结果的正确性,最终将图像空间与真实空间精确对齐。
Description
技术领域
本发明涉及医学图像处理的技术领域,尤其涉及一种基于光学跟踪探针划取点的手术导航空间配准方法,以及基于光学跟踪探针划取点的手术导航空间配准装置。
背景技术
作为手术导航***的关键步骤,不准确的图像配准将会导致时间损失、不良事件或手术失败,例如切除位置错误或不完整的治疗。往往需要选择一个坐标***作为世界坐标系,然后将***中的所有坐标***匹配到我们所选择的世界坐标***中。
传统的图像配准都是通过基于基准点的配准方法实现的。在基于基准点的配准方法中,需要在图像空间和人物理空间中分别找到至少3个不共线的点对。图像空间中的点通过在屏幕上用鼠标点击来获取,人物理空间中的点通过使用被跟踪的探针接触它们来获取。这样,就可以通过最小化所有对应点之间距离的平均值来计算两个空间之间的转换关系。然而,由于基于基准点的配准方法存在操作过程复杂、成本高、花费时间长、有创伤等固有问题,已经不再是这个方向的研究热点,研究者们致力于寻找一种快速、无标、无创的手术导航空间配准方法。近年来,陆续出现了一系列基于表面的图像配准方法,这种方法因其无标、无创、节约时间等优点成为研究的热点,逐渐被应用于颅底外科、神经外科、肝胆外科、口腔科及骨关节科等多个导航领域。以往的多项研究表明,当前手术导航中基于表面配准方法大多采用粗到精的配准策略,在粗配准过程中通过手动选择等方式为随后的精配准提供良好的初始姿态。已经提出了用于图像空间中点云自动配准的各种方法,并进行了临床测试。Fan等人提出了一种提取标识点的算法,可以自动将扫描的真实空间中的点云配准到图像空间中重建的表面,但需要扫描较为完整的头部点云,这无疑增加了临床使用难度。Hakje等人提出一种基于探针取点的自动图像配准算法,利用最小二乘投影和ICP算法来筛选探针所拾取的点,但忽略了初始配准姿态和ICP易于陷入局部最优的问题。Liu等人提出了一种基于3D曲面特征描述的自动配准算法,并使用ICP算法得到最优化的结果。
目前常见的点云获取设备主要有被跟踪的激光测距仪、被跟踪的探针以及被跟踪的三维扫描仪三种。被跟踪的激光测距仪和被跟踪的三维扫描仪这两种方法的基本原理是:将跟踪标志物附着在激光测距仪(或三维扫描仪)上,然后利用特定的方法(如手眼标定)对其进行标定,获取其成像数据与跟踪标志物之间的固定转换关系,这样即可对其进行实时跟踪,并将扫描的点云数据变换到跟踪设备坐标系下,完成配准过程。然而,由于临床环境复杂,3D扫描仪所扫描的数据往往包含大量无效点云需要手动去除,这无疑大大增加了配准任务的难度。且价格高昂的3D扫描仪也对其广泛应用于临床环境产生了阻碍。
发明内容
为克服现有技术的缺陷,本发明要解决的技术问题是提供了一种基于光学跟踪探针划取点的手术导航空间配准方法,其更加易于操作且成本更低,配准精度与基于基准点配准得到的结果相近。
本发明的技术方案是:这种基于光学跟踪探针划取点的手术导航空间配准方法,其包括以下步骤:
(1)利用一个通用的人面部模板,通过模板匹配方法以剔除图像空间中冗余的表面数据;
(2)使用光学跟踪探针在真实人面部取点,并提出一个约束指标,以重建均匀的人面部轮廓;
(3)通过粗到精的增量点云配准方法以及配准约束指标,约束所采集点云的完整性和配准结果的正确性,最终将图像空间与真实空间精确对齐。
本发明利用一个通用的患者面部模板,提出一种模板匹配方法以剔除图像空间中冗余的表面数据,使用光学跟踪探针在真实患者面部取点,并提出一个约束指标,以重建均匀的患者面部轮廓,提出一种粗到精的增量点云配准方法以及配准约束指标,以约束所采集点云的完整性和配准结果的正确性,最终将图像空间与真实患者空间精确对齐,所提出的配准方法集成在了导航***中,并进行了仿体实验和临床试验验证,证实更加易于操作且成本更低,配准精度与基于基准点配准得到的结果相近。
还提供了基于光学跟踪探针划取点的手术导航空间配准装置,其包括:
数据剔除模块,其配置来利用一个通用的人面部模板,通过模板匹配方法以剔除图像空间中冗余的表面数据;
人脸重建模块,其配置来使用光学跟踪探针在真实人面部取点,并提出一个约束指标,以重建均匀的人面部轮廓;
配准对齐模块,其配置来通过粗到精的增量点云配准方法以及配准约束指标,约束所采集点云的完整性和配准结果的正确性,最终将图像空间与真实空间精确对齐。
附图说明
图1是根据本发明的基于光学跟踪探针划取点的手术导航空间配准方法的流程图。
具体实施方式
如图1所示,这种基于光学跟踪探针划取点的手术导航空间配准方法,其包括以下步骤:
(1)利用一个通用的人面部模板,通过模板匹配方法以剔除图像空间中冗余的表面数据;
(2)使用光学跟踪探针在真实人面部取点,并提出一个约束指标,以重建均匀的人面部轮廓;
(3)通过粗到精的增量点云配准方法以及配准约束指标,约束所采集点云的完整性和配准结果的正确性,最终将图像空间与真实空间精确对齐。
本发明利用一个通用的患者面部模板,提出一种模板匹配方法以剔除图像空间中冗余的表面数据,使用光学跟踪探针在真实患者面部取点,并提出一个约束指标,以重建均匀的患者面部轮廓,提出一种粗到精的增量点云配准方法以及配准约束指标,以约束所采集点云的完整性和配准结果的正确性,最终将图像空间与真实患者空间精确对齐,所提出的配准方法集成在了导航***中,并进行了仿体实验和临床试验验证,证实更加易于操作且成本更低,配准精度与基于基准点配准得到的结果相近。
优选地,所述步骤(2)中,人的面部点云是由光学跟踪探针在人面部划动收集得到的,并且人的皮肤表面是从术前CT影像中分割并重建得到的;利用一个标准化模板分割出人面部相对较硬的区域用于配准,同时在拾取点云和精配准步骤分别加入约束条件,以提高算法的鲁棒性;4PCS算法将两个点云配准,以获得良好的初始姿态;然后执行ICP算法,以得到最佳的姿态矩阵,这通过最小化公式(1)来实现:
其中,R和t为能够最小化两个点云之间欧氏距离的旋转矩阵和平移向量;pi和qi分别表示两个点云中第i个相对应的点。
优选地,所述步骤(1)中,在配准过程中加入中间模板,以剔除冗余的面部区域;所使用的中间模板是一个覆盖人额头和鼻子区域的T字形表面数据,该模板由高斯人脸平均模型中手动截取;定义由医学影像中获取的人表面数据的原始点集为P;首先,使用4PCS算法将该模板对齐到所提取的人面部数据中,对齐后的模板表示为M;然后,利用kd-tree算法在P中快速搜索与M中的点距离小于给定阈值dδ(本文取dδ=10mm)的所有点;最终,得到P中被模板以dδ距离覆盖的点集P*用于后续配准,表示为公式(2):
P*={Pi|d(Pi,M)<dδ},(i=1,2,…,N) (2)
其中,d(Pi,M)表示点Pi到点集M中所有点的最近距离;N为点集P中的点的个数。P*为医学影像空间中的人面部数据,被用作后续点云配准算法的输入。
优选地,所述步骤(2)中,点拾取与点云配准同步进行,随着所拾取点的增加,真实人的面部轮廓逐渐被重建出来;在拾取过程中,用最近点距离(Nearest Point Distance,NPD)来约束点拾取和添加过程,以保证所重建点云的均匀性;NPD约束与点云配准中的3个约束指标共同构成完整的约束条件,只有当这4个约束全部被满足时,才认为当前点拾取和配准结果是最佳的;
对划取点云过程添加了NPD约束,定义当前拾取的点集为Q,含有N个点,对于即将添加的第N+1个点qN+1,利用公式(8)检测其是否满足NPD约束:
优选地,所述步骤(3)中,与点云配准中的3个约束指标分别是覆盖率(CoverageRatio,CR)、奇异点占比(Outliers Ratio,OR)和表面配准误差(Surface RegistrationError,SRE);当这3个约束指标全部被满足时,则当前点集拾取和配准过程结束,得到最佳的空间配准矩阵;4PCS算法被用来执行粗配准,以获得两组点集之间良好的初始姿态;ICP算法被用来执行精配准,以进一步提高配准精度;
SRE被用来评估导航中表面配准的精确度,表示所拾取点集Q中每一个点到点集P*的最小距离的平均值,SRE定义为:
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括上述实施例方法的各步骤,而所述的存储介质可以是:ROM/RAM、磁碟、光盘、存储卡等。因此,与本发明的方法相对应的,本发明还同时包括一种基于光学跟踪探针划取点的手术导航空间配准装置,该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括:
数据剔除模块,其配置来利用一个通用的人面部模板,通过模板匹配方法以剔除图像空间中冗余的表面数据;
人脸重建模块,其配置来使用光学跟踪探针在真实人面部取点,并提出一个约束指标,以重建均匀的人面部轮廓;
配准对齐模块,其配置来通过粗到精的增量点云配准方法以及配准约束指标,约束所采集点云的完整性和配准结果的正确性,最终将图像空间与真实空间精确对齐。
在利用光学跟踪探针拾取点集的过程中,利用所提出的方法同步执行粗到精的点云配准。结合所提出的约束指标,实时检测当前配准质量。CR指标将点拾取区域限制在了“T”模板匹配得到的人脸表面数据周围,以保证利用探针所重建表面的完整性。OR指标直接反映了当前拾取点集的质量和配准质量,确保点云配准结果不会陷入局部最优。SRE作为一个比较常规的指标,则计算了两个点集之间的匹配程度。在本文所提出的4个指标NPD、CR、OR和SRE的约束下,引导操作者完成人面部点集拾取和重建过程,最终得到最佳的图像到真实配准的空间变换。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。
Claims (6)
1.基于光学跟踪探针划取点的手术导航空间配准方法,其特征在于:其包括以下步骤:
(1)利用一个通用的人面部模板,通过模板匹配方法以剔除图像空间中冗余的表面数据;
(2)使用光学跟踪探针在真实人面部取点,并提出一个约束指标,以重建均匀的人面部轮廓;
(3)通过粗到精的增量点云配准方法以及配准约束指标,约束所采集点云的完整性和配准结果的正确性,最终将图像空间与真实空间精确对齐。
3.根据权利要求2所述的基于光学跟踪探针划取点的手术导航空间配准方法,其特征在于:所述步骤(1)中,在配准过程中加入中间模板,以剔除冗余的面部区域;所使用的中间模板是一个覆盖人额头和鼻子区域的T字形表面数据,该模板由高斯人脸平均模型中手动截取;定义由医学影像中获取的人表面数据的原始点集为P;首先,使用4PCS算法将该模板对齐到所提取的人面部数据中,对齐后的模板表示为M;然后,利用kd-tree算法在P中快速搜索与M中的点距离小于给定阈值dδ的所有点;最终,得到P中被模板以dδ距离覆盖的点集P*用于后续配准,表示为公式(2):
P*={Pi|d(Pi,M)<dδ},(i=1,2,…,N) (2)
其中,d(Pi,M)表示点Pi到点集M中所有点的最近距离;N为点集P中的点的个数。P*为医学影像空间中的人面部数据,被用作后续点云配准算法的输入。
4.根据权利要求3所述的基于光学跟踪探针划取点的手术导航空间配准方法,其特征在于:所述步骤(2)中,点拾取与点云配准同步进行,随着所拾取点的增加,真实人的面部轮廓逐渐被重建出来;在拾取过程中,用最近点距离来约束NPD点拾取和添加过程,以保证所重建点云的均匀性;NPD约束与点云配准中的3个约束指标共同构成完整的约束条件,只有当这4个约束全部被满足时,才认为当前点拾取和配准结果是最佳的;
对划取点云过程添加了NPD约束,定义当前拾取的点集为Q,含有N个点,对于即将添加的第N+1个点qN+1,利用公式(8)检测其是否满足NPD约束:
5.根据权利要求4所述的基于光学跟踪探针划取点的手术导航空间配准方法,其特征在于:所述步骤(3)中,与点云配准中的3个约束指标分别是覆盖率CR、奇异点占比OR和表面配准误差SRE;当这3个约束指标全部被满足时,则当前点集拾取和配准过程结束,得到最佳的空间配准矩阵;4PCS算法被用来执行粗配准,以获得两组点集之间良好的初始姿态;ICP算法被用来执行精配准,以进一步提高配准精度;
SRE被用来评估导航中表面配准的精确度,表示所拾取点集Q中每一个点到点集P*的最小距离的平均值,SRE定义为:
6.基于光学跟踪探针划取点的手术导航空间配准装置,其特征在于:其包括:
数据剔除模块,其配置来利用一个通用的人面部模板,通过模板匹配方法以剔除图像空间中冗余的表面数据;
人脸重建模块,其配置来使用光学跟踪探针在真实人面部取点,并提出一个约束指标,以重建均匀的人面部轮廓;
配准对齐模块,其配置来通过粗到精的增量点云配准方法以及配准约束指标,约束所采集点云的完整性和配准结果的正确性,最终将图像空间与真实空间精确对齐。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110676594.8A CN113450395B (zh) | 2021-06-16 | 2021-06-16 | 基于光学跟踪探针划取点的手术导航空间配准方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110676594.8A CN113450395B (zh) | 2021-06-16 | 2021-06-16 | 基于光学跟踪探针划取点的手术导航空间配准方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113450395A true CN113450395A (zh) | 2021-09-28 |
CN113450395B CN113450395B (zh) | 2022-12-02 |
Family
ID=77811709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110676594.8A Active CN113450395B (zh) | 2021-06-16 | 2021-06-16 | 基于光学跟踪探针划取点的手术导航空间配准方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113450395B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005025404A2 (en) * | 2003-09-08 | 2005-03-24 | Vanderbilt University | Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery |
CN111563920A (zh) * | 2020-04-15 | 2020-08-21 | 西安工程大学 | 一种全局优化与多约束条件迭代的3d彩色点云配准方法 |
CN111640143A (zh) * | 2020-04-12 | 2020-09-08 | 复旦大学 | 一种基于PointNet的神经导航快速面配准方法及*** |
CN112001955A (zh) * | 2020-08-24 | 2020-11-27 | 深圳市建设综合勘察设计院有限公司 | 一种基于二维投影平面匹配约束的点云配准方法及*** |
-
2021
- 2021-06-16 CN CN202110676594.8A patent/CN113450395B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005025404A2 (en) * | 2003-09-08 | 2005-03-24 | Vanderbilt University | Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery |
CN111640143A (zh) * | 2020-04-12 | 2020-09-08 | 复旦大学 | 一种基于PointNet的神经导航快速面配准方法及*** |
CN111563920A (zh) * | 2020-04-15 | 2020-08-21 | 西安工程大学 | 一种全局优化与多约束条件迭代的3d彩色点云配准方法 |
CN112001955A (zh) * | 2020-08-24 | 2020-11-27 | 深圳市建设综合勘察设计院有限公司 | 一种基于二维投影平面匹配约束的点云配准方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN113450395B (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110946654B (zh) | 一种基于多模影像融合的骨科手术导航*** | |
Lu et al. | Analysis and design of surgical instrument localization algorithm | |
CN106890031B (zh) | 一种标记物识别及标记点定位方法及手术导航*** | |
CN113347937B (zh) | 参照系的配准 | |
CN108324369B (zh) | 基于面的术中配准方法及神经导航设备 | |
Grimson et al. | An automatic registration method for frameless stereotaxy, image guided surgery, and enhanced reality visualization | |
US7916919B2 (en) | System and method for segmenting chambers of a heart in a three dimensional image | |
WO2022052303A1 (zh) | 超声图像和ct图像的配准方法、装置及设备 | |
CN102106758B (zh) | 立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法 | |
CN110464462B (zh) | 腹部外科介入手术的图像导航配准***及相关装置 | |
CN110763204B (zh) | 一种平面编码靶标及其位姿测量方法 | |
CN110782428B (zh) | 一种用于构建临床脑部ct图像roi模板的方法及*** | |
CN114092480B (zh) | 一种内窥镜调整装置、手术机器人及可读存储介质 | |
CN113884002B (zh) | 基于二三维信息融合的受电弓滑板上表面检测***及方法 | |
CN111311655A (zh) | 多模态图像配准方法、装置、电子设备、存储介质 | |
CN109965979A (zh) | 一种无需标志点的稳健的神经导航自动注册方法 | |
CN108670301B (zh) | 一种基于超声影像的脊柱横突定位方法 | |
CN111950440A (zh) | 一种识别与定位门的方法、装置及存储介质 | |
CN115578320A (zh) | 一种骨科手术机器人全自动空间注册方法及*** | |
CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
CN112617877B (zh) | 移动ct***的自主扫描方法、存储介质和ct扫描装置 | |
CN116883471B (zh) | 面向胸腹部经皮穿刺的线结构光无接触点云配准方法 | |
CN114463482A (zh) | 光学跟踪三维扫描仪的标定模型、方法及其手术导航*** | |
CN112352289A (zh) | 提供ecg分析界面的方法及*** | |
CN113450395B (zh) | 基于光学跟踪探针划取点的手术导航空间配准方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Fan Jingfan Inventor after: Li Wenjie Inventor after: Song Hong Inventor after: Ai Danni Inventor after: Yang Jian Inventor after: Xiao Deqiang Inventor before: Li Wenjie Inventor before: Fan Jingfan Inventor before: Song Hong Inventor before: Ai Danni Inventor before: Yang Jian |
|
CB03 | Change of inventor or designer information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |