CN114283179A - 基于超声图像的骨折远近端空间位姿实时获取与配准*** - Google Patents
基于超声图像的骨折远近端空间位姿实时获取与配准*** Download PDFInfo
- Publication number
- CN114283179A CN114283179A CN202111561743.2A CN202111561743A CN114283179A CN 114283179 A CN114283179 A CN 114283179A CN 202111561743 A CN202111561743 A CN 202111561743A CN 114283179 A CN114283179 A CN 114283179A
- Authority
- CN
- China
- Prior art keywords
- bone
- model
- point cloud
- image
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种基于超声图像的骨折远近端空间位姿实时获取与配准***，包括术前数据采集模块、超声图像分割模块、点云获取模块、配准与定位模块、可视化模块。本发明所提出的基于超声影像数据的配准***通过对超声探头进行改造，添加红外标记球并进行标定，可以准确无创地提取骨表面特征，进而通过配准获取患骨的空间位姿。同时本发明使用超声设备进行术中患骨数据的采集，极大的降低了患者所受到的辐射损害。本发明能够在术中精确定位患骨的位置并与术前重建的模型进行配准，为骨折复位手术提供准确的三维信息，并且***具有无辐射损害、操作简便、适用各种类型的骨折手术等优点。
Description
技术领域
本发明涉及医学、计算机视觉、图像处理等领域，尤其涉及一种基于超声图像的骨折远近端空间位姿实时获取与配准***。
背景技术
传统的骨折手术依赖医生的主观判断和经验，且需要通过大切口的方式暴露骨组织，存在手术误差大、创伤大、操作时间长等问题。随着机器人技术与骨科医学的交叉融合，并联机器人以其微创、高精度的优点被引入骨科手术领域，成为实现精准安全骨折手术的优势解决方案。
并联机器人辅助骨折手术的流程一般分为三个阶段：1)术前CT扫描诊断患者病情；2)术中安装并联机器人至患骨远近端；3)术后拍摄x光片或再行CT扫描，完成对断骨的精确定位，借由机器人对骨折进行复位及有效固定操作，最终完成骨折的治疗。由上述流程可见，术中机器人安装后无法进行即时的复位及有效的固定操作，其原因在于术中缺乏对断骨空间位姿的有效辨识，这极大的延长了骨折手术的治疗时间，增加了患者感染以及二次骨折的风险，同时术后放射影像的采集也增加了患者的辐射。因此，如何在术中获取断骨的空间位姿，进而实现术中即时的复位及有效的固定，是实现精准高效骨折手术的核心问题。
目前，术中断骨空间位姿的获取主要通过基于探针采集数据进行配准的方法和基于CBCT影像数据进行配准的方法。基于探针采集数据的方法使用带有红外标记球的探针采集骨表面数据，进而与术前患骨数据进行配准，最终实现断骨空间位姿的获取。该方法的缺陷在于体表采集误差较大，而骨表面数据的采集往往需要增加手术切口，使患者遭受不必要的手术创伤。基于CBCT影像数据的方法将术中拍摄的锥形束CT图像与术前患骨图像进行配准，得到患骨对应的空间位姿。该方法的缺点在于CBCT的成像范围有限，与术前的三维图像配准时误差较大。此外其拍摄过程中产生大量辐射，使医生和患者遭受辐射危害。
发明内容
为了解决现有技术中的问题，本发明提供一种基于超声图像的骨折远近端空间位姿实时获取与配准***，解决现有技术中术中断骨空间位姿的获取误差较大、有辐射危害等问题。
本发明技术方案为：本发明的基于超声图像的骨折远近端空间位姿实时获取与配准***，包括以下子模块：术前数据采集模块、超声图像分割模块、点云获取模块、配准与定位模块、可视化模块。
术前数据采集模块，所述的术前数据采集模块用于从人体骨折部位CT数据中提取近端骨、远端骨和健侧骨区域并进行三维重建，之后将结果导出为STL网络模型作为标准模型骨，用于后续的配准和可视化呈现。
超声图像分割模块，所述的超声图像分割模块使用深度学习的方法获取超声图像分割模型，然后基于该模型对术中实时采集的图像进行分割，提取图像中包含的骨表面位置信息。
点云获取模块，所述的点云获取模块用于从术前STL网络模型中提取CT点云数据以及从术中超声图像分割结果中提取超声点云数据。
配准与定位模块，所述的配准与定位模块用于将术前CT点云和术中超声点云进行配准，得到两者的转换矩阵，进而得到标准模型骨与实际患骨在空间位置上的对应关系。
可视化模块，所述的可视化模块用于搭建三维虚拟场景，将经过配准和定位的患骨和健侧骨实时渲染至显示设备上，为医生提供直观的参考。
本发明的有益效果是：本发明***利用超声设备进行患骨表面特征的提取，避免了额外切口和辐射损害。同时将术中超声数据和术前模型数据进行配准，实现了患骨空间位姿的获取，并将断骨与健侧骨进行配准，得到骨折手术的复位目标，为手术提供了直观的三维影像参考。
本发明所提出的基于超声影像数据的配准***通过对超声探头进行改造，添加红外标记球并进行标定，可以准确无创地提取骨表面特征，进而通过配准获取患骨的空间位姿。同时本发明使用超声设备进行术中患骨数据的采集，极大的降低了患者所受到的辐射损害。本发明能够在术中精确定位患骨的位置并与术前重建的模型进行配准，为骨折复位手术提供准确的三维信息，并且***具有无辐射损害、操作简便、适用各种类型的骨折手术等优点。
附图说明
图1***模块组成图；
图2坐标系转换关系图；
图3深度学习分割模型获取流程图；
图4配准后患骨空间位姿示意图；
图5定位与配准***的可视化界面。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细说明。
参见附图1，本发明的骨折远近端空间位姿实时获取与配准***主要包括术前数据采集模块、超声图像分割模块、点云获取模块、配准与定位模块、可视化模块，具体执行以下步骤：
(1)术前数据采集阶段。扫描获取人体下肢CT数据，并从CT数据中提取近端骨(与主体相连的骨块)、远端骨(与主体不相连的骨块)和健侧骨(未发生骨折的一侧)所包含的区域，根据得到的骨区域利用移动立方体算法进行重建，获取相应的三维模型，然后将其保存为STL格式数据，用于后续处理。
(2)如附图2所示，将带有红外标记球的十字光学坐标架分别与远端骨和近端骨固连，然后使用双目视觉跟踪***跟踪坐标架的空间位姿，可选取一个初始位姿作为参照点，记为
则对于某一时刻坐标架的位姿变换矩阵为：
式中
为当前时刻对应的坐标架空间位姿。由于坐标架与患骨之间是刚性连接，因此该矩阵即对应患骨的空间位姿变化矩阵。
(3)超声图像分割模型获取阶段。如附图3所示，在术前通过深度学习的方法得到用于分割图像的训练结果模型。作为本发明的一种实施方式具体方法可以为：基于U-Net网络进行超声图像的分割，具体包括：
(3a)使用中值滤波的方式，对采集到的超声图像进行预处理，去除图像中的噪声干扰。
(3b)将预处理后的超声图像分成测试集、训练集和验证集，其中训练集用于对模型进行训练；验证集用于比较不同模型间的性能，从而得到一组最优的超参数；测试集用于对最终的训练结果模型进行客观评价，从而判断模型是否符合要求。上述所有的数据集都包含原始超声图像和专业医生分割结果。
(3c)将训练集和验证集进行平移和旋转变换，实现数据集的扩充。然后搭建U-Net深度神经网络，并对其进行初始化。之后将扩充后的数据集输入网络中进行迭代训练。
(3d)通过调节网络中的超参数并比较每次迭代训练得到的模型在验证集上的性能优劣，得到最优的训练模型。
(3e)将测试集输入至(3d)所得的训练模型，计算最终分割误差，若不满足误差条件则调整网络结构并增加数据量后重新执行(3a)-(3d)，若满足误差条件则输出训练结果模型。
(4)超声图像实时分割阶段。首先使用安装有光学坐标架的超声探头分别采集断骨处不同位置的图像，同时记录每次采集时(2)中获取的患骨位姿变化矩阵，分别记为ΔT1,ΔT2…ΔTn。然后将术中实时采集到的超声图像输入至(3)中所得的训练结果模型中，实现对图像中的骨表面特征的提取。最后将提取结果进行离散化表示如下：
式中，m和n分别表示分割所得骨表面离散点距离图像左边缘和上边缘的像素个数；Δx和Δy为超声探头固有参数，分别表示图像坐标系中水平和竖直方向相邻像素间的实际距离。
(5)点云获取阶段。主要包括从步骤(1)得到的STL网络模型和步骤(4)得到的超声分割结果中提取相应的点云数据。
(5a)提取CT模型中的点云数据。作为本发明的一种实施方式具体方法可以为：通过直接采样的方式提取远端骨、近端骨和健侧骨对应的STL模型中的点云，得到CT坐标系下的点云位置坐标，并构成点云数据集合，记为PCT。
(5b)提取超声分割结果中的点云数据。如附图2所示，首先结合超声探头标定得到的转换矩阵
和每次采集时患骨位姿变化矩阵ΔTi，可将(4)中的特征点从图像坐标系转换至光学坐标系，记为P′i(ui,vi,wi)，计算公式如下：
然后将所有的特征点进行整合即得到超声探头所采集到的骨表面点云：
PUS＝{P′1,P′2,…,P′n}
(6)配准与定位阶段。通过对光学坐标系下的点云数据和CT坐标系下的点云数据进行配准，获取CT骨模型和实际患骨之间的对应关系，从而实时跟踪断骨的空间位姿。具体步骤如下：
(6a)如附图2所示，利用最近点迭代(Iterative Closest Point,ICP)算法，对(5)中所得的PCT和PUS进行配准，获取相应的转换矩阵
该矩阵对应(3)中定义的初始位姿时CT骨模型和实际患骨之间的转换矩阵。
(6b)记录(2)中实时获取的骨位姿变化矩阵，记为ΔTN，则CT坐标系下的标准骨模型和光学坐标系下实际患骨之间实时的映射关系为：
(6c)分别得到近端骨和远端骨对应的映射关系之后，对CT坐标系中的近端骨和远端骨进行空间位姿变换，从而实时获取在光学坐标系下标准骨模型对应的空间位姿。
(6d)如附图4所示，将经过镜像处理的健侧骨作为复位目标，然后通过ICP算法对健侧骨和近端骨进行模型间配准，获取光学坐标系下健侧骨的空间位姿，此时远端骨相对于健侧骨的偏移量，即为骨折部位所需的复位量。
(7)模型的可视化。如附图5所示，可视化界面包括功能面板、可视化窗口和状态管理栏。功能面板用于实现各个模块对应的功能；可视化窗口用于实时显示光学坐标系下近端骨、远端骨和健侧骨的空间位姿；状态管理栏用于对模型的状态和属性进行管理。
以上对本发明的描述仅仅是示意性的，而不是限制性的，所以，本发明的实施方式并不局限于上述的具体实施方式。如果本领域的普通技术人员受其启示，在不脱离本发明宗旨和权利要求所保护范围的情况下，做出其他变化或变型，均属于本发明的保护范围。
Claims (7)
1.基于超声图像的骨折远近端空间位姿实时获取与配准***，其特征在于，包括以下子模块：术前数据采集模块、超声图像分割模块、点云获取模块、配准与定位模块、可视化模块；
所述的术前数据采集模块用于从人体骨折部位CT数据中提取近端骨、远端骨和健侧骨区域并进行三维重建，之后将结果导出为STL网络模型作为标准模型骨，用于后续的配准和可视化呈现；
所述的超声图像分割模块使用深度学习的方法获取超声图像分割模型，然后基于该模型对术中实时采集的图像进行分割，提取图像中包含的骨表面位置信息；
所述的点云获取模块用于从术前STL网络模型中提取CT点云数据以及从术中超声图像分割结果中提取超声点云数据；
所述的配准与定位模块用于将术前CT点云和术中超声点云进行配准，得到两者的转换矩阵，进而得到标准模型骨与实际患骨在空间位置上的对应关系；
所述的可视化模块用于搭建三维虚拟场景，将经过配准和定位的患骨和健侧骨实时渲染至显示设备上，为医生提供直观的参考。
2.根据权利要求1所述基于超声图像的骨折远近端空间位姿实时获取与配准***，其特征在于，对超声探头进行改造，将带有红外标记球的十字光学坐标架分别与远端骨和近端骨固连，然后使用双目视觉跟踪***跟踪坐标架的空间位姿，可选取一个初始位姿作为参照点，记为
则对于某一时刻坐标架的位姿变换矩阵为：
式中
为当前时刻对应的坐标架空间位姿；由于坐标架与患骨之间是刚性连接，因此该矩阵即对应患骨的空间位姿变化矩阵。
3.根据权利要求2所述基于超声图像的骨折远近端空间位姿实时获取与配准***，其特征在于，所述的超声图像分割模块使用深度学习的方法获取超声图像分割模型为基于U-Net网络进行超声图像的分割，具体包括以下步骤：
(1)使用中值滤波的方式，对采集到的超声图像进行预处理，去除图像中的噪声干扰；
(2)将预处理后的超声图像分成测试集、训练集和验证集，其中训练集用于对模型进行训练；验证集用于比较不同模型间的性能，从而得到一组最优的超参数；测试集用于对最终的训练结果模型进行客观评价，从而判断模型是否符合要求；上述所有的数据集都包含原始超声图像和专业医生分割结果；
(3)将训练集和验证集进行平移和旋转变换，实现数据集的扩充；然后搭建U-Net深度神经网络，并对其进行初始化；之后将扩充后的数据集输入网络中进行迭代训练；
(4)通过调节网络中的超参数并比较每次迭代训练得到的模型在验证集上的性能优劣，得到最优的训练模型；
(5)将测试集输入至步骤(4)所得的训练模型，计算最终分割误差，若不满足误差条件则调整网络结构并增加数据量后重新执行(1)-(4)，若满足误差条件则输出训练结果模型。
4.根据权利要求2所述基于超声图像的骨折远近端空间位姿实时获取与配准***，其特征在于，所述对术中实时采集的图像进行分割具体为：首先使用安装有光学坐标架的超声探头分别采集断骨处不同位置的图像，同时记录每次采集时获取的患骨位姿变化矩阵，分别记为ΔT1,ΔT2…ΔTn；然后将术中实时采集到的超声图像输入至所得的训练结果模型中，实现对图像中的骨表面特征的提取；最后将提取结果进行离散化表示如下：
式中，m和n分别表示分割所得骨表面离散点距离图像左边缘和上边缘的像素个数；Δx和Δy为超声探头固有参数，分别表示图像坐标系中水平和竖直方向相邻像素间的实际距离。
5.根据权利要求2所述基于超声图像的骨折远近端空间位姿实时获取与配准***，其特征在于，所述提取CT点云数据为通过直接采样的方式提取远端骨、近端骨和健侧骨对应的STL模型中的点云，得到CT坐标系下的点云位置坐标，并构成点云数据集合，记为PCT。
6.根据权利要求2所述基于超声图像的骨折远近端空间位姿实时获取与配准***，其特征在于，所述提取超声分割结果中的点云数据为首先结合超声探头标定得到的转换矩阵
和每次采集时患骨位姿变化矩阵ΔTi，可将特征点从图像坐标系转换至光学坐标系，记为P′i(ui,vi,wi)，计算公式如下：
然后将所有的特征点进行整合即得到超声探头所采集到的骨表面点云：
PUS＝{P′1,P′2,…,P′n}。
7.根据权利要求5或6所述基于超声图像的骨折远近端空间位姿实时获取与配准***，其特征在于，所述配准与定位模块通过对光学坐标系下的点云数据和CT坐标系下的点云数据进行配准，获取CT骨模型和实际患骨之间的对应关系，从而实时跟踪断骨的空间位姿；具体步骤如下：
(1)利用最近点迭代算法，对所得的PCT和PUS进行配准，获取相应的转换矩阵
该矩阵对应初始位姿时CT骨模型和实际患骨之间的转换矩阵；
(2)记录实时获取的骨位姿变化矩阵，记为ΔTN，则CT坐标系下的标准骨模型和光学坐标系下实际患骨之间实时的映射关系为：
(3)分别得到近端骨和远端骨对应的映射关系之后，对CT坐标系中的近端骨和远端骨进行空间位姿变换，从而实时获取在光学坐标系下标准骨模型对应的空间位姿；
(4)将经过镜像处理的健侧骨作为复位目标，然后通过最近点迭代算法对健侧骨和近端骨进行模型间配准，获取光学坐标系下健侧骨的空间位姿，此时远端骨相对于健侧骨的偏移量，即为骨折部位所需的复位量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561743.2A CN114283179A (zh) | 2021-12-20 | 2021-12-20 | 基于超声图像的骨折远近端空间位姿实时获取与配准*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561743.2A CN114283179A (zh) | 2021-12-20 | 2021-12-20 | 基于超声图像的骨折远近端空间位姿实时获取与配准*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283179A true CN114283179A (zh) | 2022-04-05 |
Family
ID=80873115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111561743.2A Pending CN114283179A (zh) | 2021-12-20 | 2021-12-20 | 基于超声图像的骨折远近端空间位姿实时获取与配准*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283179A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861392A (zh) * | 2023-01-13 | 2023-03-28 | 无锡艾米特智能医疗科技有限公司 | 一种基于图像数据处理的软组织配准方法 |
-
2021
- 2021-12-20 CN CN202111561743.2A patent/CN114283179A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861392A (zh) * | 2023-01-13 | 2023-03-28 | 无锡艾米特智能医疗科技有限公司 | 一种基于图像数据处理的软组织配准方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8942455B2 (en) | 2D/3D image registration method | |
| Maurer et al. | Registration of head CT images to physical space using a weighted combination of points and surfaces [image-guided surgery] | |
| US7778686B2 (en) | Method and apparatus for medical intervention procedure planning and location and navigation of an intervention tool | |
| CN103371870B (zh) | 一种基于多模影像的外科手术导航*** | |
| EP2637593B1 (en) | Visualization of anatomical data by augmented reality | |
| EP1719078B1 (en) | Device and process for multimodal registration of images | |
| US7961926B2 (en) | Registration of three-dimensional image data to 2D-image-derived data | |
| WO2018010040A1 (zh) | 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 | |
| CN109984843B (zh) | 骨折闭合复位导航***及方法 | |
| WO2019157294A1 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
| CN111415404B (zh) | 术中预设区域的定位方法、装置、存储介质及电子设备 | |
| CN112971982A (zh) | 基于肝内血管配准的手术导航*** | |
| CN114129240A (zh) | 一种引导信息生成方法、***、装置及电子设备 | |
| BR102018076393A2 (pt) | Mapas faciais codificados por cores com distância entre os ossos do ouvido, nariz e garganta | |
| CN116421313A (zh) | 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法 | |
| Stolka et al. | A 3D-elastography-guided system for laparoscopic partial nephrectomies | |
| Mirota et al. | High-accuracy 3D image-based registration of endoscopic video to C-arm cone-beam CT for image-guided skull base surgery | |
| CN114283179A (zh) | 基于超声图像的骨折远近端空间位姿实时获取与配准*** | |
| US20230316550A1 (en) | Image processing device, method, and program | |
| Linte et al. | Image-guided procedures: tools, techniques, and clinical applications | |
| US20240016365A1 (en) | Image processing device, method, and program | |
| US20240005495A1 (en) | Image processing device, method, and program | |
| Lu et al. | Virtual-real registration of augmented reality technology used in the cerebral surgery lesion localization | |
| Yang et al. | Augmented Reality Navigation System for Biliary Interventional Procedures With Dynamic Respiratory Motion Correction | |
| CN117503347A (zh) | 一种面向骨科手术导航的超声辅助配准***及配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |