CN116942128A - 利用标志物匹配的ar可视化体内病灶定位方法及*** - Google Patents

利用标志物匹配的ar可视化体内病灶定位方法及*** Download PDF

Info

Publication number
CN116942128A
CN116942128A CN202310735802.6A CN202310735802A CN116942128A CN 116942128 A CN116942128 A CN 116942128A CN 202310735802 A CN202310735802 A CN 202310735802A CN 116942128 A CN116942128 A CN 116942128A
Authority
CN
China
Prior art keywords
patient
marker
body structure
image
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310735802.6A
Other languages
English (en)
Inventor
赵一阳
束旭俊
孙一睿
杨国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yishiji Medical Technology Development Co ltd
Original Assignee
Shanghai Yishiji Medical Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yishiji Medical Technology Development Co ltd filed Critical Shanghai Yishiji Medical Technology Development Co ltd
Priority to CN202310735802.6A priority Critical patent/CN116942128A/zh
Publication of CN116942128A publication Critical patent/CN116942128A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/4893—Nerves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Neurology (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种利用标志物匹配的AR可视化体内病灶定位方法及***，其中方法包括：在患者病灶区域身体结构的表面设置标志物，并获取具有标志物的患者病灶区域身体结构的三维模型；基于三维模型，在现实空间中生成AR影像；将AR影像投影在患者病灶区域身体结构的表面，利用标志物之间的对应关系，将AR影像与患者病灶区域身体结构之间进行完全匹配，并固定；根据AR影像中体内病灶在患者病灶区域身体结构的表面投影位置，获得体内病灶体表定位信息，完成AR可视化体内病灶定位。本发明具有成本较低、简单、易用、直观、准确等特点，能够帮助医生看见体内的结构和病变信息，辅助病变定位和手术方案的制定。

Description

利用标志物匹配的AR可视化体内病灶定位方法及***
技术领域
本发明涉及医疗领域的一种病灶定位技术，具体地，涉及一种利用标志物匹配的AR(增强现实)可视化体内病灶定位方法及***。
背景技术
体内病变(例如体内病变)等患病情况下的体表定位是手术的前提，一直以来，传统的体内病变定位方法通常采用在二维影像上经过测量计算的方式完成，包括：
a.用尺测量患者CT、MRI胶片上病灶与体表的距离，在经过比例尺转化成实际的距离，借助直角尺或游标卡尺等测量工具，计算和测量病变在患者病灶区域身体结构(例如体内病变的头部)的表面投影位置。
b.通过在患者体表粘贴标记物，然后再进行CT或MRI扫描，在影像上找到标记物，根据标记物与体内病变的相对位置关系，对应患者体表标志物的位置推算出病变的体表投影位置。
上述两种传统定位方式使用最广泛，但误差和不确定性都较大。具体地：
上述两种方法均使用尺测量的方式，由于胶片上的内容是二维的，而人体是三维结构，这种低纬度到高纬度的手工测量与转换存在较大的误差；
根据标志物与体内病变的相对位置关系，同样是通过二维来实现三维空间的定位。
神经导航的出现，使得体内病变定位能够达到准确定位。但是，这种方式是采用神经手术导航设备结合患者影像对病灶进行精准定位，首先，神经导航价格十分昂贵，只有大型医疗机构能够承担其成本；其次，神经导航的操作流程比较繁琐，且并非适用于所有的手术场景，例如一般适用于择期手术，而不适用于急诊手术。
随着计算机技术和医学影响技术的发展，以及大众生活水平的提高，微创治疗和个体化越来越受重视，对病变定位的精度和手术切口的要求也越来越高，传统的定位方法已不能满足目前的临床需求。
经过检索发现：
授权公告号为CN109620405B的中国发明专利《用于开颅手术体表切口导航的识别图像贴片的实现方法》，获取某患者颅部二维医学图像切片集，重建三维模型；将一识别图像导入扩增实境软件开发工具包，将得到的代码和三维模型导入Unity3D开发平台，设置三维模型和识别图像的比例和相对位置关系；在Unity 3D开发平台中导出APP，并发布到智能移动终端；同时1:1打印识别图像，得到识别图像贴片；根据三维模型和识别图像的位置关系，并将识别图像贴片粘贴在患者头皮上；手术时，手持智能移动终端扫描贴在患者头皮上的识别图像，即能显示头皮部分消隐后的三维模型，且该三维模型的显示效果与手持智能移动终端相对识别图像的位置对应。该方法针对不同的患者在使用时需要每次在开发平台中手动调整识别图像与三维模型的相对位置，复用性较差；由于每次需要手动将图像贴在患者头皮上，由此产生的误差较大。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种利用标志物匹配的AR(增强现实)可视化体内病灶定位方法及***，同时提供了一种相应的计算机设备和计算机可读存储介质。
根据本发明的一个方面，提供了一种利用标志物匹配的AR可视化体内病灶定位方法，包括：
在患者病灶区域身体结构的表面设置标志物，并获取具有标志物的患者病灶区域身体结构的三维模型；
基于所述三维模型，在现实空间中生成AR影像；
将所述AR影像投影在患者病灶区域身体结构的表面上，利用与所述标志物之间的对应关系，将所述AR影像与患者病灶区域身体结构之间进行完全匹配，并固定；
根据所述AR影像中体内病灶在患者病灶区域身体结构的表面投影位置，获得体内病灶体表定位信息，完成AR可视化体内病灶定位。
优选地，所述在患者病灶区域身体结构的表面设置标志物，包括：
在患者病灶区域身体结构的表面设定位置处设置体表标识物或者体表标记画线，得到所述标志物。
优选地，所述设定位置，包括：鼻根、眼外眦、外耳道开口的位置。
优选地，所述获取具有标志物的患者病灶区域身体结构的三维模型，包括：
获取带有标志物的患者病灶区域身体结构的Dicom扫描数据，采用三维重建方式获取患者病灶区域身体结构的外形以及体内血管、神经和病变信息，构建患者病灶区域身体结构的三维模型，即为具有标志物的患者病灶区域身体结构的三维模型。
优选地，还包括：
将患者病灶区域身体结构的三维模型上传至云端服务器，并在云端服务器对三维模型进行优化处理。
优选地，所述优化处理包括：
获取所述三维模型的obj文件中所包括如下顶点数据：几何体顶点v、顶点法线vn和面f；根据设定的阈值t，遍历顶点间距：
如果顶点v1和顶点v2之间的距离小于阈值t并处于同一条边上，将顶点v1和顶点v2收缩为一个顶点；
如果顶点v1和顶点v2不在同一条边上，则在顶点v1和顶点v2之间新建一个顶点a，将顶点v1和顶点v2分别移动到顶点a再进行收缩；
重复上述步骤，降低所述三维模型的复杂度，完成对所述三维模型的优化处理。
优选地，所述基于所述三维模型，在现实空间中生成AR影像，包括：
基于移动智能终端，将所述三维模型下载至所述移动智能终端中，并利用所述移动智能终端实施增强现实技术在现实空间中生成AR影像，进而将所述三维模型投影至患者病灶区域身体结构的表面。
优选地，所述利用与所述标志物之间的对应关系，将所述AR影像与患者病灶区域身体结构之间进行完全匹配，包括：
利用所述移动智能终端，将生成的所述AR影像投影在患者病灶区域身体结构的表面；
调整所述AR影像的位置、大小和旋转角度，使得所述AR影像中的标志物与患者病灶区域身体结构的表面标志物完全匹配。
根据本发明的另一个方面，提供了一种利用标志物匹配的AR可视化体内病灶定位***，包括：
三维模型构建模块，该模块用于在患者病灶区域身体结构的表面设置标志物，并获取具有标志物的患者病灶区域身体结构的三维模型；
AR影像生成模块，该模块基于所述三维模型，在现实空间中生成AR影像；
匹配模块，该模块用于将所述AR影像投影在患者病灶区域身体结构的表面上，利用与所述标志物之间的对应关系，将所述AR影像与患者病灶区域身体结构之间进行完全匹配，并固定；
体表定位模块，该模块用于根据所述AR影像中体内病灶在患者病灶区域身体结构的表面投影位置，获得体内病灶体表定位信息，完成AR可视化体内病灶定位。
优选地，该***还包括如下任意一项或任意多项：
-所述三维模型构建模块布置在云端服务器上；
-所述AR影像生成模块布置在移动智能终端上。
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
本发明提供的利用标志物匹配的AR可视化体内病灶定位方法及***，解决了现有传统定位方式所存在的定位误差较大、速度慢、精密仪器价格昂贵且不适用与急诊手术等弊端，具有成本较低、简单、易用、直观、准确等特点。
本发明提供的利用标志物匹配的AR可视化体内病灶定位方法及***，能够利用患者术前扫描影像进行三维化后，根据体表标志物或画线来实现三维影像与患者病灶区域身体结构的匹配，从而实现增强显示效果，帮助医生看见体内的结构和病变信息，辅助病变定位和手术方案的制定。
本发明提供的利用标志物匹配的AR可视化体内病灶定位方法及***，提供了一种全新的可视化定位方案，整个流程十分简单和高效，不仅适用于普通手术，还适用于急诊手术和没有神经导航的基层医院手术，相较现有传统定位方式，不仅具有直观的三维可视化效果，同时还提高了定位的准确性。
本发明提供的利用标志物匹配的AR可视化体内病灶定位方法及***，通过在患者的固定解剖位置贴标志物，患者在进行做CT或MRI检查时会将标志物一同扫描，再根据扫描结果进行三维重建，将重建结果利用AR的方式进行呈现与定位，重建结果与人体同属三维信息，可以最大可能的避免因纬度不同造成的误差。
本发明提供的利用标志物匹配的AR可视化体内病灶定位方法及***，由于标志物的存在，可以通过标志物的外轮廓更方便快捷的进行病患病灶区域身体结构与三维重建结果的匹配，同时通过标志物的对齐进一步提升了精准度。
本发明提供的利用标志物匹配的AR可视化体内病灶定位方法及***，可以适用于体内、骨科、脊柱外科等多科室的病灶体表定位。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例中利用标志物匹配的AR可视化体内病灶定位方法的工作流程图。
图2为本发明一优选实施例中利用标志物匹配的AR可视化体内病灶定位***过的组成模块示意图。
图3为本发明一具体应用实例中利用标志物匹配的AR可视化颅内病灶定位方法的工作流程图。
图4为本发明一具体应用实例中利用标志物匹配的AR可视化颅内病灶定位方法的工作原理图。
图5中(a)～(c)为本发明一具体应用实例中颅内病灶定位效果图；其中，(a)为标志物未匹配示意图，(b)为标志物匹配示意图，(c)为病灶位置标画示意图。图中，1为实物标志物，2为影像中标志物，3为病灶位置。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明一实施例提供了一种利用标志物匹配的AR可视化体内病灶定位方法，该方法通过特定的体表标识物或者体表标记画线进行自动或手动匹配，从而让三维模型影像与患者病灶区域身体结构进行1：1等比匹配，利用AR增强现实技术在体表现实体内病变、血管等重要的结构，实现AR可视化定位病灶，进而为制定手术切口和手术策略提供准确的参考。
如图1所示，该实施例提供的利用标志物匹配的AR可视化体内病灶定位方法，可以包括：
S1，在患者病灶区域身体结构的表面设置标志物，并获取具有标志物的患者病灶区域身体结构的三维模型；
S2，基于三维模型，在现实空间中生成AR影像；
S3，将AR影像投影在患者病灶区域身体结构的表面上，利用与标志物之间的对应关系，将AR影像与患者病灶区域身体结构之间进行完全匹配，并固定；
S4，根据AR影像中体内病灶在患者病灶区域身体结构的表面投影位置，获得体内病灶体表定位信息，完成AR可视化体内病灶定位。
在S1的一优选实施例中，在患者病灶区域身体结构的表面设置标志物，包括：
在患者病灶区域身体结构的表面设定位置处设置体表标识物或者体表标记画线，得到标志物。
进一步地，在一优选实施例中，设定位置，包括：鼻根、眼外眦、外耳道开口的位置。
在S1的一优选实施例中，获取具有标志物的患者病灶区域身体结构的三维模型，包括：
获取带有标志物的患者病灶区域身体结构的Dicom扫描数据，采用三维重建方式获取患者病灶区域身体结构的外形以及体内血管、神经和病变信息，构建患者病灶区域身体结构的三维模型，即为具有标志物的患者病灶区域身体结构的三维模型。
在S1的一优选实施例中，还包括：
将患者病灶区域身体结构的三维模型上传至云端服务器，并在云端服务器对三维模型进行优化处理。
进一步地，在一优选实施例中，优化处理包括：
获取三维模型的obj文件中所包括如下顶点数据：几何体顶点v、顶点法线vn和面f；根据设定的阈值t，遍历顶点间距：
如果顶点v1和顶点v2之间的距离小于阈值t并处于同一条边上，将顶点v1和顶点v2收缩为一个顶点；
如果顶点v1和顶点v2不在同一条边上，则在顶点v1和顶点v2之间新建一个顶点a，将顶点v1和顶点v2分别移动到顶点a再进行收缩；
重复上述步骤，降低三维模型的复杂度，完成对三维模型的优化处理。
在该优化处理的步骤中，默认构建的三维影像有很多非必要的信息，导致传输时间长，移动端设备加载压力大，甚至无法加载。在云端通过降低对三维模型的复杂度，缩短数据传输时间与移动端设备渲染压力。其中降低三维模型复杂度的方式为：通过计算三维影像数据的点和面数据，在保证三维影像数据精度的前提下创建一个形状相同但三角形(或点)较少的几何图形，来实现三维影像的优化处理。具体地：
默认三维模型为obj格式的三维影像，在obj文件中包含了如下顶点数据：v(几何体顶点)、vn(顶点法线)和元素f(面)。根据设定的阈值t，遍历顶点间距，如果顶点v1和顶点v2间的距离小于阈值t并处于同一条边上，将顶点v1和顶点v2收缩为一个顶点，如果顶点v1和顶点v2不在同一条边上，在顶点v1和顶点v2间新建一个顶点a，将顶点v1和顶点v2分别移动到顶点a再进行收缩，完成对示例三维模型的优化处理。
上述优化处理，可以使用开源软件Meshlab中的“Quadric Edge CollapseDecimation”完成，可以先对一例示例三维模型进行降低复杂度的优化，在优化完成之后，记录对应的优化规则，将该优化规则导出为mlx文件，作为后续对构建的三维模型的优化规则，以提高对构建的三维模型的优化处理效率。
在S2的一优选实施例中，基于三维模型，在现实空间中生成AR影像，包括：
采用移动智能终端，将三维模型下载至移动智能终端中，并利用移动智能终端实施增强现实技术在现实空间中生成AR影像，进而将三维模型投影至患者病灶区域身体结构的表面。
在S3的一优选实施例中，利用与标志物之间的对应关系，将AR影像与患者病灶区域身体结构之间进行完全匹配，包括：
利用移动智能终端，将生成的AR影像投影在患者病灶区域身体结构的表面；
调整AR影像的位置、大小和旋转角度，使得AR影像中的标志物与患者病灶区域身体结构的表面的标志物完全匹配。
进一步地，在一具体应用实例中，移动智能终端，可以采用智能手机、平板电脑等。
本发明一实施例提供了一种利用标志物匹配的AR可视化体内病灶定位***。
如图2所示，该实施例提供的利用标志物匹配的AR可视化体内病灶定位***，可以包括：
三维模型构建模块，该模块用于在患者病灶区域身体结构的表面设置标志物，并获取具有标志物的患者病灶区域身体结构的三维模型；
AR影像生成模块，该模块基于三维模型，在现实空间中生成AR影像；
匹配模块，该模块用于将AR影像投影在患者病灶区域身体结构的表面上，利用与标志物之间的对应关系，将AR影像与患者病灶区域身体结构之间进行完全匹配，并固定；
体表定位模块，该模块用于根据AR影像中体内病灶在患者病灶区域身体结构的表面投影位置，获得体内病灶体表定位信息，完成AR可视化体内病灶定位。
在一优选实施例中，三维模型构建模块布置在云端服务器上。
在一优选实施例中，AR影像生成模块布置在移动智能终端上。
需要说明的是，本发明提供的方法中的步骤，可以利用***中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现***的组成，即，方法中的实施例可理解为构建***的优选例，在此不予赘述。
下面结合一具体应用实例，对本发明上述实施例提供的技术方案进一步说明。
该具体应用实例以颅内病灶定位为例进行说明。
如图3所示，该具体应用实例中，利用标志物匹配的AR可视化颅内病灶定位方法，包括如下步骤
步骤1，在患者头部的特定解剖位置(如鼻根、眼外眦、外耳道开口等处)粘贴标识物或画线，得到实物标志物，并获取具有标志物的患者头部结构三维模型，该三维模型包括：患者颅内血管、神经等重要结构以及病灶信息；
步骤2，基于三维模型，利用移动智能终端在现实空间中生成AR影像；
步骤3，将AR影像投影在患者头部，利用影像中标志物与实物标志物之间的对应关系，将AR影像与患者头部之间进行完全匹配，并固定；
步骤4，根据AR影像中颅内病灶在患者头部的投影位置，获得颅内病灶体表定位信息，完成AR可视化颅内病灶定位。
进一步地，获取带有标志物的患者头部Dicom扫描数据，采用三维重建方式获取患者头颅外形以及颅内血管、神经和病变信息，构建患者头部结构三维模型，即为具有标志物的患者头部结构三维模型；将患者头部结构三维模型上传至云端服务器，并在云端服务器对三维模型进行优化处理；采用移动智能终端，将三维模型下载至移动智能终端中，并利用移动智能终端在现实空间中生成AR影像，进而将三维模型投影至患者头部；通过调整AR影像的位置、大小和旋转角度，使得AR影像中的标志物与患者头部的标志物完全匹配，完成AR可视化颅内病灶定位。
该具体应用实例的工作原理如图4所示，获得的AR可视化颅内病灶定位效果图如图5中(a)～(c)所示，从图中可以看出，通过影像中标志物与实物标志物之间完全匹配，能够快速、准确的获得颅内病灶位置在体表的定位，有效的帮助医生获取颅内的结构信息和病变信息，辅助病变定位和手术方案的制定。
本发明上述实施例提供的利用标志物匹配的AR可视化体内病灶定位及定位***，通过在患者体表的特定解剖位置粘贴标识物或画线，形成体表标志物，然后进行CT或MRI断层扫描，获取患者Dicom扫描数据，使用三维重建的方式获取具有标志物和病灶的三维模型，将三维模型上传至云端服务器，在云端服务器上对三维模型进行优化处理，在移动智能终端端下载具有标志物和病灶信息的三维模型，将标志物与患者体表的标志物进行投影匹配，即可在患者体表获得病灶位置。
本发明上述实施例提供的利用标志物匹配的AR可视化体内病灶定位及定位***，在没有神经导航技术支持或需要进行急诊手术时，也能够利用患者术前扫描影像进行三维化后，根据体表标志物实现三维影像与患者病灶区域身体结构之间的完全匹配，从而实现增强显示效果，帮助医生获取体内的结构信息和病变信息，辅助病变定位和手术方案的制定。本发明上述实施例提供的整个流程十分简单和高效，适用于各种类型及各种情况下的手术操作辅助。
本发明上述实施例中未尽事宜均为本领域公知技术。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种利用标志物匹配的AR可视化体内病灶定位方法，其特征在于，包括：
在患者病灶区域身体结构的表面设置标志物，并获取具有标志物的患者病灶区域身体结构的三维模型；
基于所述三维模型，在现实空间中生成AR影像；
将所述AR影像投影在患者病灶区域身体结构的表面上，利用与所述标志物之间的对应关系，将所述AR影像与患者病灶区域身体结构之间进行完全匹配，并固定；
根据所述AR影像中体内病灶在患者病灶区域身体结构的表面投影位置，获得体内病灶体表定位信息，完成AR可视化体内病灶定位。
2.根据权利要求1所述的利用标志物匹配的AR可视化体内病灶定位方法，其特征在于，所述在患者病灶区域身体结构的表面设置标志物，包括：
在患者病灶区域身体结构的表面设定位置处设置体表标识物或者体表标记画线，得到所述标志物。
3.根据权利要求2所述的利用标志物匹配的AR可视化体内病灶定位方法，其特征在于，所述设定位置，包括：鼻根、眼外眦、外耳道开口的位置。
4.根据权利要求1所述的利用标志物匹配的AR可视化体内病灶定位方法，其特征在于，所述获取具有标志物的患者病灶区域身体结构的三维模型，包括：
获取带有标志物的患者病灶区域身体结构的Dicom扫描数据，采用三维重建方式获取患者病灶区域身体结构的外形以及体内血管、神经和病变信息，构建患者病灶区域身体结构的三维模型，即为具有标志物的患者病灶区域身体结构的三维模型。
5.根据权利要求1-4中任一项所述的利用标志物匹配的AR可视化体内病灶定位方法，其特征在于，还包括：
将患者病灶区域身体结构的三维模型上传至云端服务器，并在云端服务器对三维模型进行优化处理。
6.根据权利要求5所述的利用标志物匹配的AR可视化体内病灶定位方法，其特征在于，所述优化处理包括：
获取所述三维模型的obj文件中所包括如下顶点数据：几何体顶点v、顶点法线vn和面f；根据设定的阈值t，遍历顶点间距：
如果顶点v1和顶点v2之间的距离小于阈值t并处于同一条边上，将顶点v1和顶点v2收缩为一个顶点；
如果顶点v1和顶点v2不在同一条边上，则在顶点v1和顶点v2之间新建一个顶点a，将顶点v1和顶点v2分别移动到顶点a再进行收缩；
重复上述步骤，降低所述三维模型的复杂度，完成对所述三维模型的优化处理。
7.根据权利要求1所述的利用标志物匹配的AR可视化体内病灶定位方法，其特征在于，所述基于所述三维模型，在现实空间中生成AR影像，包括：
基于移动智能终端，将所述三维模型下载至所述移动智能终端中，并利用所述移动智能终端实施增强现实技术在现实空间中生成AR影像，进而将所述三维模型投影至患者病灶区域身体结构的表面。
8.根据权利要求1所述的利用标志物匹配的AR可视化体内病灶定位方法，其特征在于，所述利用与所述标志物之间的对应关系，将所述AR影像与患者病灶区域身体结构之间进行完全匹配，包括：
利用所述移动智能终端，将生成的所述AR影像投影在患者病灶区域身体结构的表面；
调整所述AR影像的位置、大小和旋转角度，使得所述AR影像中的标志物与患者病灶区域身体结构的表面标志物完全匹配。
9.一种利用标志物匹配的AR可视化体内病灶定位***，其特征在于，包括：
三维模型构建模块，该模块用于在患者病灶区域身体结构的表面设置标志物，并获取具有标志物的患者病灶区域身体结构的三维模型；
AR影像生成模块，该模块基于所述三维模型，在现实空间中生成AR影像；
匹配模块，该模块用于将所述AR影像投影在患者病灶区域身体结构的表面上，利用与所述标志物之间的对应关系，将所述AR影像与患者病灶区域身体结构之间进行完全匹配，并固定；
体表定位模块，该模块用于根据所述AR影像中体内病灶在患者病灶区域身体结构的表面投影位置，获得体内病灶体表定位信息，完成AR可视化体内病灶定位。
10.根据权利要求10所述的利用标志物匹配的AR可视化体内病灶定位***，其特征在于，还包括如下任意一项或任意多项：
-所述三维模型构建模块布置在云端服务器上；
-所述AR影像生成模块布置在移动智能终端上。
CN202310735802.6A 2023-06-20 2023-06-20 利用标志物匹配的ar可视化体内病灶定位方法及*** Pending CN116942128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310735802.6A CN116942128A (zh) 2023-06-20 2023-06-20 利用标志物匹配的ar可视化体内病灶定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310735802.6A CN116942128A (zh) 2023-06-20 2023-06-20 利用标志物匹配的ar可视化体内病灶定位方法及***

Publications (1)

Publication Number Publication Date
CN116942128A true CN116942128A (zh) 2023-10-27

Family

ID=88457397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310735802.6A Pending CN116942128A (zh) 2023-06-20 2023-06-20 利用标志物匹配的ar可视化体内病灶定位方法及***

Country Status (1)

Country Link
CN (1) CN116942128A (zh)

Similar Documents

Publication Publication Date Title
CN102784003B (zh) 一种基于结构光扫描的椎弓根内固定手术导航***
US9990744B2 (en) Image registration device, image registration method, and image registration program
CN112971982B (zh) 基于肝内血管配准的手术导航***
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航***及其方法
KR102105974B1 (ko) 의료 영상 시스템
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
CN115105207A (zh) 基于混合现实的手术全息导航方法及***
US10004564B1 (en) Accurate radiographic calibration using multiple images
CN112168346A (zh) 三维医学影像与患者实时重合的方法及手术辅助***
Lin et al. Real-time automatic registration in optical surgical navigation
Ferguson et al. Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration
CN115054367A (zh) 基于混合现实的病灶定位方法、装置和电子设备
US10149724B2 (en) Accurate radiographic calibration using multiple images
CN113116523A (zh) 骨科手术配准装置、终端设备和存储介质
CN110720985A (zh) 一种多模式引导的手术导航方法和***
Mirota et al. High-accuracy 3D image-based registration of endoscopic video to C-arm cone-beam CT for image-guided skull base surgery
Alam et al. A review on extrinsic registration methods for medical images
CN114404039B (zh) 三维模型的组织漂移校正方法、装置、电子设备及存储介质
CN101632570B (zh) 医用内窥镜标定方法
CN109620405B (zh) 用于开颅手术体表切口导航的识别图像贴片的实现方法
CN111728695A (zh) 一种用于开颅手术的光束辅助定位方法及定位***
KR20190004591A (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
CN116942128A (zh) 利用标志物匹配的ar可视化体内病灶定位方法及***
Gao et al. 3d ultrasound parametric modeling imaging for spine deformity–a preliminary study
Bartholomew et al. Surgical navigation in the anterior skull base using 3-dimensional endoscopy and surface reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination