CN114159157A - 辅助移动器械的方法、装置、设备及存储介质 - Google Patents
辅助移动器械的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114159157A CN114159157A CN202111478462.0A CN202111478462A CN114159157A CN 114159157 A CN114159157 A CN 114159157A CN 202111478462 A CN202111478462 A CN 202111478462A CN 114159157 A CN114159157 A CN 114159157A
- Authority
- CN
- China
- Prior art keywords
- instrument
- dimensional model
- channel
- determining
- moved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004044 response Effects 0.000 claims abstract description 26
- 230000003287 optical effect Effects 0.000 claims description 62
- 238000004590 computer program Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000037361 pathway Effects 0.000 claims 4
- 108091006146 Channels Proteins 0.000 description 127
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000003325 tomography Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 230000004962 physiological condition Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开涉及一种辅助移动器械的方法、装置、设备及存储介质，本公开通过将所述器械三维模型与所述待移动器械进行光学匹配，将对象三维模型与对象实体进行光学匹配，进一步，响应于通道规划操作，在所述对象三维模型中确定目标通道，基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息。由于通过在所述对象三维模型中确定目标通道，基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，可以直观地提示医生手术的位置偏差和角度偏差。可使医生在手术前，对病人病患部位结构进行充分了解，以及对病灶结构、位置进行准确定位。也使得经验不够丰富的医生能够在术前进行手术操练，降低了手术风险。
Description
技术领域
本公开涉及虚拟现实领域，尤其涉及一种辅助移动器械的方法、装置、设备及存储介质。
背景技术
通常情况下，临床手术是现代医疗的重要诊疗手段。实际临床中，例如脑科手术成功率低、风险大，而且需要高超的手术技巧及丰富的临床经验。当经验不足的医生需要进行手术培训时，现有技术通常还停留在有经验的医生向实习医生传授临床经验，或是由实习医生观看有经验的医生进行手术的阶段。
但是，手术是直接作用于病人身上，手术视野比较有限，医生更不可能透视病人的病患组织结构，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，手术医生以及实习医生很难将术中所见与术前影像学图像关联起来，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策，同时也影响实习医生的培训效果。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种辅助移动器械的方法、装置、设备及存储介质，使医生在手术前，可以对病人病患部位结构进行充分了解，以及对病灶结构、位置进行准确定位。也使得经验不够丰富的医生能够在术前进行手术操练，降低手术风险。
第一方面，本公开实施例提供一种辅助移动器械的方法，待移动器械为设置有第一光学刚体的器械，预先构建所述待移动器械的器械三维模型，所述方法包括：
将所述器械三维模型与所述待移动器械进行光学匹配；
将对象三维模型与对象实体进行光学匹配，其中，所述对象实体为设置有第二光学刚体的对象实体，所述对象三维模型为基于所述对象实体生成的三维模型；
响应于通道规划操作，在所述对象三维模型中确定目标通道；
基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿与所述目标通道相匹配。
第二方面，本公开实施例提供一种辅助移动器械的装置，包括：
匹配模块，用于将所述器械三维模型与所述待移动器械进行光学匹配；
所述匹配模块还用于：将对象三维模型与对象实体进行光学匹配，其中，所述对象实体为设置有第二光学刚体的对象实体，所述对象三维模型为基于所述对象实体生成的三维模型；
响应模块，用于响应于通道规划操作，在所述对象三维模型中确定目标通道；
确定模块，用于基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿与所述目标通道相匹配。
第三方面，本公开实施例提供一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的方法。
第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的辅助移动器械的方法。
本公开实施例提供的辅助移动器械的方法、装置、设备及存储介质，通过将所述器械三维模型与所述待移动器械进行光学匹配，将对象三维模型与对象实体进行光学匹配，进一步，响应于通道规划操作，在所述对象三维模型中确定目标通道，基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息。由于通过在所述对象三维模型中确定目标通道，基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，可以直观地提示医生手术的位置偏差和角度偏差。可使医生在手术前，对病人病患部位结构进行充分了解，以及对病灶结构、位置进行准确定位。也使得经验不够丰富的医生能够在术前进行手术操练，降低了手术风险。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的辅助移动器械的方法流程图；
图2为本公开另一实施例提供的辅助移动器械的方法流程图；
图3为本公开实施例提供的第一视角下器械三维模型与目标通道位置关系的示意图；
图4为本公开实施例提供的第二视角下器械三维模型与目标通道位置关系的示意图；
图5为本公开另一实施例提供的辅助移动器械的方法流程图；
图6为本公开实施例提供的辅助移动器械的装置的结构示意图；
图7为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
通常情况下，临床手术是现代医疗的重要诊疗手段。实际临床中，例如脑科手术成功率低、风险大，而且需要高超的手术技巧及丰富的临床经验。当经验不足的医生需要进行手术培训时，现有技术通常还停留在有经验的医生向实习医生传授临床经验，或是由实习医生观看有经验的医生进行手术的阶段。
但是，手术是直接作用于病人身上，手术视野比较有限，医生更不可能透视病人的病患组织结构，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，手术医生以及实习医生很难将术中所见与术前影像学图像关联起来，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策，同时也影响实习医生的培训效果。
近年来，为了解决复杂手术难以有效开展的问题，结合虚拟现实和增强现实技术的最新发展，主要通过术前术中信息，建立无畸变三维立体图像，捕捉术中视野或手术动作，对术中每一阶段的生理状况进行逐一检测和融合，反馈给医生作为指导。
现有技术中，已经公开了医学专用智能头戴眼镜，使用增强现实技术，在医生做手术的过程中显示病人当前的脉搏、血压及体温等身体数据和补充资料。该设备通过蓝牙与手术室中其他监护设备连接，便携式方案起到了很好的配合作用，避免了在升级现有手术室设备时，器材过多、功能冗杂的问题，医生可以把注意力放回到病人身上，如果出现紧急情况，及时调整手术决策。但该设备只能呈现血压血氧等最简单的参生理数，对于脑部结构等复杂信息，无法有效视觉呈现。
现有技术中，还有基于腹腔镜视频进行手术导航的方法。该方法首先对腹腔镜相机进行标定，确定相机参数，并使用该参数进行三维（3D）图形渲染引擎的投影矩阵设置；获取手术对象术中的腹腔镜图像，用3D图形渲染引擎生成对应的无畸变视图，并用畸变模型使其变形为与实际腹腔镜具有同样畸变效果的虚拟视图；通过融合虚拟视图与实际腹腔镜图像，生成虚拟视图的每一个像素点的深度值，最终获得具有正确位置映射关系的精准虚拟-真实融合视频用于手术导航。但这种方法是基于术中的实时拍摄，对于术前规划并没有效果。针对该问题，本公开实施例提供了一种辅助移动器械的方法，下面结合具体的实施例对该方法进行介绍。
图1为本公开实施例提供的辅助移动器械的方法流程图。如图1所示，该方法包括如下几个步骤：
S101、将所述器械三维模型与所述待移动器械进行光学匹配。
所述待移动器械为设置有第一光学刚体的器械，预先构建所述待移动器械的器械三维模型。例如，所述待移动器械为套筒器械，针可以从套筒器械穿过。所述第一光学刚体包括至少三个光学反光点，所述器械三维模型为基于所述待移动器械生成的三维模型。
在一些实施例中，所述器械三维模型为所述待移动器械经过断层扫描所生成的三维模型。例如，电子计算机断层扫描设备把所述待移动器械经过断层扫描所生成的三维模型传给终端，终端接收到所述待移动器械的三维模型后，根据所述器械三维模型识别出至少三个模型反光点的位置，记为第一位置。进一步，通过双目摄像机获取到所述至少三个光学反光点的位置，记为第二位置。双目摄像机把获取到的所述至少三个光学反光点的第二位置发送给终端，终端接收到所述至少三个光学反光点的第二位置。然后，终端基于所述器械三维模型识别出至少三个模型反光点的第一位置和接收到双目摄像机发来的所述至少三个光学反光点的第二位置，将所述器械三维模型和所述待移动器械的位姿进行匹配。所述位姿包括位置和姿态，也即6自由度信息。
S102、将对象三维模型与对象实体进行光学匹配。
所述对象实体为设置有第二光学刚体的对象实体，所述对象三维模型为基于所述对象实体生成的三维模型。所述对象实体为病患部位骨骼，所述第二光学刚体包括至少三个光学反光点，所述对象三维模型为基于所述对象实体生成的三维模型。
在一些实施例中，所述对象三维模型为所述对象实体经过断层扫描所生成的三维模型。例如，电子计算机断层扫描设备把所述对象实体经过断层扫描所生成的三维模型传给终端，终端接收到所述对象的三维模型后，然后根据所述对象三维模型识别出至少三个模型反光点的位置，记为第一位置。进一步，通过双目摄像机获取到所述至少三个光学反光点的位置，记为第二位置。双目摄像机把获取到的所述至少三个光学反光点的第二位置发送给终端，终端接收到所述至少三个光学反光点的第二位置。然后，终端基于所述对象三维模型识别出至少三个模型反光点的第一位置和接收到双目摄像机发来的所述至少三个光学反光点的第二位置，将所述对象三维模型和所述对象实体的位姿进行匹配。
S103、响应于通道规划操作，在所述对象三维模型中确定目标通道。
例如，在用户界面上配置一个通道规划的控件（通道规划按钮），用户点击该通道规划按钮，终端响应于用户点击该通道规划按钮的操作，会显示如图3所示的用户界面图，图3表示第一视角下器械三维模型与目标通道的位置关系，左边的图案为在所述对象三维模型中确定的目标通道，右边的图案为第一视角下的所述器械模型。用户还可以点击切换显示视角，终端响应于用户点击该切换显示视角按钮的操作，会显示如图4所示的用户界面图，图4表示第二视角下器械三维模型与目标通道的位置关系，左边的图案为在所述对象三维模型中确定的目标通道，右边的图案为第二视角下的所述器械模型。
S104、基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息。
终端基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，用户根据移动信息移动待移动器械，终端会实时显示所述器械三维模型的位姿，直到所述器械三维模型与所述目标通道完全重合，在用户移动所述待移动器械的过程中，终端会实时显示移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿与所述目标通道相匹配。
本公开实施例通过将所述器械三维模型与所述待移动器械进行光学匹配，将对象三维模型与对象实体进行光学匹配，进一步，响应于通道规划操作，在所述对象三维模型中确定目标通道，基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息。由于通过在所述对象三维模型中确定目标通道，基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，可以直观地提示医生手术的位置偏差和角度偏差。可使医生在手术前，对病人病患部位结构进行充分了解，以及对病灶结构、位置进行准确定位。也使得经验不够丰富的医生能够在术前进行手术操练，降低手术风险。
图2为本公开另一实施例提供的辅助移动器械的方法流程图，如图2所示，该方法包括如下几个步骤：
S201、基于预先设置的地标尺刚体，建立世界坐标系，所述地标尺刚体包括至少三个光学反光点。
预先设置了地标尺刚体，作为参考点或者原点（0，0，0）位置，所述地标尺刚体由至少所述三个光学反光点以及所述三个光学反光点之间的连接结构构成的整体。终端基于地标尺刚体，建立世界坐标系。
S202、对所述地标尺刚体的至少三个光学反光点进行光学定位，确定三维模型坐标系与所述世界坐标系之间的转换关系。
终端根据所述地标尺三维模型识别出至少三个模型反光点的第一位置和接收到双目摄像机发来的所述至少三个光学反光点的第二位置，将所述至少三个模型反光点和光学反光点分别一一对应，然后确定出所述至少三个模型反光点和所述至少三个光学反光点之间的对应关系，即确定三维模型坐标系与所述世界坐标系之间的转换关系。
S203、对所述第一光学刚体和所述第二光学刚体进行光学定位，并转换到所述三维模型坐标系中。
对第一光学刚体进行光学定位，可以确定器械三维模型的位姿；对第二光学刚体进行光学定位可以确定对象三维模型的位姿。
例如，通过双目摄像机分别获取到所述第一光学刚体的所述至少三个光学反光点的位置和所述第二光学刚体的所述至少三个光学反光点的位置，终端接收双目摄像机发来的所述第一光学刚体的所述至少三个光学反光点的位置和所述第二光学刚体的所述至少三个光学反光点的位置，并根据三维模型坐标系与所述世界坐标系之间的转换关系，将所述第一光学刚体和所述第二光学刚体分别转换到所述三维模型坐标系中。
S204、将所述器械三维模型与所述待移动器械进行光学匹配。
具体的，S204和S101的实现过程和原理一致，此处不再赘述。
S205、将对象三维模型与对象实体进行光学匹配。
具体的，S205和S102的实现过程和原理一致，此处不再赘述。
S206、响应于通道规划操作，在所述对象三维模型中确定目标通道。
具体的，S206和S103的实现过程和原理一致，此处不再赘述。
S207、基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息。
具体的，S207和S104的实现过程和原理一致，此处不再赘述。
本公开实施例通过基于预先设置的地标尺刚体，建立世界坐标系，所述地标尺刚体包括至少三个光学反光点。进一步，对所述地标尺刚体的至少三个光学反光点进行光学定位，确定三维模型坐标系与所述世界坐标系之间的转换关系，然后对所述第一光学刚体和所述第二光学刚体进行光学定位，并转换到所述三维模型坐标系中。由于地标尺刚体是确定的，世界坐标系也是确定的，也确定了三维模型坐标系与所述世界坐标系之间的转换关系，将所述第一光学刚体和所述第二光学刚体转换到三维模型坐标系下，在同一个坐标系下，可以更直观地提示医生手术的位置偏差和角度偏差，便于医生进行手术，也可以在术前进行手术操练。
在上述实施例的基础上，所述响应于通道规划操作，在所述对象三维模型中确定目标通道包括：在第一x光图中确定第一通道；在第二x光图中确定第二通道；基于x光图坐标系与三维模型坐标系之间的转换关系，基于所述第一通道和所述第二通道确定所述目标通道；
其中，所述第一x光图和所述第二x光图为构建所述对象三维模型的多张x光图中的任意两张。
在一些实施例中，终端响应于用户点击通道规划按钮的操作，获取第一x光图，在第一x光图中确定第一通道，所述第一通道为二维通道，然后终端获取第二x光图，在第二x光图中确定第二通道，所述第二通道也为二维通道。进一步，终端基于x光图坐标系与三维模型坐标系之间的转换关系，两张不同的x光图可以唯一确定一个三维空间坐标系，将三维空间坐标系与三维模型坐标系对应起来，即确定x光图坐标系与三维模型坐标系之间的转换关系，并基于所述第一通道和所述第二通道确定所述目标通道，所述目标通道为三维通道。其中，所述第一x光图和所述第二x光图为构建所述对象三维模型的多张x光图中的任意两张。
可选的，所述响应于通道规划操作，在所述对象三维模型中确定目标通道包括：在所述对象三维模型的第一视角下确定第一通道；在所述对象三维模型的第二视角下确定第二通道；基于所述第一通道和所述第二通道确定所述目标通道。
在一些实施例中，终端响应于用户点击通道规划按钮的操作，如图3所示在所述对象三维模型的第一视角下确定第一通道，所述第一通道为二维通道，然后如图4所示在所述对象三维模型的第二视角下确定第二通道，所述第二通道也为二维通道。终端基于所述第一通道和所述第二通道，确定出所述目标通道，所述目标通道为三维通道。
可选的，所述基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息包括：基于所述目标通道在所述三维模型坐标系下的位姿和所述器械三维模型的当前位姿，确定距离偏差和朝向偏差；基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息。
终端基于所述目标通道在所述三维模型坐标系下的位姿和所述器械三维模型的当前位姿，确定距离偏差和朝向偏差，并基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息。用户根据移动信息移动待移动器械，终端会实时显示所述器械三维模型的位姿，直到所述器械三维模型与所述目标通道完全重合，在用户移动所述待移动器械的过程中，终端会实时显示移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿与所述目标通道相匹配。
本公开实施例通过在第一x光图中确定第一通道，在第二x光图中确定第二通道，基于x光图坐标系与三维模型坐标系之间的转换关系，基于所述第一通道和所述第二通道确定所述目标通道；或者在所述对象三维模型的第一视角下确定第一通道，在所述对象三维模型的第二视角下确定第二通道，基于所述第一通道和所述第二通道确定所述目标通道。然后终端基于所述目标通道在所述三维模型坐标系下的位姿和所述器械三维模型的当前位姿，确定距离偏差和朝向偏差，并基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息。通过两种方法对目标通道进行了规划，便于医生进行手术，也可以在术前进行手术操练。
图5为本公开另一实施例提供的辅助移动器械的方法流程图，如图5所示，该方法包括如下几个步骤：
S501、将所述器械三维模型与所述待移动器械进行光学匹配。
具体的，S501和S101的实现过程和原理一致，此处不再赘述。
S502、将对象三维模型与对象实体进行光学匹配。
具体的，S502和S102的实现过程和原理一致，此处不再赘述。
S503、响应于通道规划操作，在所述对象三维模型中确定目标通道。
具体的，S503和S103的实现过程和原理一致，此处不再赘述。
S504、将所述目标通道和所述对象三维模型的表面的交点作为所述器械三维模型的目标位置。
终端计算所述目标通道与所述对象三维模型的表面的相交点，并确定该交点作为所述器械三维模型的目标位置，也即入针位置。
S505、将所述目标通道的朝向作为所述器械三维模型的目标朝向。
终端根据所述目标通道的朝向，确定出所述器械三维模型的目标朝向，也即入针朝向。
S506、基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，确定距离偏差和朝向偏差。
终端基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，在用户界面上渲染出所述器械三维模型与所述目标通道之间的距离偏差和朝向偏差。
S507、基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息。
终端根据所述器械三维模型与所述目标通道之间的距离偏差和朝向偏差，确定出所述待移动器械的移动信息，所述待移动器械的移动信息包括移动方向、角度和距离。用户根据移动信息移动待移动器械，终端会实时显示所述器械三维模型的位姿，直到所述器械三维模型与所述目标通道完全重合，在用户移动所述待移动器械的过程中，终端会实时显示移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿与所述目标通道相匹配。
本公开实施例通过将所述器械三维模型与所述待移动器械进行光学匹配，将对象三维模型与对象实体进行光学匹配，响应于通道规划操作，在所述对象三维模型中确定目标通道。进一步，将所述目标通道和所述对象三维模型的表面的交点作为所述器械三维模型的目标位置，将所述目标通道的朝向作为所述器械三维模型的目标朝向。然后，基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，确定距离偏差和朝向偏差，基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息。由于将所述目标通道和所述对象三维模型的表面的交点作为所述器械三维模型的目标位置，将所述目标通道的朝向作为所述器械三维模型的目标朝向，基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，确定距离偏差和朝向偏差，基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息，可以直观地提示医生手术的位置偏差和角度偏差。可使医生在手术前，对病人病患部位结构进行充分了解，以及对病灶结构、位置进行准确定位。也使得经验不够丰富的医生能够在术前进行手术操练，降低手术风险。
图6为本公开实施例提供的辅助移动器械的装置的结构示意图。该辅助移动器械的装置可以是如上实施例所述的终端，或者辅助移动器械的装置可以该终端中的部件或组件。本公开实施例提供的辅助移动器械的装置可以执行辅助移动器械的方法实施例提供的处理流程，如图6所示，辅助移动器械的装置60包括：匹配模块61、响应模块62、第一确定模块63；其中，匹配模块61用于将所述器械三维模型与所述待移动器械进行光学匹配；所述匹配模块61还用于将对象三维模型与对象实体进行光学匹配，其中，所述对象实体为设置有第二光学刚体的对象实体，所述对象三维模型为基于所述对象实体生成的三维模型；响应模块62用于响应于通道规划操作，在所述对象三维模型中确定目标通道；第一确定模块63用于基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿与所述目标通道相匹配。
可选的，所述装置还包括：建立模块64、第二确定模块65和转换模块66；其中，建立模块64用于基于预先设置的地表尺刚体，建立世界坐标系，所述地表尺刚体包括至少三个光学反光点；第二确定模块65用于对所述地表尺刚体的至少三个光学反光点进行光学定位，确定三维模型坐标系与所述世界坐标系之间的转换关系；转换模块66用于对所述第一光学刚体和所述第二光学刚体进行光学定位，并转换到所述三维模型坐标系中。
可选的，所述响应模块62在响应于通道规划操作，在所述对象三维模型中确定目标通道时，具体用于：在第一x光图中确定第一通道；在第二x光图中确定第二通道；基于x光图坐标系与三维模型坐标系之间的转换关系，基于所述第一通道和所述第二通道确定所述目标通道。其中，所述第一x光图和所述第二x光图为构建所述对象三维模型的多张x光图中的任意两张。
可选的，所述响应模块62在响应于通道规划操作，在所述对象三维模型中确定目标通道时，具体用于：在所述对象三维模型的第一视角下确定第一通道；在所述对象三维模型的第二视角下确定第二通道；基于所述第一通道和所述第二通道确定所述目标通道。
可选的，所述第一确定模块63在基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息时，具体用于：基于所述目标通道在所述三维模型坐标系下的位姿和所述所述器械三维模型的当前位姿，确定距离偏差和朝向偏差；基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息。
可选的，所述第一确定模块63在基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息时，具体用于：将所述目标通道和所述对象三维模型的表面的交点作为所述器械三维模型的目标位置；将所述目标通道的朝向作为所述器械三维模型的目标朝向；基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿符合所述目标位置和所述目标朝向。
可选的，所述第一确定模块63在基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息时，具体用于：基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，确定距离偏差和朝向偏差；基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息。
图6所示实施例的辅助移动器械的装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本公开实施例提供的电子设备的结构示意图。该电子设备可以是如上实施例所述的终端。本公开实施例提供的电子设备可以执行辅助移动器械的方法实施例提供的处理流程，如图7所示，电子设备70包括：存储器71、处理器72、计算机程序和通讯接口73；其中，计算机程序存储在存储器71中，并被配置为由处理器72执行如上所述的辅助移动器械的方法。
另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的辅助移动器械的方法。
此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的辅助移动器械的方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种辅助移动器械的方法，其特征在于，待移动器械为设置有第一光学刚体的器械，预先构建所述待移动器械的器械三维模型，所述方法包括：
将所述器械三维模型与所述待移动器械进行光学匹配；
将对象三维模型与对象实体进行光学匹配，其中，所述对象实体为设置有第二光学刚体的对象实体，所述对象三维模型为基于所述对象实体生成的三维模型；
响应于通道规划操作，在所述对象三维模型中确定目标通道；
基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿与所述目标通道相匹配。
2.根据权利要求1所述的方法，其特征在于，所述将所述器械三维模型与所述待移动器械进行光学匹配之前，所述方法还包括：
基于预先设置的地标尺刚体，建立世界坐标系，所述地标尺刚体包括至少三个光学反光点；
对所述地标尺刚体的至少三个光学反光点进行光学定位，确定三维模型坐标系与所述世界坐标系之间的转换关系；
对所述第一光学刚体和所述第二光学刚体进行光学定位，并转换到所述三维模型坐标系中。
3.根据权利要求1所述的方法，其特征在于，所述响应于通道规划操作，在所述对象三维模型中确定目标通道包括：
在第一x光图中确定第一通道；
在第二x光图中确定第二通道；
基于x光图坐标系与三维模型坐标系之间的转换关系，基于所述第一通道和所述第二通道确定所述目标通道；
其中，所述第一x光图和所述第二x光图为构建所述对象三维模型的多张x光图中的任意两张。
4.根据权利要求1所述的方法，其特征在于，所述响应于通道规划操作，在所述对象三维模型中确定目标通道包括：
在所述对象三维模型的第一视角下确定第一通道；
在所述对象三维模型的第二视角下确定第二通道；
基于所述第一通道和所述第二通道确定所述目标通道。
5.根据权利要求3所述的方法，其特征在于，所述基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息包括：
基于所述目标通道在所述三维模型坐标系下的位姿和所述器械三维模型的当前位姿，确定距离偏差和朝向偏差；
基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息。
6.根据权利要求4所述的方法，其特征在于，所述基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息包括：
将所述目标通道和所述对象三维模型的表面的交点作为所述器械三维模型的目标位置；
将所述目标通道的朝向作为所述器械三维模型的目标朝向；
基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿符合所述目标位置和所述目标朝向。
7.根据权利要求6所述的方法，其特征在于，所述基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息包括：
基于所述目标位置、所述目标朝向和所述器械三维模型的当前位姿，确定距离偏差和朝向偏差；
基于所述距离偏差和所述朝向偏差，确定所述待移动器械的移动信息。
8.一种辅助移动器械的装置，其特征在于，所述装置包括：
匹配模块，用于将所述器械三维模型与所述待移动器械进行光学匹配；
所述匹配模块还用于：将对象三维模型与对象实体进行光学匹配，其中，所述对象实体为设置有第二光学刚体的对象实体，所述对象三维模型为基于所述对象实体生成的三维模型；
响应模块，用于响应于通道规划操作，在所述对象三维模型中确定目标通道；
确定模块，用于基于所述目标通道和所述器械三维模型的当前位姿，确定所述待移动器械的移动信息，以使所述待移动器械移动后，所述器械三维模型移动后的位姿与所述目标通道相匹配。
9.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7中任一所述的方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111478462.0A CN114159157A (zh) | 2021-12-06 | 2021-12-06 | 辅助移动器械的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111478462.0A CN114159157A (zh) | 2021-12-06 | 2021-12-06 | 辅助移动器械的方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114159157A true CN114159157A (zh) | 2022-03-11 |
Family
ID=80483617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111478462.0A Pending CN114159157A (zh) | 2021-12-06 | 2021-12-06 | 辅助移动器械的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114159157A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102961187A (zh) * | 2012-10-26 | 2013-03-13 | 深圳市旭东数字医学影像技术有限公司 | 经皮穿刺的手术规划方法及其*** |
| CN110025378A (zh) * | 2018-01-12 | 2019-07-19 | 中国科学院沈阳自动化研究所 | 一种基于光学定位法的手术辅助导航方法 |
| CN110037768A (zh) * | 2019-04-23 | 2019-07-23 | 雅客智慧（北京）科技有限公司 | 关节置换手术辅助定位方法、定位装置及*** |
| CN111388087A (zh) * | 2020-04-26 | 2020-07-10 | 深圳市鑫君特智能医疗器械有限公司 | 手术导航***及执行手术导航方法的计算机与存储介质 |
| CN112155727A (zh) * | 2020-08-31 | 2021-01-01 | 上海市第一人民医院 | 基于三维模型的手术导航***、方法、设备和介质 |
| CN113648057A (zh) * | 2021-08-18 | 2021-11-16 | 上海电气集团股份有限公司 | 手术导航***以及手术导航方法 |
-
2021
- 2021-12-06 CN CN202111478462.0A patent/CN114159157A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102961187A (zh) * | 2012-10-26 | 2013-03-13 | 深圳市旭东数字医学影像技术有限公司 | 经皮穿刺的手术规划方法及其*** |
| CN110025378A (zh) * | 2018-01-12 | 2019-07-19 | 中国科学院沈阳自动化研究所 | 一种基于光学定位法的手术辅助导航方法 |
| CN110037768A (zh) * | 2019-04-23 | 2019-07-23 | 雅客智慧（北京）科技有限公司 | 关节置换手术辅助定位方法、定位装置及*** |
| CN111388087A (zh) * | 2020-04-26 | 2020-07-10 | 深圳市鑫君特智能医疗器械有限公司 | 手术导航***及执行手术导航方法的计算机与存储介质 |
| CN112155727A (zh) * | 2020-08-31 | 2021-01-01 | 上海市第一人民医院 | 基于三维模型的手术导航***、方法、设备和介质 |
| CN113648057A (zh) * | 2021-08-18 | 2021-11-16 | 上海电气集团股份有限公司 | 手术导航***以及手术导航方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6751456B2 (ja) | ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法 | |
| CN107613897B (zh) | 扩增实境的外科导航 | |
| US9179822B2 (en) | Endoscopic observation supporting system, method, device and program | |
| US9375133B2 (en) | Endoscopic observation support system | |
| US10799316B2 (en) | System and method for dynamic validation, correction of registration for surgical navigation | |
| JP2022512420A (ja) | センサベースのナビゲーションと内視鏡検査との組み合わせを用いた外科用システム | |
| US7643862B2 (en) | Virtual mouse for use in surgical navigation | |
| US20200315734A1 (en) | Surgical Enhanced Visualization System and Method of Use | |
| US11896441B2 (en) | Systems and methods for measuring a distance using a stereoscopic endoscope | |
| JP2016512973A (ja) | 身体に対して対象を追跡するための追跡装置 | |
| WO2012062482A1 (en) | Visualization of anatomical data by augmented reality | |
| Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
| US20210121238A1 (en) | Visualization system and method for ent procedures | |
| JP5934070B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
| CN110169821B (zh) | 一种图像处理方法、装置及*** | |
| JP5961504B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
| US20230114385A1 (en) | Mri-based augmented reality assisted real-time surgery simulation and navigation | |
| Harders et al. | Multimodal augmented reality in medicine | |
| JP6952740B2 (ja) | ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム | |
| US12023109B2 (en) | Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system | |
| US12023208B2 (en) | Method for operating a visualization system in a surgical application, and visualization system for a surgical application | |
| CN113925611A (zh) | 对象三维模型和对象实体的匹配方法、装置、设备及介质 | |
| CN118215936A (zh) | 用于腹腔镜和视频辅助手术的交互式增强现实*** | |
| CN114159157A (zh) | 辅助移动器械的方法、装置、设备及存储介质 | |
| CN113317874B (zh) | 一种医学图像处理装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220311 |