CN115662234B - 一种基于虚拟现实的胸腔镜手术示教*** - Google Patents

Abstract

本发明提供了一种基于虚拟现实的胸腔镜手术示教***，根据手术器械上的至少一个标识获取手术器械上的标识在所述操作箱中的坐标，根据内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标；构建胸腔三维视图，将手术器械和所述内窥镜上的标识在操作箱中的坐标转换为胸腔三维视图中的坐标，根据标识在胸腔三维视图中的坐标在所述胸腔三维视图中模拟出手术器械和内窥镜。本发明通过在操作箱中对内窥镜和手术器械的实时监控，将其投影到胸腔三维视图中，能够真实的模拟医生对内窥镜和手术器械的操作过程，提高训练的效果。

Description

一种基于虚拟现实的胸腔镜手术示教***

技术领域

本发明涉及医学领域，尤其涉及基于虚拟现实的胸腔镜手术示教***。

背景技术

手术训练是医生学习、培训过程中必备的项目，以往对手术训练大多采用动物作为手术对象，然而，动物和人体的差异比较大，而且构造也不完全相同，而且成本比较高，这都给手术训练带来了困难。虚拟现实(VirtualReality，VR)是对现实的模拟，将虚拟现实技术应用在手术的模拟上，医生可以更直观的了解人体结构，而且能更好的掌握手术中需要注意的事项。

虚拟手术也有很多不足之处，对于人体结构例如胸腔的模拟不够真实，不同的患者的肥胖程度、体质、器官等都有差异，而且对于术中使用的器械的模拟不够真实，在真实手术中，器械会有移动等操作，移动幅度的大小直接关系到对脏器的影响，虚拟手术训练中很难对器械的应用进行训练。

发明内容

为了能够真实的模拟手术器械以及人体胸腔结构，本发明提供了一种基于虚拟现实的胸腔镜手术示教***，所述***包括手术器械、内窥镜、操作箱、处理装置以及显示装置，所述手术器械和所述内窥镜上各自刻有至少一个标识，所述处理装置包括以下模块：

图像处理模块，用于根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标；

场景模拟模块，用于构建胸腔三维视图，将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，根据标识在胸腔三维视图中的坐标在所述胸腔三维视图中模拟出手术器械和内窥镜。

优选地，所述根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标，具体为：

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取手术器械上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定手术器械上每个标识在所述操作箱中的坐标；

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取内窥镜上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定内窥镜上上每个标识在所述操作箱中的坐标。

优选地，所述将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，具体为：

获取胸腔三维视图中尺寸与真实胸腔的尺寸的比例，基于所述比例将操作箱的三维坐标转换为所述胸腔三维视图中的三维坐标；其中，所述比例还用于将对所述内窥镜和所述手术器械的移动转换为所述内窥镜和所述手术器械在所述胸腔三维视图中的移动。

优选地，所述构建胸腔三维视图，具体为：

根据CT扫描图像构建胸腔3D视图，对所述胸腔3D视图进行分割，得到分割区域，所述分割区域包括软组织和骨骼；所述软组织包括心脏、肺、动脉、神经、气管；

对于软组织中的每个组织，按照所述组织的三维视图的体素将组织切分为多个立方体，每个立方体的顶点处填充质点，立方体的每个质点和其他7个质点以弹簧结构连接，构建以多个所述立方体填充的组织模型，对所述组织模型进行渲染；

将渲染后的组织替换对应的分割区域的组织，组成含有骨骼、心脏、肺、动脉、神经、气管的新胸腔3D视图，根据皮肤组织的厚度，通过质点-弹簧模型构建皮肤，并将皮肤覆盖到新胸腔3D视图，形成具有弹性的胸腔三维视图。

优选地，所述手术器械、所述内窥镜与所述操作箱的连接部分各有一个力反馈组件；所述手术器械的属性包括操作、力度，根据手术器械的操作模拟对胸腔三维视图的操作。

优选地，所述构建胸腔三维视图，具体为：采用3D动画模拟的方式生成胸腔三维视图。

在另外一方面，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现如下方法：

S1，根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标；

S2，构建胸腔三维视图，将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，根据标识在胸腔三维视图中的坐标在所述胸腔三维视图中模拟出手术器械和内窥镜。

优选地，所述根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标，具体为：

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取手术器械上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定手术器械上每个标识在所述操作箱中的坐标；

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取内窥镜上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定内窥镜上上每个标识在所述操作箱中的坐标。

优选地，所述将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，具体为：

获取胸腔三维视图中尺寸与真实胸腔的尺寸的比例，基于所述比例将操作箱的三维坐标转换为所述胸腔三维视图中的三维坐标；其中，所述比例还用于将对所述内窥镜和所述手术器械的移动转换为所述内窥镜和所述手术器械在所述胸腔三维视图中的移动。

优选地，所述构建胸腔三维视图，具体为：

根据CT扫描图像构建胸腔3D视图，对所述胸腔3D视图进行分割，得到分割区域，所述分割区域包括软组织和骨骼；所述软组织包括心脏、肺、动脉、神经、气管；

对于软组织中的每个组织，按照所述组织的三维视图的体素将组织切分为多个立方体，每个立方体的顶点处填充质点，立方体的每个质点和其他7个质点以弹簧结构连接，构建以多个所述立方体填充的组织模型，对所述组织模型进行渲染；

将渲染后的组织替换对应的分割区域的组织，组成含有骨骼、心脏、肺、动脉、神经、气管的新胸腔3D视图，根据皮肤组织的厚度，通过质点-弹簧模型构建皮肤，并将皮肤覆盖到新胸腔3D视图，形成具有弹性的胸腔三维视图。

本发明可以将胸腔手术中实际用到的手术器械直接放入到操作箱中，对于手术器械的操作，例如移动等，都会有真实的模拟，并反馈到胸腔三维视图中，对于训练医生对于手术器械的运用熟练程度有很大帮助，使医生更好的掌握在真实术中应该对手术器械的移动距离；此外，本发明还提供了一种根据CT扫描构建真实患者胸腔三维视图的方法，在对患者进行手术前，构建具有弹性的胸腔三维视图，在术前先使用本发明构建的***进行模拟，有利于在真实的手术中对手术的掌握。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为操作箱的示意图；

图2为手术器械的标识示意图；

图3为本发明中质点-弹簧模型图；

图4为实施例二流程图；

图5为实施例三流程图。

具体实施方式

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明提供了一种基于虚拟现实的胸腔镜手术示教***，所述***包括手术器械、内窥镜、操作箱、处理装置以及显示装置，其中操作箱如图1所示，所述手术器械和所述内窥镜上各自刻有至少一个标识，所述处理装置包括以下模块：

图像处理模块，用于根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标；

手术器械和内窥镜是胸腔手术中必不可少的设备，在手术训练中，对于器械的掌握也是重点。本发明中，在器械上设置标识，标识包括但不限于颜色，例如黄色等。根据标识信息可以获取内窥镜和手术器械的位置以及角度。

场景模拟模块，用于构建胸腔三维视图，将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，根据标识在胸腔三维视图中的坐标在所述胸腔三维视图中模拟出手术器械和内窥镜。

模拟手术过程中器械的操作还需要和胸腔三维视图配合，这样对于力度、位移距离能够有更好的感知。要在胸腔三维视图中实时模拟手术器械和内窥镜，需要实时将手术器械和内窥镜的坐标转换到胸腔三维视图中，通过几个标识的点的坐标即可模拟手术器械和内窥镜。这样，医生对手术器械和内窥镜的操作就实时显示在胸腔三维视图中。

对于所述坐标的获取，本发明采用双目摄像头的方式，在操作箱的正上方和正前方设置两个摄像头，即可实时获取标识的距离操作箱正上方和正前方的距离，然后在根据操作箱的大小确定具体坐标。具体地，所述根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标，具体为：

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取手术器械上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定手术器械上每个标识在所述操作箱中的坐标；

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取内窥镜上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定内窥镜上上每个标识在所述操作箱中的坐标。

所述操作箱正上方和操作箱正前方是指操作箱上面板和前面板的内部，也即在双目摄像头位于箱体内部。

操作箱和胸腔三维视图的大小不同，坐标不是一一对应，这就需要将二者对等起来，具体地，所述将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，具体为：

获取胸腔三维视图中尺寸与真实胸腔的尺寸的比例，基于所述比例将操作箱的三维坐标转换为所述胸腔三维视图中的三维坐标；其中，所述比例还用于将对所述内窥镜和所述手术器械的移动转换为所述内窥镜和所述手术器械在所述胸腔三维视图中的移动。

医生在操作箱移动手术器械或者内窥镜一段距离，真实的反映在胸腔三维视图中，例如在操作箱中移动5厘米，在实际手术中也会移动5厘米，但是由于胸腔三维视图和真实胸腔不同，二者大小不同，如果胸腔三维视图中胸腔大小和真实胸腔的比值为1:2，则需要在胸腔三维视图中移动2.5cm。

人体组织和器官都是具有弹性，且操作过程中涉及到切割等操作，生成胸腔三维视图要尽量和真实情况相同。现有技术中多采用软组织建模的方式模仿真实的身体组织，常见的一种方法是质点弹簧模型，以及对其的改进，例如Maxwell等，但是不同用户的身体情况不同，缺乏针对性。本发明采用CT扫描图像构建胸腔3D视图，再建立胸腔三维视图的方式模拟真人的胸腔情况，不仅使得训练更加真实，而且在对于病情复杂的病人，医生可以采用本发明的***进行预演，提高了手术成功的几率。在一个实施例中，所述构建胸腔三维视图，具体为：

根据CT扫描图像构建胸腔3D视图，对所述胸腔3D视图进行分割，得到分割区域，所述分割区域包括软组织和骨骼；所述软组织包括心脏、肺、动脉、神经、气管；

对于软组织中的每个组织，按照所述组织的三维视图的体素将组织切分为多个立方体，每个立方体的顶点处填充质点，立方体的每个质点和其他7个质点以弹簧结构连接，如图3所示，构建以多个所述立方体填充的组织模型，对所述组织模型进行渲染；

将渲染后的组织替换对应的分割区域的组织，组成含有骨骼、心脏、肺、动脉、神经、气管的新胸腔3D视图，根据皮肤组织的厚度，通过质点-弹簧模型构建皮肤，并将皮肤覆盖到新胸腔3D视图，形成具有弹性的胸腔三维视图。

体素(Voxel)是CT扫描图构建3D视图的基本单元，也即体素是3D视图的基本单元，本称为3D空间的像素。在构建具有真实弹性的胸腔三维视图中，为了更好的描述组织的形状，本发明根据体素将组织切分为多个立方体，如图3所示，每个立方体包括多个体素。所示立方体8个质点，每个质点和其他质点通过弹簧结构连接，在操作一个质点时，会影响其他质点，实现对真实组织的模拟。

在另外一个实施例中，采用对CT扫描图像分割的方式构建每个组织的3D视图，然后采用质点弹簧模型重建每个组织的3D视图，最后将重建后的每个组织的3D视图组合到胸腔中。

在手术中不可避免的会涉及到切割以及移动器械，为了模拟真实的情况，本发明还设置了力反馈组件，力反馈组件属于现有技术本发明对此不再赘述。通过力反馈组织可以让医生实时感受手术力度，同时对每个手术器械设置操作、力度等属性，手术器械的力度属性不同于让医生实时感受的手术力度，手术器械的力度用于对手术过程的控制，例如根据力度大小和手术器械位置确定切割开口等。在本发明的具体开发中，是将手术器械设置为一个类，每个类包括若干属性。

对于初级用户，为了让他们尽快熟悉本发明提出的***，设置了简单的胸腔三维视图，具体为：采用3D动画模拟的方式生成胸腔三维视图。本发明也可以所有胸腔三维视图采用3D动画模拟生成。

实施例二

本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现如下方法，如图4所示，：

S1，根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标；

S2，构建胸腔三维视图，将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，根据标识在胸腔三维视图中的坐标在所述胸腔三维视图中模拟出手术器械和内窥镜。

优选地，所述根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标，具体为：

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取手术器械上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定手术器械上每个标识在所述操作箱中的坐标；

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取内窥镜上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定内窥镜上上每个标识在所述操作箱中的坐标。

优选地，所述将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，具体为：

获取胸腔三维视图中尺寸与真实胸腔的尺寸的比例，基于所述比例将操作箱的三维坐标转换为所述胸腔三维视图中的三维坐标；其中，所述比例还用于将对所述内窥镜和所述手术器械的移动转换为所述内窥镜和所述手术器械在所述胸腔三维视图中的移动。

优选地，所述构建胸腔三维视图，具体为：

根据CT扫描图像构建胸腔3D视图，对所述胸腔3D视图进行分割，得到分割区域，所述分割区域包括软组织和骨骼；所述软组织包括心脏、肺、动脉、神经、气管；

对于软组织中的每个组织，按照所述组织的三维视图的体素将组织切分为多个立方体，每个立方体的顶点处填充质点，立方体的每个质点和其他7个质点以弹簧结构连接，构建以多个所述立方体填充的组织模型，对所述组织模型进行渲染；

将渲染后的组织替换对应的分割区域的组织，组成含有骨骼、心脏、肺、动脉、神经、气管的新胸腔3D视图，根据皮肤组织的厚度，通过质点-弹簧模型构建皮肤，并将皮肤覆盖到新胸腔3D视图，形成具有弹性的胸腔三维视图。

实施例三

本发明还提供了一种基于CT扫描的胸腔三维视图构建方法，如图5所示，所述方法包括以下步骤：

根据CT扫描图像构建胸腔3D视图，对所述胸腔3D视图进行分割，得到分割区域，所述分割区域包括软组织和骨骼；所述软组织包括心脏、肺、动脉、神经、气管；

对于软组织中的每个组织，按照所述组织的三维视图的体素将组织切分为多个立方体，每个立方体的顶点处填充质点，立方体的每个质点和其他7个质点以弹簧结构连接，构建以多个所述立方体填充的组织模型，对所述组织模型进行渲染；

将渲染后的组织替换对应的分割区域的组织，组成含有骨骼、心脏、肺、动脉、神经、气管的新胸腔3D视图，根据皮肤组织的厚度，通过质点-弹簧模型构建皮肤，并将皮肤覆盖到新胸腔3D视图，形成具有弹性的胸腔三维视图。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (2)

1.一种基于虚拟现实的胸腔镜手术示教***，所述***包括手术器械、内窥镜、操作箱、处理装置以及显示装置，所述手术器械和所述内窥镜上各自刻有至少一个标识，其特征在于，所述处理装置包括以下模块：

图像处理模块，用于根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标；

场景模拟模块，用于构建胸腔三维视图，将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，根据标识在胸腔三维视图中的坐标在所述胸腔三维视图中模拟出手术器械和内窥镜；

所述根据所述手术器械上的至少一个标识获取所述手术器械上的标识在所述操作箱中的坐标，根据所述内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标，具体为：

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取手术器械上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定手术器械上每个标识在所述操作箱中的坐标；

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取内窥镜上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定内窥镜上每个标识在所述操作箱中的坐标；双目摄像头位于操作箱的箱体内部；

所述将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，具体为：

获取胸腔三维视图中尺寸与真实胸腔的尺寸的比例，基于所述比例将操作箱的三维坐标转换为所述胸腔三维视图中的三维坐标；其中，所述比例还用于将对所述内窥镜和所述手术器械的移动转换为所述内窥镜和所述手术器械在所述胸腔三维视图中的移动；

所述构建胸腔三维视图，具体为：采用3D动画模拟的方式生成胸腔三维视图；

所述构建胸腔三维视图，具体为：

根据CT扫描图像构建胸腔3D视图，对所述胸腔3D视图进行分割，得到分割区域，所述分割区域包括软组织和骨骼；所述软组织包括心脏、肺、动脉、神经、气管；

对于软组织中的每个组织，按照所述组织的三维视图的体素将组织切分为多个立方体，每个立方体的顶点处填充质点，立方体的每个质点和其他7个质点以弹簧结构连接，构建以多个所述立方体填充的组织模型，对所述组织模型进行渲染；

将渲染后的组织替换对应的分割区域的组织，组成含有骨骼、心脏、肺、动脉、神经、气管的新胸腔3D视图，根据皮肤组织的厚度，通过质点-弹簧模型构建皮肤，并将皮肤覆盖到新胸腔3D视图，形成具有弹性的胸腔三维视图；

所述手术器械、所述内窥镜与所述操作箱的连接部分各有一个力反馈组件；所述手术器械的属性包括操作、力度，根据手术器械的操作模拟对胸腔三维视图的操作。

2.一种计算机可读存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如下方法：

S1，根据手术器械上的至少一个标识获取所述手术器械上的标识在操作箱中的坐标，根据内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标；

S2，构建胸腔三维视图，将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，根据标识在胸腔三维视图中的坐标在所述胸腔三维视图中模拟出手术器械和内窥镜；

所述根据手术器械上的至少一个标识获取所述手术器械上的标识在操作箱中的坐标，根据内窥镜上的至少一个标识获取所述内窥镜上的标识在所述操作箱中的坐标，具体为：

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取手术器械上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定手术器械上每个标识在所述操作箱中的坐标；

根据操作箱正上方的双目摄像头、所述操作箱正前方的双目摄像头拍摄的图像获取内窥镜上每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离，基于每个标识距离所述操作箱正上方、距离所述操作箱正前方的距离确定内窥镜上每个标识在所述操作箱中的坐标；双目摄像头位于操作箱的箱体内部；

所述将所述手术器械和所述内窥镜上的标识在所述操作箱中的坐标转换为胸腔三维视图中的坐标，具体为：

获取胸腔三维视图中尺寸与真实胸腔的尺寸的比例，基于所述比例将操作箱的三维坐标转换为所述胸腔三维视图中的三维坐标；其中，所述比例还用于将对所述内窥镜和所述手术器械的移动转换为所述内窥镜和所述手术器械在所述胸腔三维视图中的移动；

所述构建胸腔三维视图，具体为：采用3D动画模拟的方式生成胸腔三维视图；

所述构建胸腔三维视图，具体为：

根据CT扫描图像构建胸腔3D视图，对所述胸腔3D视图进行分割，得到分割区域，所述分割区域包括软组织和骨骼；所述软组织包括心脏、肺、动脉、神经、气管；

对于软组织中的每个组织，按照所述组织的三维视图的体素将组织切分为多个立方体，每个立方体的顶点处填充质点，立方体的每个质点和其他7个质点以弹簧结构连接，构建以多个所述立方体填充的组织模型，对所述组织模型进行渲染；

将渲染后的组织替换对应的分割区域的组织，组成含有骨骼、心脏、肺、动脉、神经、气管的新胸腔3D视图，根据皮肤组织的厚度，通过质点-弹簧模型构建皮肤，并将皮肤覆盖到新胸腔3D视图，形成具有弹性的胸腔三维视图；

所述手术器械、所述内窥镜与所述操作箱的连接部分各有一个力反馈组件；所述手术器械的属性包括操作、力度，根据手术器械的操作模拟对胸腔三维视图的操作。