CN116919585A - 机器人路径规划方法、装置、计算机设备和手术设备 - Google Patents

Abstract

本申请涉及一种机器人路径规划方法、装置、计算机设备和手术设备，其中，该手术设备通过接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象的感兴趣区域的X射线图像；基于所述第一图像以及第二图像获取目标图像；基于所述目标图像规划运动路径。通过本申请，解决了机器人路径规划效率低下的问题，使得机器人既可以快速定位目标对象的位置信息，又能精确获得机器人作业区域的高精度环境感知信息，明确机器人的活动空间，实现了机器人在空间受限的条件下更准确地进行避障的技术效果。

Description

机器人路径规划方法、装置、计算机设备和手术设备

技术领域

本申请涉及介入机器人技术领域，特别是涉及一种机器人路径规划方法、装置、计算机设备和手术设备。

背景技术

影像引导微创介入诊疗学是一门融合了影像诊断和临床治疗的交叉学科，指的是在影像学技术(包括超声、X射线、CT、MRI等)引导和监视下，利用各种穿刺针、导管及其他介入器材经皮穿刺进行微创诊断或者治疗，其最大的优势在于能够在影像学的引导下直接穿刺病灶进行精确操作，相对于传统外科手术操作，影像引导下手术操作创伤更小、疗效肯定、费用低廉、并发症少。

但是介入手术的CT设备的扫描腔体孔径窄，且人体高低胖瘦各不同，对于人体动态感知的要求高。对人体进行CT扫描可以精确地地位扫描腔内的人体和病灶，因此为了保证安全，避免发生机械臂与人体间的碰撞，一般对整个人体进行CT扫描，以构建体表模型，但是CT扫描成像速度慢且对患者有辐射风险。

发明内容

在本实施例中提供了一种机器人路径规划方法、装置、计算机设备和手术设备，以解决相关技术中机器人路径规划效率低下的问题。

第一个方面，在本实施例中提供了一种手术设备，包括X射线成像设备、深度相机、机器人以及控制器，所述机器人用于根据所述控制器的控制指令进行运动，所述深度相机用于根据所述控制器的控制指令采集表面图像，所述X射线成像设备用于根据所述控制器的指令对目标对象进行扫描，得到X射线图像；

所述控制器用于：

接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像；

基于所述第一图像以及第二图像获取目标图像；

基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

在其中的一个实施例中，所述控制器还用于接收初始图像，所述初始图像包括目标对象的体表信息以及场景信息；对所述初始图像进行去噪，得到第一图像。

在其中的一个实施例中，所述控制器还用于接收目标对象的多帧表面图像，并基于病床的位移量对多帧所述表面图像进行拼接，得到所述第一图像；或，接收目标对象的多帧表面图像，并基于多帧所述表面图像的重叠区域进行特征点匹配，拼接得到所述第一图像。

在其中的一个实施例中，所述控制器还用于将所述第一图像中感兴趣区域的图像替换为所述第二图像，得到所述目标图像；或，将所述第一图像与所述第二图像进行拼接，得到所述目标图像。

在其中的一个实施例中，所述感兴趣区域为目标对象位于X射线成像设备的扫描腔体中的区域；或，所述感兴趣区域为目标对象经过X射线成像设备的扫描腔体区域。

在其中的一个实施例中，所述控制器还用于基于所述目标图像以及坐标转换关系得到所述目标对象在机器人坐标系中的参考位置，所述坐标转换关系包括机器人坐标系、深度相机坐标系和CT设备坐标系之间的位置关系；基于所述参考位置规划机器人运动路径。

第二个方面，在本实施例中提供了一种机器人路径规划方法，包括：接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像；基于所述第一图像以及第二图像获取目标图像；基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

第三个方法，在本实施例中提供了一种机器人路径规划装置，该装置包括：

图像获取模块，用于接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像；

融合模块，用于基于所述第一图像以及第二图像获取目标图像；

路径规划模块，用于基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

第四个方面，在本实施例中提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第二个方面所述的机器人路径规划方法。

第五个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第二个方面所述的机器人路径规划方法。

与相关技术相比，在本实施例中提供的手术设备，通过接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象的感兴趣区域的X射线图像；基于所述第一图像以及第二图像获取目标图像；基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动的方式，将两种成像方式相结合，既可以快速定位目标对象的位置信息，又能精确获得机器人作业区域的高精度环境感知信息，明确机器人的活动空间，以进行机器人的路径规划，使机器人在空间受限的条件下更准确地进行避障。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的手术设备的结构示意图；

图2是根据本申请实施例的手术设备的运行示意图；

图3是根据本申请实施例的手术设备的初始状态示意图；

图4是根据本申请实施例的手术设备的截面示意图；

图5是根据本申请实施例的手术设备的***成像示意图；

图6是根据本申请实施例的手术设备的第一图像采集示意图；

图7是根据本申请实施例的手术设备的图像拼接示意图；

图8是根据本申请实施例的手术设备的CT扫描示意图；

图9是根据本申请另一实施例的手术设备的CT扫描示意图；

图10是根据本申请实施例的手术设备的补充扫描示意图；

图11是根据本申请实施例的手术设备的手术台回退示意图；

图12是根据本申请另一实施例的手术设备的第一体表数据采集示意图；

图13是根据本申请另一实施例的手术设备的第二体表数据采集示意图；

图14是根据本申请另一实施例的手术设备的补充扫描示意图；

图15是根据本申请另一实施例的手术设备的手术台回退示意图；

图16是根据本申请实施例的机器人路径规划方法的流程图；

图17是本申请实施例的机器人路径规划方法的终端的硬件结构框图；

图18是本实施例的机器人路径规划装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和***、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在现代工业工程领域，机器人已经在诸多工作场景中得到了广泛的应用，如：加工制造、生产制造、物流分拣、检测维修等方面。但是，在面对如飞机油箱内窥检测、发动机维修检测、单孔手术作业等结构复杂、空间狭小的作业环境以及较高的作业精度要求时，对机器人的环境感知能力以及路径规划水平带来了更大的挑战。

现有的机器人路径规划方案，主要是采用高精度的传感器多目标环境进行全方位的测量，以实现机器人的精准避障。然而，与高精度伴随而来的问题是，细致的信息采集也耗费了大量的时间，延长了机器人的从环境感知到作业完成的总体时间，降低了机器人的工作效率。

在本实施例中提供了一种手术设备，图1是根据本申请实施例的手术设备的结构示意图，如图1所示，该手术设备包括X射线成像设备、深度相机、机器人以及控制器，所述机器人用于根据所述控制器的控制指令进行运动，所述深度相机用于根据所述控制器的控制指令采集表面图像，所述X射线成像设备用于根据所述控制器的指令对目标对象进行扫描，得到X射线图像；

所述控制器用于：

接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像；

基于所述第一图像以及第二图像获取目标图像；

基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

在其中的一个实施例中，控制器用于接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像。具体地，目标对象为机器人进行操作的对象，该目标对象可以是人，例如在手术场景下，机器人为手术机器人，则目标对象是患者；又例如在加工制造场景下，机器人为执行相应动作的工业机器人，则目标对象是物体。第一图像是目标对象的表面图像。表面图像包含了目标对象的三维空间数据。优选的，第一图像是通过图像传感器获得的图像，其中，图像传感器可以是2D相机，也可以是深度相机。2D相机可以通过特征识别的方式，构建出目标对象的三维立体模型。2D相机是指拍摄的图像为平面图像的相机，例如单目相机等。2D相机拍摄的平面图像结合先验知识或先验模型，可构建出平面图像中对应目标对象的三维立体模型。在其中的一些实施例中，还可以通过位于不同位置的两台或者多台2D相机获取到的平面图像构建出目标对象的三维立体模型。深度相机包括TOF相机、RGB双目相机以及结构光相机。在这三种深度相机之中，由于结构光相机在近距离内能够达到0.01～1mm的精度，而且不受光照变化和物体纹理影响，因此结构光相机是优选的、用于采集第一图像的具体实现方式。第二图像为目标感兴趣区域的X射线图像，其中，感兴趣区域是机器人在进行作业的过程中需要进行精确避障的区域。需要强调的是，感兴趣区域包括机器人进行操作的目标位置以及该目标位置周围可能影响机器人运动的区域。X射线又称伦琴射线，具备穿透物质的能力。人体不同组织对于X射线的敏感度不同，受损害程度也不同。因此，基于人体组织有密度和厚度的差别，X射线照射人体后能在荧屏上或胶片上形成人体影像。在本实施例中，X射线成像设备可以是通过扫描腔断层成像的CT机设备，也可以是利用X射线照射目标成像的其他X射线成像设备，例如计算机X线摄影(CR)以及数字减影血管造影X线机(DSA)等。

在其中的一个实施例中，控制器用于基于所述第一图像以及第二图像获取目标图像。具体地，相较于图像传感器采集到的目标对象的第一图像，X射线图像具备更高的图像精度，包含更多的目标对象的感兴趣区域的三维空间数据。将第一图像中的目标对象的感兴趣区域替换为第二图像，得到目标图像。可以理解的是，在其他的实施例中，还可以将第一图像包含的目标对象的三维空间数据和第二图像包含的目标对象的感兴趣区域的三维空间数据进行融合，得到目标图像。目标对象既包括了目标对象感兴趣区域的高精度环境感知信息，也包括了通过图像传感器快速获取的目标对象的整体环境感知信息。

在其中的一个实施例中，控制器用于基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。具体地，结合第一图像以及第二图像得到的目标图像具备更高的感知精度，将目标图像作为感知信息，结合具体的机器人作业需要，预先规划机器人运动路径，并基于该运动路径控制机器人运动，实现精确、高效完成作业任务的技术效果。

通过上述步骤，本申请实施例的手术设备，采用成像速度较快的图像传感器采集目标对象的第一图像；针对需要进行作业区域，通过精度更高的X射线成像技术采集目标对象的感兴趣区域图像，即第二图像；使用第二图像替换第一图像中感兴趣区域中精度不高的图像信息，得到最终的目标图像。目标图像的获得兼顾了成像速度与成像精度。基于目标图像进行路径规划，可以使机器人在空间受限的条件下更准确地进行避障。

在其中的一个实施例中，控制器还用于接收初始图像，所述初始图像包括目标对象的体表信息以及场景信息；对所述初始图像进行去噪，得到第一图像。

具体地，图像传感器设置在机器人导航臂上或者设置于固定位置。通过图像传感器采集的初始图像中，包括目标对象的体表信息以及目标对象所处的场景信息，以工业应用场景为例，在该场景下，目标对象为需要机器人进行作业的物品，除了目标之外，初始图像还包括存放物品的货架、传送带、地面等场景信息。以医疗场景为例，在该场景下，目标对象为患者。当患者躺在病床时，通过相机进行第一图像的采集。相机拍摄到的初始图像中，除了患者自身的体表信息，还包括场景中的病床图像、地面图像等场景信息。机器人在进行工作时，主要参考的是目标对象的表面信息，因此，需要去除初始图像中的场景信息，即去噪，得到目标对象的表面图像。第一图像在机器人避障过程中，也需要对病床进行避障。机器人对病床的避障采用静态避障的方式，即根据病床的床码值变动，在机器人的静态避障方案中调整相应参数即可。因此，在进行对相机拍摄的初始图像进行处理时，可去除病床图像。

在其中的一个实施例中，对初始图像进行去噪，得到第一图像的过程，可以通过对初始图像进行图像分割的方式，提取第一图像；也可以是通过滤波算法，滤除初始图像中场景信息，得到第一图像。在其他的一些实施例中，该去噪过程也可以采用其他实现方式，例如采用边缘提取、高斯背景建模以及神经网络模型智能识别等方式，结合手术台的高度、位置等对图像进行去噪。

在其中的一个实施例中，采用对初始图像进行图像分割的方式获取第一图像包括：通过机器人与CT机的配准矩阵和手术台的实际位移量可大致确定病人的所在空间位置，依据此先验信息应用欧氏聚类分割，进行测试改变近邻搜索的搜索半径，将地面、手术台、墙面等干扰信息进行区别并去除，只留下相机视野范围内的病人体表信息。此类方法无需查找点和区域，鲁棒性好。

在其中的一个实施例中，采用滤波算法，滤除初始场景中场景信息，得到第一图像包括：采用基于k邻近点的欧氏距离均值法进行点云去噪，如果计算得到的距离d大于阈值，则判定该点为离群点，根据实验测试选取最合适的搜索半径d和邻近点数k，将病人体表点云中离群点进行去除，使得到的点云数据更加贴合实际情况。

在其中的一个实施例中，控制器还用于接收目标对象的多帧表面图像，并基于病床的位移量对多帧所述表面图像进行拼接，得到所述第一图像；或，接收目标对象的多帧表面图像，并基于多帧所述表面图像的重叠区域进行特征点匹配，拼接得到所述第一图像。

具体地，在介入手术机器人场景下，目标对象为患者，患者脸部朝上平躺在病床上，通过头先进/脚先进的方式，依托病床的移动通过扫描腔完成扫描。在病床移动的同时，通过图像传感器对患者拍照，得到多帧初始图像，对初始图像去噪，得到连续多帧的表面图像，基于病床的位移量，确认各表面图像之间的位置关系，根据该位置关系对多帧表面图像进行拼接，得到第一图像。此外，还可以根据不同帧数下表面图像的重叠区域进行特征点匹配，然后进行图像配准，利用特征点之间的距离进行拼接，最后对图像的重叠边界进行处理，得到第一图像。第一图像包括了患者全部已拍摄部位体表数据，后续可以利用此体表数据初步重建出患者的体表，以此作为碰撞检测和导航避障的依据。

在其中的一个实施例中，基于病床的位移量对多帧所述表面图像进行拼接，包括：根据病床位移量直接进行同位置的数据替换，将多帧表面图像最终拼接为一幅包括患者全部已拍摄部位的第一图像。

在其中的一个实施例中，基于多帧表面图像的重叠区域进行特征点匹配的过程包括：对每帧表面图像进行特征点提取；对特征点进行匹配，基于匹配的特征点进行图像配准；把图像拷贝到另一幅图像的特定位置，在对重叠边界进行处理，即可得到第一图像。

在其中的一个实施例中，对图像的重叠边界进行处理过程包括，基于加权平滑算法处理重叠区域，图像重叠区域中的点云空间坐标是由两幅图像中对应点的空间坐标加权平均得到，即P＝m×P1+(1-m)P2。其中，P1是第一图像中的点坐标，P2是第二图像中的对应的点坐标；m是根据实际镜头参数预设的计算参数，P是目标图像中的点坐标。

在其中的一个实施例中，控制器还用于将所述第一图像中感兴趣区域的图像替换为所述第二图像，得到所述目标图像。

具体地，图像传感器的图像获取速度大于X射线成像设备的成像速度，同时，图像传感器获取的第一图像的三维空间信息精度低于X射线成像设备得到的第二图像的三维空间信息。在机器人的实际作业过程中，机器人需要从初始位置移动至目标对象的感兴趣区域位置进行作业。一般的，初始位置至感兴趣区域的空间较大，机器人无需获知高精度的环境信息，只需要明确目标对象的大致位置即可，因此在初始位置至感兴趣区域这一空间区域，采用第一图像的三维空间信息即可。对于感兴趣区域，该区域为机器人作业的主要位置，该区域的活动空间狭小，环境相对复杂，仅依靠图像传感器快速获取的第一图像不能满足作业要求，因此该部分的三维空间信息需要采用第二图像包括的高精度三维空间信息。因而，将第一图像中感兴趣区域的图像替换为第二图像，即得到了目标图像。相对于第一图像，目标图像包括的患者的体表信息更加贴合实际情况，机器人在感兴趣区域附近进行作业时，具备精度更高的环境感知信息，可以更加灵活、准确的规划运动路径，提高了避障准确度。

在其中的一个实施例中，控制器还用于将所述第一图像与所述第二图像进行拼接，得到所述目标图像。具体地，第一图像所包含的目标区域与第二图像所包含的目标区域分别对应目标对象的身体不同位置，将第一图像和第二图像进行拼接，即可得到目标图像。例如，在进行患者的介入手术的场景中，采取头先进的方式对患者进行相机成像以及CT扫描，第一图像可以是相机采集的、自扫描腔入口处至患者脚底的图像，第二图像可以是自患者头顶至扫描腔入口处的图像，将第一图像与第二图像进行拼接，即可得到患者的目标图像，该目标图像包括患者的全身体表信息。在其中的另一个实施例中，第一图像可以是相机采集的、自扫描腔入口处置患者脚底的图像，第二图像可以是自患者病灶起始位置至扫描腔入口处的图像，将第一图像与第二图像进行拼接，即可得到包括患者的目标图像，该目标图像包括病灶起始位置与患者脚底位置之间的体表信息。

在其中的一个实施例中，所述感兴趣区域为目标对象位于X射线成像设备的扫描腔体中的区域。

具体地，感兴趣区域是机器人在进行作业的过程中需要进行精确避障的区域。在介入手术机器人场景下，通过CT机进行X射线扫描，得到第二图像。第二图像中的感兴趣区域包括患者的病灶区域以及补充扫描的区域，补充扫描的过程包括：当完成对患者病灶位置的扫描后，控制手术台带动病床继续前进预设距离，该距离与扫描断层面至CT扫描腔入口位置的距离相适应，其中，扫描断层面是位于CT扫描腔中间位置的一个厚度较小的夹层。例如，补充扫描时的手术台前进距离可以设置为CT扫描腔厚度的二分之一。在完成补充扫描后，控制手术台回退至患者病灶位置，控制机器人基于规划好的路径完成作业任务，其中，回退距离大于或者等于补充扫描时手术台前进距离。补充扫描过程中，手术台的前进以及后退可由医师手动控制完成，也可以基于预先设置好的计算机程序控制手术台自动移动。通过补充扫描以及扫描完成之后回退手术台，解决了CT机在完成对患者的病灶位置的扫描后停止，由于CT扫描腔厚度导致的感兴趣区域信息不完善的问题。通过对扫描断层面到CT扫描腔入口之前的区域进行补充扫描，实现了完善第二图像的图像信息的技术效果，提高了采集的目标对象的感兴趣区域的体表信息的准确度。

在其中的一个实施例中，所述感兴趣区域为所述目标对象经过X射线成像设备的扫描腔体的区域。具体地，在采集第二图像之前，可以采用预成像的方法对目标对象的病灶位置进行确定，然后根据实际需要设置感兴趣区域的起始位置和结束位置。优选的，起始位置设置为目标对象的病灶区域中首先经过扫描腔入口的位置。结束位置设置为补充扫描完成后，扫描腔入口对应的患者的身体部位。

在其中的一个实施例中，控制器还用于基于所述目标图像以及坐标转换关系得到所述目标对象在机器人坐标系中的参考位置，所述坐标转换关系包括机器人坐标系、深度相机坐标系和CT设备坐标系之间的位置关系；基于所述参考位置规划机器人运动路径。

具体地，预先在***中完成图像传感器坐标系与机器人基坐标系之间的变换关系以及X射线扫描仪坐标系与机器人基坐标系之间的变换关系。基于上述坐标间的变换关系，***可以利用深度相机和CT采集到的体表数据重建出患者的体表模型，并结合位置已知的CT扫描腔和手术台建立机械臂运动碰撞区发生干涉来进行机械臂的导航避障。在医疗手术场景下，医师会根据患者需要病情及医治方案设计手术计划，该手术计划包括了机器人在作业任务中需要完成的动作，如切割、穿刺、缝合等。结合手术计划和获取的环境感知信息，对机器人进行路径规划。

在其中的一个实施例中，图2是根据本申请实施例的手术设备的运行示意图，如图2所示。在检测开始时，患者面部朝上平躺在手术台，机器人介入目标为腹部。

首先患者经麻醉后静躺在手术台上，医生将手术机器人推至手术台附近后启动设备，导航支撑臂展开，在患者正上方采集图像，之后***运行标定程序得到相机坐标系和CT坐标系分别相对于机器人基坐标系的变化关系。

接下来，手术台带动病床，病床开始载着病人往CT扫描腔内移动，深度相机逐帧采集场景数据，从场景中提取出患者体表信息并根据手术台位移量或特征点匹配将多幅体表图像进行拼接，得到患者的第一体表数据。

手术台继续移动，患者身体通过CT的断层扫描面，CT采集并拼接得到第二体表数据，将先前得到的第一体表数据逐步替换为第二体表数据，基于CT机相对于结构光相机成像精度更高的优点，解决第一体表数据定位的患者体表不够准确的问题，以实现准确规划机器人运动路径的技术效果。当CT机完成对患者病灶部位的扫描之后，控制手术台继续行进一段距离，完成病灶区域末端位置至CT扫描腔入口部分的补充扫描，得到补充扫描区域的第二体表数据，采用补充扫描区域的第二体表数据替换该区域的第一体表数据，以解决该区域的第一体表数据精度较低，无法满足介入手术要求的问题，实现提高介入式手术机器人避障能力的技术效果。

最后，***根据相机和CT共同成像得到体表数据进行面重建，并根据手眼关系计算患者在机器人基坐标系中的确切位置，最后以患者的手术位置建立机械臂运动碰撞区，检测规划与运动碰撞区是否干涉来进行机械臂的导航避障。

在本实施例中提供了一种介入式手术机器人对应的应用场景下的路径规划方法。图3是根据本申请实施例的手术设备的初始状态示意图，如图3所示，患者躺在手术台上，手术台上存在可移动的病床，通过控制病床移动可以使患者以头先进的方式进入CT机。手术机器人的机械臂末端的治具可进行更换，例如将用于穿刺手术的治具以及用于拍摄患者的第一图像的结构光相机都设置在手术机器人的末端。通过结构光相机拍照以及CT扫描对患者进行空间定位，机器人通过CT的病灶成像结果进行操作。由于手术过程中机械臂需要进入CT扫描腔内部进行穿刺操作，在腔内空间受限的条件下必须保证机械臂运动过程中不与周围物体发生碰撞，环境中存在高碰撞风险的障碍物主要是患者身体、CT扫描腔的入口和内壁。由于介入式手术机器人中机器人工作范围狭小，为了保证手术过程中机体和人体安全，必须在手术规划时对环境中的静态障碍物和动态障碍物达到高精度的避障，这就要求设备在手术前能够精准采集到人体的位置信息。

图4是根据本申请实施例的手术设备的截面示意图，如图4所示，阴影部分即为不碰撞条件下的机器人运动空间，其中CT扫描腔的位置已知，直径约为760mm，手术台高度是固定的，但是患者由于身体体型不同，卧床时的身体高度在200mm～300mm之间变化，该部分信息对机器人而言是未知的，当需要在运动中避开这部分物体时，就需要机器人对患者身体进行空间感知。此外，由于机器人的可活动空间比较小，如果只用结构光采集的三维空间数据做患者体表重建，由于结构光相机的成像精度不高，会导致重建得到的患者身体的三维空间数据与实际的患者身体的三维空间数据存在较大偏差，这不仅会压缩机器人的运动空间，同时可能造成路径规划不准确，机器人作业过程中发生碰撞。

图5是根据本申请实施例的手术设备的***成像示意图，如图5所示，通过在介入式手术机器人上安装的结构光相机与CT机配合进行***成像，实现患者的体表数据重建。其中，机器人基坐标系、相机坐标系和CT坐标系之间的位置关系是已经标定得到的先验数据。在本实施例中，结构光相机设置在介入式手术机器人上，可以采用相机固定，移动病床的位置进行初始图像采集，也可以通过不移动病床，移动相机的方式采集初始图像。

手术前，医师将机器人推到手术工位，患者平躺在手术台上并进入麻醉状态。准备工作完成后，医师点击***交互界面的开始按钮，设备启动。***会首先标定深度相机坐标系与机器人基坐标系之间的变换关系以及CT坐标系与机器人基坐标系之间的变换关系，这样才能将视觉***观察到的体表信息转化到机器人基坐标系中做导航避障的参考。

在手术台运动之前，机器人的导航支撑臂会转动至患者正上方，固定于支撑臂上的深度相机从患者头部开始逐帧采集当前场景的空间信息。图6是根据本申请实施例的手术设备的第一图像采集示意图；如图6所示，手术台开始运动后，深度相机不断采集图像，深度相机拍摄区域内主要观察目标为患者身体，但也包括了许多无关信息，比如杂乱的地面信息，为了避免这些无关信息干扰后续的碰撞检测，需要进行三维空间信息分割和滤波方法将离群点去除，最终得到当前帧下的患者第一体表数据。然后将不同帧数的局部三维图像进行拼接得到患者的整体图像，拼接方法可以根据不同帧数下的手术台位移量进行直接拼接，也可以根据不同帧数下图像的重叠区域进行特征点匹配，然后进行图像配准，利用特征点之间的距离进行拼接，最后对图像的重叠边界进行处理。在本实施例中，采用快速简单的加权平滑算法处理重叠区域，该算法的主要思想是：图像重叠区域中的点云空间坐标是由两幅图像中对应点的空间坐标加权平均得到，即P＝k×P1+(1-k)P2。图7是根据本申请实施例的手术设备的图像拼接示意图，如图7所示，将患者的多幅局部图像进行拼接后，得到第一图像包括完整的患者的第一体表数据，后续可以利用此体表数据初步重建出患者的体表，依次作为碰撞检测和导航避障的依据。

当患者进入扫描断层面之前，通过深度相机采集并拼接得到患者的第一体表数据。但因为深度相机成像质量不高，导致第一体表数据可能与实际的体表有偏差，为了更准确的重建出患者的体表，精确地对患者的病灶进行介入操作，考虑再用CT机做精细的体表扫描。为了减少CT对患者的辐射影响，只对手术感兴趣的区域进行扫描。图8是根据本申请实施例的手术设备的CT扫描示意图。如图8所示，当患者头部也开始通过CT断层扫描面时，X线束对患者体表进行扫描，得到精确的体表信息，然后不同部位的图像也可以通过手术台的位移量或者特征点匹配的方法进行拼接得到完整的患者第二体表数据。之后，将CT扫描得到的第二体表数据替代同部位的第一体表数据，实现将粗糙的第一体表数据替换为精细的第二体表数据，使患者的体表信息更加贴合实际情况，机器人在感兴趣区域附近进行作业时，具备精度更高的环境感知信息，可以更加灵活、准确的规划运动路径，提高了避障准确度。

随着手术台的前进，每当手术台往CT机内行进一个位移量，以CT扫描并覆盖原数据得到的第二体表数据，每当手术台往CT机内行进一个位移量，以CT扫描断层面为分界，这段位移量的第一体表数据就被第二体表数据所覆盖，相应地，经深度相机采集的第一体表数据就减少了一个位移量的数据。

图9是根据本申请另一实施例的手术设备的CT扫描示意图，如图9所示，当CT扫描完目标手术区域后，就得到了病灶的精确位置信息，将此时的病灶位置定为手术位置，但是CT扫描断层面与入口之间的区域仍为结构光相机采集得到的第一体表数据，此区域在CT扫描腔内，也会对机械臂的避障操作产生很大的影响，因此让手术台继续行进一段距离，该距离大于或者等于CT扫描断层面到CT入口之间的距离，以使得CT对该区域进行补充扫描，得到患者在CT内的完整体表信息。图10是根据本申请实施例的手术设备的补充扫描示意图，如图10所示，手术台继续前进，完成补充扫描。

图11是根据本申请实施例的手术设备的手术台回退示意图，如图11所示，当CT补充扫描完成后，得到该区域的第二体表数据，之后手术台回退相应的距离至手术位置，至此就得到了患者的最终体表信息，患者整个身体以CT机入口为界划分为两部分，进入扫描、拼接并覆盖完成的第二体表数据，未进入扫描腔的部分为结构光相机采集并拼接得到的第一体表数据。患者病灶位置与手术台补充扫描区域共同组成感兴趣区域，此时整个感兴趣区域都位于第二体表数据的覆盖范围内。

在其中的一个实施例中，补充扫描完成后，将补充扫描得到第二体表数据与补充扫描之前得到的第二体表数据进行拼接。数据拼接的实现方式既可以是根据不同帧数下手术台位移量进行直接拼接，也可以是根据不同帧数下图像的重叠区域进行特征点匹配，然后进行图像配准，利用特征点之间的距离进行拼接，最后对图像的重叠边界进行处理。

在其中的一个实施例中，图12是根据本申请另一实施例的手术设备的第一体表数据采集示意图，如图12所示，患者采用头先进的方式进入CT机，手术台自静止位置向扫描腔入口方向移动，深度相机采集患者的第一体表数据。在本实施例中，患者的病灶位置位于腹部。图13是根据本申请另一实施例的手术设备的第二体表数据采集示意图，如图13所示，本实施例中患者的病灶位置位于腹部。随着手术台前进，患者的病灶区域经过扫描层断面，CT机采集到患者病灶区域的第二体表数据。手术机器人在CT扫描腔内对患者病灶区域进行手术。此时针对扫描断层面到扫描腔入口区域，手术机器人依靠第一体表数据进行避障。图14是根据本申请另一实施例的手术设备的补充扫描示意图，如图14所示，随着手术台继续前进，对患者进行了补充扫描。在补充扫描过程中，手术台前进的距离与扫描全程面到扫描腔入口的距离相等。此时，采集到患者的第二体表数据既包括患者病灶区域的数据，还包括与病灶区域相邻的、二分之一扫描腔厚度的范围内扫描区域的数据。图15是根据本申请另一实施例的手术设备的手术台回退示意图，如图15所示，患者的病灶区域退回至CT扫描层面，方便位于CT扫描腔内的手术机器人执行手术。手术机器人基于补充扫描后的第二体表数据进行避障，解决了手术机器人基于扫描断层面至CT扫描腔入口区域的第一体表数据进行避障精度低下的问题，实现了手术机器人的精准避障。

通过上述步骤，本实施例的机器人路径规划方法在设备成像过程中，结构光相机首先采集多帧图像，拼接后得到第一图像，第一图像中包括患者的三维空间信息，即第一体表数据。第一体表数据能够初步反应患者身体的空间位置信息，CT机扫描并拼接后得到第二图像，第二图像中包括基于CT机扫描结果得到患者的三维空间信息，即第二体表数据。第二体表数据相比第一体表数据可以更加精确地反馈患者的体表信息。此外，结构光相机成像速度快但成像质量较粗糙，而CT机可以精确地定位扫描腔内的人体和病灶，但是其成像速度慢且对患者有辐射风险，本申请实施例将两种成像设备相结合，既可以快速定位CT扫描腔内的患者，又能精确获得CT孔径内机械臂活动空间，使介入式机器人在空间受限的条件下更准确地进行实时避障操作。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种机器人路径规划方法，图16是根据本申请实施例的机器人路径规划方法的流程图，如图16所示，该方法包括：

步骤S1601，接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像；

步骤S1602，基于所述第一图像以及第二图像获取目标图像；

步骤S1603，基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

在其中的一个实施例中，所述接收目标对象的第一图像还包括接收初始图像，所述初始图像包括目标对象的体表信息以及场景信息；对所述初始图像进行去噪，得到第一图像。

在其中的一个实施例中，所述接收目标对象的第一图像还包括目标对象的多帧表面图像，并基于病床的位移量对多帧所述表面图像进行拼接，得到所述第一图像；或，接收目标对象的多帧表面图像，并基于多帧所述表面图像的重叠区域进行特征点匹配，拼接得到所述第一图像。

在其中的一个实施例中，所述基于所述第一图像以及第二图像获取目标对象还包括将所述第一图像中感兴趣区域的图像替换为所述第二图像，得到所述目标图像；或，将所述第一图像与所述第二图像进行拼接，得到所述目标图像。

在其中的一个实施例中，感兴趣区域为目标对象位于X射线成像设备的扫描腔体中的区域或，所述目标对象经过X射线成像设备的扫描腔体的区域。

在其中的一个实施例中，所述基于所述目标图像规划运动路径还包括基于所述目标图像以及坐标转换关系得到所述目标对象在机器人坐标系中的参考位置，所述坐标转换关系包括机器人坐标系、深度相机坐标系和CT设备坐标系之间的位置关系；基于所述参考位置规划机器人运动路径。

在本实施例中还提供了一种机器人路径规划装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图17是本申请实施例的机器人路径规划方法的终端的硬件结构框图。如图17所示，终端可以包括一个或多个(图17中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。其中输入输出设备108可以是2D相机、深度相机、X射线成像设备等成像设备以及用于进行精密操作的机器人。2D相机是二维平面成像的摄像设备。深度相机是可以直接获取图像深度信息的成像设备，包括TOF相机、RGB双目相机以及结构光相机。机器人可以是用于微创手术的介入式手术机器人。本领域普通技术人员可以理解，图17所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图17中所示更多或者更少的组件，或者具有与图17所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的机器人路径规划方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

图18是本实施例的机器人路径规划装置的结构框图，如图18所示，该装置包括：

图像获取模块10，用于接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像；

融合模块20，用于基于所述第一图像以及第二图像获取目标图像；

路径规划模块30，用于基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

图像获取模块10，还用于接收初始图像，所述初始图像包括目标对象的体表信息以及场景信息；对所述初始图像进行去噪，得到第一图像。

图像获取模块10，还用于接收目标对象的多帧表面图像，并基于病床的位移量对多帧所述表面图像进行拼接，得到所述第一图像；或，接收目标对象的多帧表面图像，并基于多帧所述表面图像的重叠区域进行特征点匹配，拼接得到所述第一图像。

融合模块20，还用于将所述第一图像中感兴趣区域的图像替换为所述第二图像，得到所述目标图像；或，将所述第一图像与所述第二图像进行拼接，得到所述目标图像。

在其中的一个实施例中，所述感兴趣区域为目标对象位于X射线成像设备的扫描腔体中的区域，或，所述感兴趣区域为目标对象经过X射线成像设备的扫描腔体的区域。

路径规划模块30，还用于基于所述目标图像以及坐标转换关系得到所述目标对象在机器人坐标系中的参考位置，所述坐标转换关系包括机器人坐标系、深度相机坐标系和CT设备坐标系之间的位置关系；基于所述参考位置规划机器人运动路径。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述计算机设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像。

S2，基于所述第一图像以及第二图像获取目标图像。

S3，基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的机器人路径规划方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种机器人路径规划方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种手术设备，其特征在于，包括X射线成像设备、深度相机、机器人以及控制器，所述机器人用于根据所述控制器的控制指令进行运动，所述深度相机用于根据所述控制器的控制指令采集表面图像，所述X射线成像设备用于根据所述控制器的指令对目标对象进行扫描，得到X射线图像；

所述控制器用于：

接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标感兴趣区域的X射线图像；

基于所述第一图像以及第二图像获取目标图像；

基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

2.根据权利要求1所述的手术设备，其特征在于，所述控制器还用于：

接收初始图像，所述初始图像包括目标对象的体表信息以及场景信息；

对所述初始图像进行去噪，得到第一图像。

3.根据权利要求1或2所述的手术设备，其特征在于，所述控制器还用于：

接收目标对象的多帧表面图像，并基于病床的位移量对多帧所述表面图像进行拼接，得到所述第一图像；

或

接收目标对象的多帧表面图像，并基于多帧所述表面图像的重叠区域进行特征点匹配，拼接得到所述第一图像。

4.根据权利要求1所述的手术设备，其特征在于，所述控制器还用于：

将所述第一图像中感兴趣区域的图像替换为所述第二图像，得到所述目标图像；

或

将所述第一图像与所述第二图像进行拼接，得到所述目标图像。

5.根据权利要求4所述的手术设备，其特征在于，所述感兴趣区域为目标对象位于X射线成像设备的扫描腔体中的区域；

或

所述感兴趣区域为目标对象经过X射线成像设备的扫描腔体的区域。

6.根据权利要求1所述的手术设备，其特征在于，所述控制器还用于：

基于所述目标图像以及坐标转换关系得到所述目标对象在机器人坐标系中的参考位置，所述坐标转换关系包括机器人坐标系、深度相机坐标系和CT设备坐标系之间的位置关系；

基于所述参考位置规划机器人运动路径。

7.一种机器人路径规划方法，其特征在于，包括：

接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像；

基于所述第一图像以及第二图像获取目标图像；

基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

8.一种机器人路径规划装置，其特征在于，所述装置包括：

图像获取模块，用于接收目标对象的第一图像以及第二图像，所述第一图像为表面图像，所述第二图像为目标对象感兴趣区域的X射线图像；

融合模块，用于基于所述第一图像以及第二图像获取目标图像；

路径规划模块，用于基于所述目标图像规划运动路径，并基于所述运动路径控制机器人运动。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7所述的机器人路径规划方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7所述的机器人路径规划方法的步骤。