CN118078443A - 手术导航***的处理方法、软件***和手术导航*** - Google Patents

Abstract

本发明提供了一种手术导航***的处理方法、软件***和手术导航***，包括：基于光学定位仪获取多组定位球的坐标位置，计算每组定位球的重心坐标以及多组定位球确定的平面的单位法向量；确定患者头颅侧的一组定位球的重心坐标位置为原点的三维坐标系为世界坐标系，获取各个拉曼点在世界坐标系中的空间坐标，计算各个拉曼点在图像上对应像素点的位置；获取术前医学影像，平移世界坐标系使世界坐标系与术前医学影像的坐标系重叠在坐标原点，将各个拉曼点在图像上对应像素点的位置显示在术前医学影像中。该方式中，可以为后续确定拉曼光谱测量点在术前三维重建影像中的位置，以及确定显微镜视角下的拉曼光谱测量点二维投影位置提供数据支撑。

Description

手术导航***的处理方法、软件***和手术导航***

技术领域

本发明涉及医疗技术领域，尤其是涉及一种手术导航***的处理方法、软件***和手术导航***。

背景技术

脑胶质瘤术后的高复发率导致患者死亡率高、预后差，其主要原因之一是胶质瘤的微浸润生长。脑胶质瘤的生长具有极大的异质性，不同分子分型的胶质瘤具有明显差异化的侵袭性和微浸润生长方式。但是由于缺少精准定位脑胶质瘤微浸润范围的影像技术，脑胶质瘤分子分型与其微浸润生长模式的关系尚不明确。因此精准确定脑胶质瘤的微浸润范围，对于精准切除脑胶质瘤、减少术后复发具有重要临床意义。

荧光影像导航技术通过术前注射荧光剂，术中可以快速实时地显示脑胶质瘤的位置和范围，但由于缺乏针对脑胶质瘤的靶向荧光剂，以及脑胶质瘤本身异质性较高，荧光影像导航技术在评估脑胶质瘤微浸润方面的精准度和特异性欠佳。拉曼光谱技术通过识别分子的指纹图谱可以高特异性地判定脑组织是否癌变，甚至区分不同的分子分型，弥补荧光影像导航技术在微浸润识别上特异性、精准性不足的问题。但脑胶质瘤成分复杂，其高度的异质性导致拉曼光谱中包含的内容极为复杂，难以通过直接观察谱峰差异来区分肿瘤与正常组织，以及难以判定其分子分型。因此，如何利用人工智能技术快速、高效地解析脑胶质瘤微浸润灶的拉曼光谱，提取不同分子分型脑胶质瘤特有的“拉曼光谱”，对术中精准判定微浸润范围及其分子分型至关重要。

脑胶质瘤手术通常需要在手术显微镜下进行，术者会围绕手术区域不断地调整手术显微镜的角度和距离，拉曼光谱测量的位置需要在一个三维立体坐标系中被记忆并实时反映到当前的手术画面中，如何进行坐标系的确立和转换是一个重要的技术问题。如何将上述荧光影像导航技术、拉曼光谱技术以及人工智能技术融为一体并集成到手术显微镜中，以最终实现一体化的导航与诊断***，是目前亟待解决的技术难题。

发明内容

有鉴于此，本发明的目的在于提供一种手术导航***的处理方法、软件***和手术导航***，光学定位***通过实时监测固定在荧光手术显微镜、患者头颅侧和拉曼光谱探头上的定位球的空间位置，再经过本发明的软件***计算出上述三者之间的相对位置和空间角度，为后续确定拉曼光谱测量点在术前三维重建影像中的位置，以及确定显微镜视角下的拉曼光谱测量点二维投影位置提供数据支撑。

第一方面，本发明实施例提供了一种手术导航***的处理方法，应用于手术导航***的软件***，方法包括：基于光学定位仪获取多组定位球的坐标位置，计算每组定位球的重心坐标以及多组定位球确定的平面的单位法向量；其中，定位球设置于荧光手术显微镜、患者头颅侧和拉曼光谱探头上；确定患者头颅侧的一组定位球的重心坐标位置为原点的三维坐标系为世界坐标系，获取各个拉曼点在世界坐标系中的空间坐标，基于各个拉曼点在世界坐标系中的空间坐标计算各个拉曼点在图像上对应像素点的位置；获取术前医学影像，平移世界坐标系使世界坐标系与术前医学影像的坐标系重叠在坐标原点，将各个拉曼点在图像上对应像素点的位置显示在术前医学影像中。

在本申请可选的实施例中，上述基于光学定位仪获取多组定位球的坐标位置，计算每组定位球的重心坐标以及多组定位球确定的平面的单位法向量的步骤，包括：测量多组定位球之间的距离参数和角度参数；将光学定位仪的默认参考系调整为以头颅垂直线向上为z轴的正方向，以矢状轴向前为x轴正方向，以额状轴向左为y轴正方向，设定患者头颅侧一组定位球的重心位置为原点；基于光学定位仪确定一组定位球的坐标，基于该组定位球的坐标确定该组定位球的重心坐标和该组定位球的单位法向量；基于该组定位球的重心坐标、该组定位球的单位法向量、距离参数和角度参数计算该组定位球重心位置与中心点连线向量、中心点坐标和中心轴方向。

在本申请可选的实施例中，上述距离参数和角度参数至少包括以下之一：定位球的重心位置与对应的显微镜物镜出口中心之间点、患者颅顶中心点、拉曼探头末端之间的距离；该距离连线分别与对应定位球法线方向的空间夹角；该距离连线在定位球所在平面上投影线分别与每组定位球中的第一球和第二球的连线的夹角；每组定位球中的第一球和第二球的连线与第一球和第三球的连线的夹角。

在本申请可选的实施例中，上述每组定位球在安装时使其法线方向与对应的显微镜视场中心轴、患者头颅垂直轴、拉曼探头中心轴的平行。

在本申请可选的实施例中，上述基于各个拉曼点在世界坐标系中的空间坐标计算各个拉曼点在图像上对应像素点的位置的步骤，包括：将各个拉曼点在世界坐标系中的空间坐标转换到以显微镜镜头等效光心为坐标原点的相机坐标系；计算各个拉曼点在相机坐标系中的空间坐标在相机成像平面上的二维坐标；其中，相机成像平面设置于等效光心的等效后焦之后；将二维坐标所在坐标系平移，得到各个拉曼点在像素坐标系中的坐标作为各个拉曼点在图像上对应像素点的位置。

在本申请可选的实施例中，上述平移世界坐标系使世界坐标系与术前医学影像的坐标系重叠在坐标原点的步骤之后，方法还包括以下之一：基于术前医学影像识别病灶的位置，将病灶的位置显示在术前医学影像中；计算显微镜视场角，将显微镜的视场光锥显示在术前医学影像中；在术前医学影像中显示拉曼探头的位置，使拉曼探头按照给定视角方向投射。

在本申请可选的实施例中，上述方法还包括：基于拉曼光谱诊断***将拉曼探头采集到的拉曼光谱数据输入预先建立好的深度学习模型中，输出病灶分类结果；将病灶分类结果显示在术前医学影像中各个拉曼点对应像素点的位置处。

在本申请可选的实施例中，上述将病灶分类结果显示在术前医学影像中各个拉曼点对应像素点的位置处的步骤，包括：当相机镜头移动时，确定术前医学影像中当前显示的拉曼点；将当前显示的拉曼点对应的病灶分类结果显示在术前医学影像中当前显示的拉曼点对应像素点的位置处。

第二方面，本发明实施例还提供一种软件***，软件***用于执行上述的手术导航***的处理方法。

第三方面，本发明实施例还提供种一手术导航***，手术导航***包括：荧光手术显微镜、拉曼光谱测量***、拉曼光谱诊断***、光学定位***和上述的软件***。

本发明实施例带来了以下有益效果：

本发明实施例提供了一种手术导航***的处理方法、软件***和手术导航***，光学定位***通过实时监测固定在荧光手术显微镜、患者头颅侧和拉曼光谱探头上的定位球的空间位置，再经过本发明的软件***计算出上述三者之间的相对位置和空间角度，为后续确定拉曼光谱测量点在术前三维重建影像中的位置，以及确定显微镜视角下的拉曼光谱测量点二维投影位置提供数据支撑。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种手术导航***的处理方法的流程图；

图2为本发明实施例提供的一种三球坐标及其重心坐标示意图；

图3为本发明实施例提供的一种三球与目标定位点的位置关系示意图；

图4为本发明实施例提供的一种计算目标定位点坐标向量的示意图；

图5为本发明实施例提供的一种相机成像模型中的坐标计算示意图；

图6为本发明实施例提供的一种导航***及荧光成像显示界面示意图；

图7为本发明实施例提供的另一种手术导航***的处理方法的流程图；

图8为本发明实施例提供的一种手术导航***的示意图；

图9为本发明实施例提供的一种电子设备的结构示意图。

图标：1-荧光手术显微镜；2-光学定位***；3-拉曼光谱探头；4-第一定位球组；5-第二定位球组；6-第三定位球组；201-近红外定位激光发出位置；202-可见光摄像头；203近红外激光定位摄像头组合；100-存储器；101-处理器；102-总线；103-通信接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，脑胶质瘤手术通常需要在手术显微镜下进行，术者会围绕手术区域不断地调整手术显微镜的角度和距离，拉曼光谱测量的位置需要在一个三维立体坐标系中被记忆并实时反映到当前的手术画面中，如何进行坐标系的确立和转换是一个重要的技术问题。如何将上述荧光影像导航技术、拉曼光谱技术以及人工智能技术融为一体并集成到手术显微镜中，以最终实现一体化的导航与诊断***，是目前亟待解决的技术难题。

基于此，本发明实施例提供的一种手术导航***的处理方法、软件***和手术导航***，光学定位***通过实时监测固定在荧光手术显微镜、患者头颅侧和拉曼光谱探头上的定位球的空间位置，再经过本发明的软件***计算出上述三者之间的相对位置和空间角度，为后续确定拉曼光谱测量点在术前三维重建影像中的位置，以及确定显微镜视角下的拉曼光谱测量点二维投影位置提供数据支撑。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种手术导航***的处理方法进行详细介绍。

实施例一：

本发明实施例提供一种手术导航***的处理方法，应用于手术导航***的软件***，本实施例中的软件***包括空间三维坐标算法、显微镜视角下拉曼测量点的二维投影算法、术前三维重建医学影像与显微镜视角及拉曼探头位置实时叠加算法、荧光影像与拉曼测量结果的图像融合算法以及整体软件显示框架。

基于上述描述，参见图1所示的一种手术导航***的处理方法的流程图，该手术导航***的处理成方法包括如下步骤：

步骤S102，基于光学定位仪获取多组定位球的坐标位置，计算每组定位球的重心坐标以及多组定位球确定的平面的单位法向量；其中，定位球设置于荧光手术显微镜、患者头颅侧和拉曼光谱探头上。

可以参见图2所示的一种三球坐标及其重心坐标示意图，本实施例提供了空间三维坐标算法（本算法中坐标单位统一为毫米），基于光学定位仪给出的三组定位球的坐标位置，计算每组定位球的重心坐标及三个球确定平面的单位法向量。例如，对于三个球的坐标，/>，/>，其重心坐标位置为/>（），其单位法向量为/>，则显微镜上一组定位球的重心坐标为/>、单位法向量为/>，患者头颅侧一组定位球的重心坐标为/>、单位法向量为/>，拉曼探头上一组定位球的重心坐标为/>、单位法向量为/>。

在一些实施例中，可以测量多组定位球之间的距离参数和角度参数；将光学定位仪的默认参考系调整为以头颅垂直线向上为z轴的正方向，以矢状轴向前为x轴正方向，以额状轴向左为y轴正方向，设定患者头颅侧一组定位球的重心位置为原点；基于光学定位仪确定一组定位球的坐标，基于该组定位球的坐标确定该组定位球的重心坐标和该组定位球的单位法向量；基于该组定位球的重心坐标、该组定位球的单位法向量、距离参数和角度参数计算该组定位球重心位置与中心点连线向量、中心点坐标和中心轴方向。

其中，距离参数和角度参数至少包括以下之一：定位球的重心位置与对应的显微镜物镜出口中心之间点、患者颅顶中心点、拉曼探头末端之间的距离；该距离连线分别与对应定位球法线方向的空间夹角；该距离连线在定位球所在平面上投影线分别与每组定位球中的第一球和第二球的连线的夹角；每组定位球中的第一球和第二球的连线与第一球和第三球的连线的夹角。

可以参见图3所示的一种三球与目标定位点的位置关系示意图，事先测量出每组定位球重心位置与对应的显微镜物镜出口中心点、患者颅顶中心点、拉曼探头末端之间的距离，该距离连线（定位球重心为起点）与对应定位球法线方向的空间夹角，该距离连线在定位球所在平面上投影线与ab球连线的夹角/>（在安装定位球时，人为设定该投影线在ab球连线和ac球连线之间），以及每组球中所定义的ab球连线/>与ac球连线/>的夹角为/>（该夹角不能等于0度或180度）。每组定位球在安装时使其法线方向与对应的显微镜视场中心轴、患者头颅垂直轴、拉曼探头中心轴的平行。

如图3所示，将光学定位仪的默认参考系调整为以头颅垂直线向上为z轴的正方向，以矢状轴向前为x轴正方向，以额状轴向左为y轴正方向，设定患者头颅侧一组定位球的重心位置为原点（0,0,0）。

通过光学定位仪得到显微镜上一组定位球的坐标，/>，/>，则可计算得到显微镜上定位球的重心坐标/>，显微镜上定位球的单位法向量。为确保显微镜上定位球的单位法向量/>与显微镜观察方向一致，设x轴正向单位向量/>，需要算法判定的符号，若为负，则/>方向正确，否则在算法内对/>重新赋值：/>。

参见图4所示的一种计算目标定位点坐标向量的示意图，接下来计算定位球重心位置与显微镜物镜出口中心点连线向量，设该距离连线在定位球所在平面上投影线的单位向量为/>。由于在安装定位球时，人为设定该投影线在ab球连线和ac球连线之间，即位于/>和/>的夹角内部，则/>可表示为/>，而/>满足关系式，因此，/>。

则，从而解得：/>。

此一元二次方程的另一个解为负值，不满足预设条件“该投影线在ab球连线和ac球连线之间”，因此只有上述一个解，根据此解可计算出/>的向量值。

那么，至此，可得出显微镜物镜出口中心点坐标为/>，而显微镜视角方向如前预设为/>。

依此类推，可以解得患者头颅侧的参数：

；

；

。

其中，为确保患者头颅侧上定位球的单位法向量与患者头颅垂直轴方向一致，设z轴正向单位向量/>，需要算法判定/>的符号，若为正，则/>方向正确，否则在算法内对/>重新赋值：/>。

则患者颅顶中心点的坐标为，而患者垂直轴方向如前预设为/>；

可以解得拉曼探头的参数：

；

；

。

其中，为确保拉曼探头上定位球的单位法向量与拉曼探头中心轴方向（指向末端）方向一致，只需保证需要/>与拉曼探头定位球重心-患者颅顶中心点连线方向的夹角为锐角，则需要算法判定/>的符号，若为正，则/>方向正确，否则在算法内对/>重新赋值：/>。

则拉曼探头末端的坐标为，而拉曼探头中心轴方向（指向末端）如前预设为/>。

至此，可以通过定位***提供的实时定位球坐标实时计算出显微镜、患者头颅、拉曼探头的位置和方向，用于后续三维图像融合和投影的计算。

步骤S104，确定患者头颅侧的一组定位球的重心坐标位置为原点的三维坐标系为世界坐标系，获取各个拉曼点在世界坐标系中的空间坐标，基于各个拉曼点在世界坐标系中的空间坐标计算各个拉曼点在图像上对应像素点的位置。

本实施例还提供了显微镜视角下拉曼测量点的二维投影算法。上述方法建立了一个以患者头颅侧一组定位球的重心位置为原点的三维坐标系（也被称为世界坐标系），并且在这个坐标系中可以获得所有拉曼点的空间坐标，/>，/>是拉曼点的数量；也可以实时得到显微镜镜头中心的空间坐标/>。本部分算法的目的是：当显微镜镜头位置为/>时，计算拉曼点/>在图像上对应像素点的位置/>，是像素坐标系中的宽度值，/>是高度值，单位为像素，以实现在显微镜荧光影像画面中标记出所有的拉曼点。为了在荧光影像中获得/>对应的/>，需要建立一个世界坐标系和像素坐标系的映射关系。

在一些实施例中，可以将各个拉曼点在世界坐标系中的空间坐标转换到以显微镜镜头等效光心为坐标原点的相机坐标系；计算各个拉曼点在相机坐标系中的空间坐标在相机成像平面上的二维坐标；其中，相机成像平面设置于等效光心的等效后焦之后；将二维坐标所在坐标系平移，得到各个拉曼点在像素坐标系中的坐标作为各个拉曼点在图像上对应像素点的位置。

步骤一：需要将世界坐标系的转换到以显微镜镜头等效光心/>为坐标原点的相机坐标系/>：

；

其中是正交矩阵；/>代表三维平移矢量，由显微镜镜头等效光心/>坐标和患者头颅侧一组定位球的重心位置作差可得。根据旋转角度可以分别获得三个方向上的旋转矩阵，而旋转矩阵即为他们的乘积：/>。当需要绕/>、/>、/>分别旋转/>、/>、时：

；

；

。

其中、/>、/>是从以患者头颅侧一组定位球的重心位置为原点的真实世界坐标系变换至以显微镜镜头等效光心/>为原点的坐标系（主光轴向外为z’轴，x’轴和y’轴分别与CMOS长和宽平行）的旋转角度。

步骤二：参见图5所示的一种相机成像模型中的坐标计算示意图，在等效光心后距离/>处有一个成像平面，计算三维空间中的点/>在相机成像平面CMOS上的二维坐标/>，即模拟/>通过相机光心/>投影到成像平面的过程，其中/>为相机的等效后焦。

由于经过等效光心的光线传播方向不变，由相似三角形原理可以得出：

；

。

此处CMOS上的图像坐标已考虑成像的倒立属性而作了镜像变换，因而与相机坐标系中坐标符号一致。

步骤三：数字相机采用CMOS作为成像平面，成像为离散的像素点，获得数字图像。因此需要将成像平面坐标系离散为像素点阵列，并且由于数字图像一般***移到图像左上角点（即坐标系平移），则将/>离散为数字图像上的像素点/>：

。

其中和/>分别表示每个像素在/>和/>方向上的实际大小（单位：毫米/像素），由相机传感器中每个感光原件大小决定。

通过这三个步骤将世界坐标系中点（单位：毫米）转换为像素坐标系中的点/>（单位：像素）。若/>或/>的值超出CMOS可以采集的像素范围时，说明当前计算的拉曼点/>不在该张图像中，也就可以不用在图像中标记此点。至此，可以将拉曼测量点的三维坐标实时投影至显微镜成像画面中。

步骤S106，获取术前医学影像，平移世界坐标系使世界坐标系与术前医学影像的坐标系重叠在坐标原点，将各个拉曼点在图像上对应像素点的位置显示在术前医学影像中。

在一些实施例中，还可以包括以下之一：基于术前医学影像识别病灶的位置，将病灶的位置显示在术前医学影像中；计算显微镜视场角，将显微镜的视场光锥显示在术前医学影像中；在术前医学影像中显示拉曼探头的位置，使拉曼探头按照给定视角方向投射。

参见图6所示的一种导航***及荧光成像显示界面示意图，本实施例还提供了术前三维重建医学影像与显微镜视角及拉曼探头位置实时叠加算法。此外，图6还示出了软件的整体显示框架。

通过术前CT（Computed Tomography，电子计算机断层扫描）、PET-CT（PositronEmission Tomography-Computed Tomography，正电子发射计算机断层显像）或MRI（Magnetic Resonance Imaging，磁共振成像）等医学影像扫描数据，可以利用现有算法重建得到术前三维重建医学影像，将现实世界中三维坐标系（即世界坐标系）平移，使得原点变成患者头颅定点，由于单位统一为毫米，可将平移后的现实世界坐标系与三维重建医学影像坐标系重叠在坐标原点。然后将其按照任意给定视角方向投射在屏幕上。术前医学影像按照现有成熟的图像分割及识别算法可以大致给出病灶的位置及范围，如图6左图中白色区域所示。

通过空间三维坐标算法可以得出显微镜镜头中心位置坐标及其视角方向向量。事先可以测量出显微镜的视场角与物焦/>之间的关系/>，则在已知任意物焦u的情况下，可以计算出显微镜视场角/>。结合上述信息可以实时计算出显微镜的视场光锥并将其按照任意给定视角方向投射在屏幕上，如图6左图中光锥投影所示。

通过空间三维坐标算法拉曼探头测量点的坐标以及拉曼探头指向的方向，则可用一段线段在三维影像中模拟拉曼探头的位置，然后将其按照任意给定视角方向投射在屏幕上，如图6左图中线段投影所示。

每次测量拉曼光谱后记录探头测量点坐标并标示在三维重建医学影像上，如图6左图中标记点所示。

本发明实施例提供了一种手术导航***的处理方法，光学定位***通过实时监测固定在荧光手术显微镜、患者头颅侧和拉曼光谱探头上的定位球的空间位置，再经过本发明的软件***计算出上述三者之间的相对位置和空间角度，为后续确定拉曼光谱测量点在术前三维重建影像中的位置，以及确定显微镜视角下的拉曼光谱测量点二维投影位置提供数据支撑。

实施例二：

本实施例提供了另一种手术导航***的处理方法，该方法在上述实施例的基础上实现，参见图7所示的另一种手术导航***的处理方法的流程图，该手术导航***的处理方法包括如下步骤：

步骤S702，基于光学定位仪获取多组定位球的坐标位置，计算每组定位球的重心坐标以及多组定位球确定的平面的单位法向量；其中，定位球设置于荧光手术显微镜、患者头颅侧和拉曼光谱探头上。

步骤S704，确定患者头颅侧的一组定位球的重心坐标位置为原点的三维坐标系为世界坐标系，获取各个拉曼点在世界坐标系中的空间坐标，基于各个拉曼点在世界坐标系中的空间坐标计算各个拉曼点在图像上对应像素点的位置。

步骤S706，获取术前医学影像，平移世界坐标系使世界坐标系与术前医学影像的坐标系重叠在坐标原点，将各个拉曼点在图像上对应像素点的位置显示在术前医学影像中。

步骤S708，基于拉曼光谱诊断***将拉曼探头采集到的拉曼光谱数据输入预先建立好的深度学习模型中，输出病灶分类结果；将病灶分类结果显示在术前医学影像中各个拉曼点对应像素点的位置处。

本实施例还提供了荧光影像与拉曼测量结果的图像融合算法。拉曼光谱诊断***将拉曼探头采集到的拉曼光谱数据输入预先建立好的深度学习模型中，通过模型的推理病灶分类结果，分类结果包括癌阴/阳性及其分子分型，然后按照不同的分类结果在显微镜视角下拉曼测量点的二维投影算法所获取拉曼测量点位置处以不同的颜色标示出来。

在一些实施例中，可以当相机镜头移动时，确定术前医学影像中当前显示的拉曼点；将当前显示的拉曼点对应的病灶分类结果显示在术前医学影像中当前显示的拉曼点对应像素点的位置处。

本融合算法的一个特点是可以实时更新图6右图中的拉曼测量点：当随着相机镜头移动使得图6右图成像内容变化时，首先实时对已经存储的拉曼点进行逐一遍历；然后利用上述“显微镜视角下拉曼测量点的二维投影算法”将每一个拉曼点的空间坐标映射成当前成像内容下的像素坐标；如果该像素坐标值在当前图像尺寸中，则说明该拉曼点在图6右图中，需要对该点在图中进行标记，否则说明该点不在图6右图中，不需要进行标记操作。因此，拉曼测量点的位置会因为显微镜与患者脑部相对位置变化而发生更新，或新增测量点而发生更新。在三维图或二维图中单击任一测量点位置会在图6左图中显示其详细拉曼光谱。

本发明实施例提供的上述方法，具体提供了以下内容：

（1）空间三维坐标算法、显微镜视角下拉曼测量点的二维投影算法、术前三维重建医学影像与显微镜视角及拉曼探头位置实时叠加算法、荧光影像与拉曼测量结果的图像融合算法。

（2）通过三维坐标计算和投影来分析显微镜成像视野和拉曼测量点在二维上的关系。

（3）拉曼光谱经过归一化和标准化的预处理后，以二维图像的形式进入模型中进行训练，以克服不同拉曼光谱设备之间的硬件差异带来的影响，来提高模型的通用性。

（4）通过光学定位***串联荧光手术显微镜、拉曼诊断***和术前三维重建***，解决组织穿透深度问题，同时解决拉曼测量点位置记忆追踪和拉曼荧光图像精准融合的问题。

本发明实施例通过光学定位仪检测固定在手术显微镜、拉曼光谱探头和人体头侧的定位球，确定三者之间的相对位置，从而建立三维坐标系，结合术前CT/MRI/PET-CT三维重建的脑部三维影像，可在术中确定荧光成像区域、拉曼探测点和脑部的坐标，解决组织穿透深度问题，并为荧光与拉曼图像融合、拉曼测量点对照术前影像诊断的肿瘤区域提供坐标计算基础。通过荧光成像的实时大面积扫描快速确定肿瘤的大致范围，再经过三维图示引导的人工智能拉曼测量，精准地对荧光无法确定的区域进行扫描式诊断，同时可以将拉曼测量点注册在术前影像三维重建空间中，实时确定手术进程。术者可以参照术前影像三维重建图像和拉曼测量点的关系、荧光实时二维影像与拉曼测量点的关系，对肿瘤是否切净做出清晰的判断。同时，人工智能算法是基于深度学习，前期大量训练的脑胶质瘤和正常脑组织样本，不仅可以判断被测点是否为肿瘤，还可以对肿瘤的分子分型做出快速预诊断，让医生根据肿瘤分子分型对于手术激进程度做出及时调整。

实施例三：

本实施例提供了一种软件***，该方法在上述实施例的基础上实现，上述软件***用于前述实施例提供的手术导航***的处理方法。

本实施例中的软件***可以包括前述实施例提供的空间三维坐标算法、显微镜视角下拉曼测量点的二维投影算法、术前三维重建医学影像与显微镜视角及拉曼探头位置实时叠加算法、荧光影像与拉曼测量结果的图像融合算法以及整体软件显示框架。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的软件***的具体工作过程，可以参考前述的手术导航***的处理方法的实施例中的对应过程，在此不再赘述。

实施例四：

本实施例提供了一种手术导航***，该方法在上述实施例的基础上实现，上述手术导航***包括：荧光手术显微镜、拉曼光谱测量***、拉曼光谱诊断***、光学定位***和前述实施例提供的软件***。

参见图8所示的一种手术导航***的示意图，示出了：荧光手术显微镜1、光学定位***2、拉曼光谱探头3、第一定位球组4、第二定位球组5、第三定位球组6、近红外定位激光发出位置201、可见光摄像头202和近红外激光定位摄像头组合203。

荧光手术显微镜***，由手术显微镜光路***、激光器、光纤、滤光片组合、相机组成，激光器优选采用785nm激光，通过光纤导入滤光片组合中。滤光片组合包括一个陷波二向色镜、一个陷波滤光片，陷波中心波长优选为785nm，滤光片组合被安装在显微镜物镜的正下方。激光由90°角入射经过陷波二向色镜（45°）反射与显微镜视场同轴，当显微镜视场中存在荧光剂，会被激发光激发而产生荧光，另外通过光纤和环形照明导光束将白光照明导出至滤光片组合前端，用以白光照明同时不干扰荧光成像。荧光和反射的白光直接通过陷波二向色镜和陷波滤光片，将杂散的激发光反射光滤除，然后进入手术显微镜光学***，最后进入相机内部。相机内部具有分光棱镜和带通镀膜，可将白光与荧光分开并聚焦在CMOS芯片上，形成白光和荧光图像。

拉曼光谱测量***由光纤透镜式拉曼光谱探头、拉曼光谱仪及其内置的激光器组成，可以激发并读取生物组织内的拉曼光谱信号，处理成数字信号送入拉曼光谱诊断***。

拉曼光谱诊断***将前述获取到的拉曼光谱数字信号输入预先建立好的深度学习模型中，通过模型的推理得到分类结果，分类结果包括是否是恶性肿瘤，分子分型。深度学习模型基于一维卷积神经网络，或YOLO、VGG、ResNet模型。其中，拉曼光谱经过归一化和标准化的预处理，并以二维图像的形式进入模型中进行训练，以克服不同拉曼光谱设备之间的硬件差异带来的影响（如狭缝宽度的不同带来数据点间波数步长的差异，探测器灵敏度的不同带来的数字信号强度的差异），来提高模型的通用性。

光学定位***通过实时监测固定在荧光手术显微镜、患者头颅侧和拉曼光谱探头上的定位球的空间位置，再经过本发明的软件***计算出上述三者之间的相对位置和空间角度，为后续确定拉曼光谱测量点在术前三维重建影像中的位置，以及确定显微镜视角下的拉曼光谱测量点二维投影位置提供数据支撑。

软件***包括空间三维坐标算法、显微镜视角下拉曼测量点的二维投影算法、术前三维重建医学影像与显微镜视角及拉曼探头位置实时叠加算法、荧光影像与拉曼测量结果的图像融合算法以及整体软件显示框架。

此外，本实施例中的拉曼探头的定位方法可以替换为CT引导或者MRI引导，但由于设备庞大且难以定位显微镜的位置和视角，因此优选为光学定位仪。

荧光手术显微镜的激发波段可以替换为其他临床常用荧光剂的激发波长，如针对5-ALA的405±20nm，针对亚甲基蓝的660±10nm，针对荧光素钠的460-488nm，相应地，所选用的陷波滤光片组合也是针对所选激发波长的。

拉曼探头除了采用光纤透镜式探头，也可采用“滤光片+透镜”式探头，不过针对脑胶质瘤手术的狭窄操作空间，前者具有体积小、易操作的优势，因此优选为光纤透镜式探头。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的手术导航***的具体工作过程，可以参考前述的手术导航***的处理方法的实施例中的对应过程，在此不再赘述。

实施例五：

本发明实施例还提供了一种电子设备，用于运行上述的手术导航***的处理方法；参见图9所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述的手术导航***的处理方法。

进一步地，图9所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口103（可以是有线或者无线）实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述所述的手术导航***的处理方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的所述的手术导航***的处理方法、软件***和手术导航***的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种手术导航***的处理方法，其特征在于，应用于手术导航***的软件***，所述方法包括：

基于光学定位仪获取多组定位球的坐标位置，计算每组所述定位球的重心坐标以及多组所述定位球确定的平面的单位法向量；其中，所述定位球设置于荧光手术显微镜、患者头颅侧和拉曼光谱探头上；

确定所述患者头颅侧的一组定位球的重心坐标位置为原点的三维坐标系为世界坐标系，获取各个拉曼点在所述世界坐标系中的空间坐标，基于各个拉曼点在所述世界坐标系中的空间坐标计算各个拉曼点在图像上对应像素点的位置；

获取术前医学影像，平移所述世界坐标系使所述世界坐标系与所述术前医学影像的坐标系重叠在坐标原点，将各个拉曼点在图像上对应像素点的位置显示在所述术前医学影像中。

2.根据权利要求1所述的手术导航***的处理方法，其特征在于，基于光学定位仪获取多组定位球的坐标位置，计算每组所述定位球的重心坐标以及多组所述定位球确定的平面的单位法向量的步骤，包括：

测量多组所述定位球之间的距离参数和角度参数；

将光学定位仪的默认参考系调整为以头颅垂直线向上为z轴的正方向，以矢状轴向前为x轴正方向，以额状轴向左为y轴正方向，设定患者头颅侧一组定位球的重心位置为原点；

基于所述光学定位仪确定一组定位球的坐标，基于该组定位球的坐标确定该组定位球的重心坐标和该组定位球的单位法向量；

基于所述该组定位球的重心坐标、所述该组定位球的单位法向量、所述距离参数和所述角度参数计算该组定位球重心位置与中心点连线向量、中心点坐标和中心轴方向。

3.根据权利要求2所述的手术导航***的处理方法，其特征在于，所述距离参数和所述角度参数至少包括以下之一：

所述定位球的重心位置与对应的显微镜物镜出口中心之间点、患者颅顶中心点、拉曼探头末端之间的距离；

该距离连线分别与对应定位球法线方向的空间夹角；

该距离连线在定位球所在平面上投影线分别与每组所述定位球中的第一球和第二球的连线的夹角；

每组所述定位球中的第一球和第二球的连线与第一球和第三球的连线的夹角。

4.根据权利要求3所述的手术导航***的处理方法，其特征在于，每组所述定位球在安装时使其法线方向与对应的显微镜视场中心轴、患者头颅垂直轴、拉曼探头中心轴的平行。

5.根据权利要求1所述的手术导航***的处理方法，其特征在于，基于各个拉曼点在所述世界坐标系中的空间坐标计算各个拉曼点在图像上对应像素点的位置的步骤，包括：

将各个拉曼点在所述世界坐标系中的空间坐标转换到以显微镜镜头等效光心为坐标原点的相机坐标系；

计算各个拉曼点在所述相机坐标系中的空间坐标在相机成像平面上的二维坐标；其中，所述相机成像平面设置于所述等效光心的等效后焦之后；

将所述二维坐标所在坐标系平移，得到各个拉曼点在像素坐标系中的坐标作为各个拉曼点在图像上对应像素点的位置。

6.根据权利要求1所述的手术导航***的处理方法，其特征在于，平移所述世界坐标系使所述世界坐标系与所述术前医学影像的坐标系重叠在坐标原点的步骤之后，所述方法还包括以下之一：

基于所述术前医学影像识别病灶的位置，将所述病灶的位置显示在所述术前医学影像中；

计算显微镜视场角，将显微镜的视场光锥显示在所述术前医学影像中；

在所述术前医学影像中显示拉曼探头的位置，使所述拉曼探头按照给定视角方向投射。

7.根据权利要求1-6任一项所述的手术导航***的处理方法，其特征在于，所述方法还包括：

基于拉曼光谱诊断***将拉曼探头采集到的拉曼光谱数据输入预先建立好的深度学习模型中，输出病灶分类结果；

将所述病灶分类结果显示在所述术前医学影像中各个拉曼点对应像素点的位置处。

8.根据权利要求7所述的手术导航***的处理方法，其特征在于，将所述病灶分类结果显示在所述术前医学影像中各个拉曼点对应像素点的位置处的步骤，包括：

当相机镜头移动时，确定所述术前医学影像中当前显示的拉曼点；

将所述当前显示的拉曼点对应的所述病灶分类结果显示在所述术前医学影像中当前显示的拉曼点对应像素点的位置处。

9.一种软件***，其特征在于，所述软件***用于执行权利要求1-8任一项所述的手术导航***的处理方法。

10.一种手术导航***，其特征在于，所述手术导航***包括：荧光手术显微镜、拉曼光谱测量***、拉曼光谱诊断***、光学定位***和权利要求9所述的软件***。