CN109925054B - 确定靶点路径的辅助方法、装置和***、可读存储介质 - Google Patents
确定靶点路径的辅助方法、装置和***、可读存储介质 Download PDFInfo
- Publication number
- CN109925054B CN109925054B CN201910161268.6A CN201910161268A CN109925054B CN 109925054 B CN109925054 B CN 109925054B CN 201910161268 A CN201910161268 A CN 201910161268A CN 109925054 B CN109925054 B CN 109925054B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- projection
- points
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请提供一种确定靶点路径的辅助方法、装置和***、可读存储介质。方法包括获取针对患处的三维局部图像和位于所述三维局部图像内的虚拟路径;当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时,获取所述虚拟路径在所述仿真二维图像上的投影信息;根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点。
Description
技术领域
本申请涉及医疗技术领域,尤其涉及一种确定靶点路径的辅助方法、装置和***、可读存储介质。
背景技术
当前,在通过手术器械对患处进行手术时,通常需要***患处内部,而准确获取手术器械进入患处内的路径,可以大大提高手术的精度,减少X片的拍摄次数,减少辐射,减低患者痛苦。因而,医疗技术领域内,如何提高入针精度已经成为本领域内技术人员亟待解决的技术问题。
发明内容
本申请提供一种确定靶点路径的辅助方法、装置和***、可读存储介质,以解决相关技术中的不足。
根据本申请实施例的第一方面,提供一种确定靶点路径的辅助方法,包括:
获取针对患处的三维局部图像和位于所述三维局部图像内的虚拟路径;
当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时,获取所述虚拟路径在所述仿真二维图像上的图像位置信息;
根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的多个靶点。
可选的,所述基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配,包括:
对所述患处进行透视投影得到所述二维投影图像;
对所述三维局部图像进行投影得到所述仿真二维图像;
获取所述仿真二维图像和所述二维投影图像的重合度,在所述重合度不小于预设阈值时,确定为所述仿真二维图像与所述二维投影图像匹配。
可选的,所述获取所述仿真二维图像和所述二维投影图像的重合度,包括:
提取所述仿真二维图像中的第一投影区域和所述二维投影图像中的第二投影区域;
根据所述第一投影区域和所述第二投影区域之间的边缘轮廓匹配程度计算所述重合度。
可选的,所述获取所述仿真二维图像和所述二维投影图像的重合度,包括:
将所述仿真二维图像和所述二维投影图像均按照预设比例沿预设方向进行分割;
将所述仿真二维图像的每一分割区域与所述二维投影图像对应的分割区域进行匹配得到所述重合度。
可选的,所述根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,包括:
根据所述虚拟路径在所述二维仿真图像上的图像位置信息,获取所述二维投影图像上与所述虚拟路径匹配的投影路径的图像位置信息;
根据所述投影路径上多个位置点的图像位置信息调整所述指引结构。
可选的,应用于靶点路径确定***,所述确定***包括定位装置,所述定位装置包括多个位于第一平面上的第一预设标记点、和多个位于第二平面上的第二预设标记点,在投影方向上,所述第一平面和所述第二平面之间具有间隔;
所述根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,包括:
获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在定位坐标系中的定位位置信息;
获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在图像坐标系中的图像位置信息,所述图像坐标系基于所述定位装置的投影图像形成;
根据所述第一预设标记点的定位位置信息和图像位置信息、所述第二预设标记点的定位位置信息和图像位置信息、虚拟路径上任一位置点的图像位置信息,调整所述指引结构。
可选的,还包括:
根据多个第三预设标记点在校准坐标系中的校准位置信息和在图像坐标系中的图像坐标信息,确定所述校准坐标系和所述图像坐标系之间的第一转换关系;
根据所述第一转换关系得到校准后的所述二维投影图像。
可选的,所述指引结构包括光束发射部件,所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括:
所述光束部件发射的光束指向靶点。
或者,所述指引结构包括器械导向通道,
所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括:
所述器械导向通道的中轴线指向所述靶点。
根据本申请实施例的第二方面,提供一种确定靶点路径的辅助装置,包括:
第一获取模块,获取针对患处的三维局部图像和位于所述三维局部图像内的虚拟路径;
第二获取模块,当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时,获取所述虚拟路径在所述仿真二维图像上的投影信息;
调整模块,根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点。
根据本申请实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如上述任一项实施例所述方法的步骤。
根据本申请实施例的第四方面,提供和一种手术导航***,包括:
拍摄装置,所说拍摄装置用于获取投影图像;
指引结构;
显示器,所述显示器用于示出图像;
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为用于实现如上述任一项实施例所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:
由上述实施例可知,本申请通过匹配仿真二维图像与二维投影图像得到患处内的手术路径基于拍摄装置的物理姿态参数,从而根据该物理姿态参数可以调整指向结构使之依次指向构成手术路径的多个靶点。基于此,可以得到体表上与手术路径对应的规划路线,该规划路线可以辅助医护人员植入手术器械,辅助术中路径规划,有利于提高手术的精准性,降低病患痛苦。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种确定靶点路径辅助方法流程图。
图2是根据一示例性实施例示出的另一种确定靶点路径辅助方法流程图。
图3是根据一示例性实施例示出的一种算法模型图。
图4是根据一示例性实施例示出的又一种确定靶点路径辅助方法流程图。
图5是根据一示例性实施例示出的还一种确定靶点路径辅助方法流程图。
图6是根据一示例性实施例示出的另一种仿真二维图像的示意图。
图7是根据一示例性实施例示出的另一种二维投影图像的示意图。
图8是根据一示例性实施例示出的一种手术导航***的结构框图。
图9是根据一示例性实施例提供的一种设备的示意结构图。
图10是根据一示例性实施例示出的一种确定靶点路径的辅助装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种确定靶点路径的辅助方法的流程图,如图1所示,该辅助方法可以包括:
在步骤101中,获取针对患处的三维局部图像,所述三维局部图像包括虚拟路径。
在本实施例中,患处可以包括患肢、胸部、腰部、脊椎或者头部等部位,本申请并不对此进行限制。可以通过CT扫描或者MR影像得到扫描信息,该扫描信息可以被输入到计算机使之进行重建,得到三维局部图像。进一步地,根据CT或者MR的扫描信息同样可以重建在三维局部图像内重建由多个靶点组合联合而成的虚拟路径。其中,本实施例中所述的患处可以包括四肢、脊椎、腰部、胸部或者头部等位置,对此并不进行限制。该虚拟路径可以是直线型,在三维局部图像中可以针对该虚拟路径进行长度、宽度以及角度的调整。
在步骤102中当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时,获取所述虚拟路径在所述仿真二维图像上的图像位置信息。
在本实施例中,可以通过C臂机或者其他X射线设备透视患处,从而得到二维投影图像。举例而言,可以基于三维局部图像通过DRR算法得到仿真二维图像以及虚拟路径在仿真二维图像中的位置信息。或者,在其他实施例中,也可以是通过Siddon算法、Shear-Warp算法等方式得到仿真二维图像,本申请并不对此进行限制。
进一步地,获取所述仿真二维图像和所述二维投影图像的重合度,在所述重合度不小于预设阈值时,确定为所述仿真二维图像与所述二维投影图像匹配。当二维投影图像与仿真二维图像匹配时,该三维局部图像的姿态参数即可作为患处基于拍摄装置的物理姿态参数。
进一步地,当二维投影图像与仿真二维图像之间的重合度小于预设阈值时,可以认为此时二维投影图像与仿真二维图像之间的差异较大,可以通过调节三维局部图像的空间姿态或者针对三维局部图像的投影参数,得到调整后的仿真二维图像,并将调整后的仿真二维图像与二维投影图像进行匹配。当然,在其他一些实施例中,也可以是同时调节三维局部图像的空间姿态以及针对三维局部图像的投影参数,本申请并不对此进行限制。
具体而言,在一实施例中,可以根据仿真二维图像与二维投影图像之间的重合度,反馈仿真二维图像与二维投影图像之间的差异,从而根据该重合度再调整三维局部图像的空间姿态或者调整针对三维局部图像的投影参数。当然,在其他实施例中,也可以时按照一定规律间隔依次调整三维局部图像的空间姿态或者投影参数,本申请并不进行限制。
调整三维局部图像的空间姿态可以是调整三维局部图像针对至少一个坐标轴的旋转角度,或者,可以是调整三维局部图像针对至少一个坐标轴的位移。当然,在其他实施例中,也可以是对任一坐标轴的旋转角度和位移均进行调节。调整针对三维局部图像的投影参数可以是调整虚拟光源的位置,虚拟光源的焦距和成像分辨率中的一个参数或者多个参数。其中,成像分辨率用于表征像素与几何尺寸之间的关系,其与三维局部图像的投影成像平面的尺寸以及二维投影图像的图像尺寸相关。
在上述各个实施例中,对于仿真二维图像与二维投影图像之间的重合度可以通过下述方式实施:
在一实施例中,可以是通过用户个人针对二维投影图像和仿真二维图像进行匹配,得到重合度。
在另一实施例中,可以提取仿真二维图像中的第一投影区域和二维投影图像中的第二投影区域,根据第一投影区域和第二投影区域之间的边缘轮廓匹配程度,得到重合度。
在又一实施例中,可以将仿真二维图像和二维投影图像均按照预设比例沿预设方向进行分割,将仿真二维图像的每一分割区域和二维投影图像对应的分割区域进行匹配,从而得到重合度。
在步骤103中,根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的多个靶点。
在本实施例中,当二维投影图像与仿真二维投影图匹配时,该三维局部图像的姿态参数即可作为患处基于拍摄装置的物理姿态参数。从而虚拟路径的姿态参数即可作为实际手术路径基于拍摄装置的物理姿态参数。所以当根据虚拟路径上多个位置点在仿真二维图像上的图像位置信息,可以调节指引结构,并使得该指引结构的指引方向依次指向患处内对应的靶点。
在一实施例中,该靶点路径辅助方法可以应用于确定靶点路径的辅助***,所述确定***包括定位装置,所述定位装置包括多个位移第一平面上的第一预设标记点、和多个位于第二平面上的第二预设标记点,在投影方向上,所述第一平面和所述第二平面之间具有间隔;获取第一平面上每一第一预设标记点和第二平面上所述第二预设标记点在图像坐标系中的图像位置信息,所述图像坐标系基于所述定位装置的投影图像形成;根据所述多个第一预设标记点在图像坐标系下的图像位置信息、所述多个第一预设标记点在定位坐标系下的定位坐标信息,每一位置点在图像坐标系下的图像位置信息,确定第一平面上的第一定位点基于定位坐标系的定位坐标信息,所述第一定位点与对应位置点在图像坐标系中重合;根据所述多个第二预设标记点在图像坐标系下的图像位置信息、所述多个第二预设标记点在定位坐标系下的定位坐标信息,每一位置点在图像坐标系下的图像位置信息,确定第一平面上的第二定位点基于定位坐标系的定位坐标信息,所述第二定位点与对应位置点在图像坐标系中重合;根据所述第一定位点的定位位置信息、所述第二定位点的定位位置信息和所述指引结构的定位位置信息,调整所述指引结构。
在另一实施例中,可以通过虚拟路径在二维仿真图像上的图像位置信息,获取二维投影图像与虚拟路径匹配的投影路径的图像位置信息,进一步可以根据投影路径上多个位置点的图像位置信息调整指引结构。该投影路径上多个位置点在二维仿真图像的虚拟路径上存在对应的位置点。具体可以参考根据虚拟路径上位置点进行调整时的调整方法,在此不再一一赘述。
在上述各个实施例中,还可以包括对二维投影图像进行校准。例如,可以根据多个第三预设标记点在定位坐标系中的定位位置信息和在图像坐标系中的图像坐标信息,确定所述定位坐标系和所述图像坐标系之间的第一转换关系,根据该第一转换关系得到校准后的二维投影图像,以减少图像畸变和失真,提高指向结构指向靶点的精准度。
在本实施例中,所述指引结构包括光束发射部件,所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括:所述光束部件发射的光束指向靶点。从而后续可用过该指向靶点的光束定位出导向通道的位置,以用于进针。
或者,所述指引结构包括器械导向通道,所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括:所述器械导向通道的中轴线指向所述靶点。从而后续手术器械可以直接通过该器械导向通道进行进针,简化手术步骤。
由上述实施例可知,本申请通过匹配仿真二维图像与二维投影图像得到患处内的手术路径基于拍摄装置的物理姿态参数,从而根据该物理姿态参数可以调整指向结构使之依次指向构成手术路径的多个靶点。基于此,可以得到体表上与手术路径对应的规划路线,该规划路线可以辅助医护人员植入手术器械,辅助术中路径规划,有利于提高手术的精准性,降低病患痛苦。例如,医护人员可以将规划路径描绘于体表,从而可以根据位于体表的规划路径的指向和起点位置,调整入针角度,达到辅助手术规划的目的,提高入针的准确性。
针对上述技术方案,下述将基于一具体实施例进行详细说明。如图2所示,该确定靶点路径的辅助方法流程可以包括下述步骤:
在步骤201中,获取第三预设标记点O在校准坐标系XOY中的校准位置信息O1_2d。
在本实施例中,可以通过预设校准装置对C臂机的拍摄图像进行校准。且该预设校准装置上可以设置多个第三预设标记点,校准坐标系位于该预设校准装置上的任一位置,且每一第三预设标记点位于该校准装置上,从而每一第三预设标记点的校准位置信息均已知。在此,可以将该多个第三预设标记点O的定位位置信息表示为O1_2d。其中,由于该第三预设标记点的数量为多个,所以该定位位置信息O1_2d可以包括O1(X1,Y1)、O2(X2,Y2)……(Xn,Yn),具体数量本申请并不限制。
在步骤202中,获取第三预设标记点O在图像坐标系MON中的发生畸变时的图像位置信息O2_2d。
在本实施例中,图像坐标系是基于C臂机投影得到的二维图像形成。当C臂机拍摄校准装置得到二维图像时,该二维图像上会包括多个与第三预设标记点对应的投影点,该多个投影点在图像坐标系MON的发生畸变时图像位置信息O2_2d。相类似的,由于第三预设标记点的数量为多个,所以该发生畸变时图像位置信息O2_2d可以包括O1(M1,N1)、O2(M2,N2)......(Mn,Nn),具体数量本申请并不限制。
在步骤203中,根据第三预设标记点的校准位置信息O1_2d和发生畸变时畸变图像位置信息O2_2d,计算校准坐标系XOY和图像坐标系MON之间的第一转换关系T1。
在步骤204中,对所述患处进行投影,并根据第一转换关系T1得到校准后的所述二维投影图像。
在本实施例中,可以通过数学方法建立校准位置信息和畸变图像位置信息之间的函数关系,根据函数关系求解该第一转换关系T1。
例如,可以建立下述函数关系:
M=a0+a1X+a2Y+a3X2+a4XY+a5Y2+a6X3+a7X2Y+a8XY2+a9Y3+…
N=b0+b1X+b2Y+b3X2+b4XY+b5Y2+b6X3+b7X2Y+b8XY2+b9Y3+…
其中,(M,N)为发生畸变时的图像位置信息、(X,Y)为校准位置信息,a0…a9,b0…b9用于表示第一转换关系T1。换言之,该第一转换关系T1表征了畸变图像与未畸变图像之间的换算关系。所以,当通过C臂机拍摄获得针对患处的处于畸变状态的二维投影图像后,可以通过第一转换关系进行校准,从而得到校准后的二维投影图像。
在步骤205中,获取三维局部图像和位于三维局部图像内的虚拟路径。
在本实施例中,可以基于C臂机扫描信息或者其他设备仪器的扫描信息进行三维重建,从而得到基于患处的三维局部图像。进一步地,可以根据三维局部图像所示出的当前患处的状态,针对患处加建立虚拟路径。
在步骤206中,对所述三维局部图像进行投影得到所述仿真二维图像。
在本实施例中,例而言,可以基于三维局部图像通过DRR算法得到仿真二维图像并规划虚拟路径。或者,在其他实施例中,也可以是通过Siddon算法、Shear-Warp算法等方式重建三维图像,本申请并不对此进行限制。
在步骤207中,获取所述仿真二维图像和所述二维投影图像的重合度,在所述重合度不小于预设阈值时,确定为所述仿真二维图像与所述二维投影图像匹配。
在本实施例中,步骤205-步骤207的具体实施方式可见图4-图7所示实施例。
在步骤208中,获取虚拟路径在图像坐标系中多个位置点B的图像位置信息B1_2d。
在本实施例中,由于此时仿真二维图像与校准后的二维投影图像匹配,所以此时虚拟路径中每一位置点在图像坐标系中的图像位置信息、可以作为患处内手术路径上对应点在校准后二维投影图像中的图像位置信息。
在步骤209中,获取多个第一预设标记点P、多个第二预设标记点Q在图像坐标系MON中校准后的图像位置信息P1_2d、Q1_2d、在定位坐标系中的定位位置信息P2_2d、Q2_2d。
在本实施例中,该靶点路径辅助方法可以被应用于确定靶点路径的辅助***,该确定靶点路径的辅助***可以包括定位装置,该定位装置上可以包括多个位于第一平面上的第一预设标记点P和多个位于第一平面上的第二预设标记点Q以及指向结构,在投影方向上,所述第一平面和所述第二平面之间具有间隔。
基于此,可以得到每一定位标记点在基于定位装置所形成的定位坐标系中的定位位置信息,在此可以将多个第一预设标记点P的定位位置信息表示为P2_2d、多个第二预设标记点Q的定位位置信息表示为Q2_2d。
进一步地,可以通过C臂机拍摄定位装置时,并基于第一转换关系T1得到第一预设标记点P的校准后的图像位置信息P1_2d、第二预设标记点Q的校准后的图像位置信息Q1_2d。其中,该第一预设标记点P和第二预设标记点Q处于不同平面,以便于后续通过第一预设标记点P和第二预设标记点Q在不同平面上的位置信息构建从拍摄装置上光源出发并指向靶点的直线。
在步骤210中,根据P1_2d、P2_2d、B1_2d、Q1_2d、Q2_2d调整光束发射装置,使得光束发射装置的发射的光线指向靶点。
在本实施例中,可以首先根据拍摄装置的投影成像平面尺寸和像素尺寸,确定拍摄装置的成像分辨率。例如,若投影成像平面尺寸为100mm×100mm,像素尺寸为1000像素×1000像素,那么在X片的长度方向和宽度方向上成像分辨率均为0.1mm/像素;再例如若投影成像平面尺寸为200mm×200mm,像素尺寸为1000像素×2000像素,那么在X片的长度方向上成像分辨率均为0.2mm/像素、X片的宽度方向上成像分辨率均为0.1mm/像素。
进一步地,如图3所示,假定第一预设标记点P包括标记点P1和P2,第二预设标记点Q包括标记点Q1、Q2,点B为靶点,假定在与拍摄装置的中心射线T相垂直的平面上建立坐标系MON;那么,在MOT平面内的M轴方向上,可以得到P1、P2的校准后的图像位置信息T1、T2,此时可以根据定位坐标系中标记点P1和P2之间的物理间距|P1P2|与图像坐标系中标记点P1和P2之间像素点的数量,确定出在投影图像的分辨率,进一步根据投影图像的分辨率,标记点P1的投影点T1与靶点的投影点T3之间的像素点数量,可知定位坐标系中标记点P1与靶点B之间的间距|P1B|M,;相类似的,可以得到|P1B|N、|Q1B|M、|Q1B|N。
所以,当标记点P1沿M轴运动|P1B|M、沿N轴运动的|P1B|N距离后,该P1点与靶点在图像坐标系中的位置重合;当标记点Q1沿M轴运动|Q1B|M、沿N轴运动的|Q1B|N距离后,该Q1点与靶点在图像坐标系中的位置重合。换言之,此时P1、Q1和B位于同一条投影光束上。所以,可以根据光束发射装置在定位坐标系中的定位位置信息,以及该光束发射装置与P1、Q1点之间的位置关系,调整光束发射装置,是的光束发射装置发射的光线经过P1、Q1点,从而该光束固然会指向靶点B。
当针对虚拟路径上的多个位置点分别执行步骤209、和步骤210时,可以得到该光束经过体表是的点所构成的规划路径,从而通过该规划路径可以辅助医护人员执行手术,提高精准度。
图4是一种靶点路径辅助方法的部分流程图。如图4所示,可以包括以下步骤:
在步骤401中,根据扫描信息重建三维局部图像。
在步骤402中,获取位于三维局部图像内的虚拟路径。
在本实施例中,可以通过CT扫描或者MR影像得到扫描信息,该扫描信息可以被输入到计算机使之进行重建,得到三维局部图像。进一步地,可以根据三维局部图像所示出的当前患处的状态,针对患处加建立虚拟路径。
在步骤403中,调整该三维局部图像的空间姿态和投影参数。
在本实施例中,可以基于示出的三维局部图像进行旋转或者平移,以调节三维局部图像的空间姿态。该空间姿态可以包括三维局部图像与每一坐标轴之间所成的角度信息、在每一坐标轴上的位置信息等。投影参数可以包括调整虚拟光源的焦距,即虚拟光源与虚拟投影成像平面之间的间隔距离,该投影参数还可以包括虚拟光源相对于每一坐标轴的位置信息和成像分辨率,该成像分辨率与三维局部图像的投影成像平面的尺寸以及二维投影图像的图像尺寸相关。比如,假定投影成像平面的尺寸为200mm×200mm,二维投影图像的突图像尺寸为1000像素×1000像素,那么该成像分辨率为0.2mm/像素。再比如,当投影成像平面的尺寸为200mm×300mm、二维投影图像的突图像尺寸为1000像素×1000像素,那么在一个方向上成像分辨率为0.2mm/像素、在另一方向上成像分辨率为0.3mm/像素。
在步骤404中,针对三维局部图像进行投影,得到仿真二维图像。
在本实施例中,可以基于三维局部图像通过DRR算法得到仿真二维图像并规划虚拟路径。或者,在其他实施例中,也可以是通过Siddon算法、Shear-Warp算法等方式重建三维图像,本申请并不对此进行限制。
在步骤405中,基于该仿真二维图像提取第一投影区域。
在步骤406中,拍摄患处得到二维投影图像。
在步骤407中,基于二维投影图像提取第二投影区域。
在本实施例中,基于投影平面尺寸以及虚拟光源所覆盖的区域,该仿真二维图像中除了存在三维局部图像所对应的区域外,固然还会存在其他区域。相类似的,在二维投影图像中除了病灶所对应的区域外,固然还可以存在其他区域。所以,本申请通过图像处理,提取仿真二维图像中的第一投影区域、和二维投影图像中的第二投影区域。其中,该图像处理可以是基于灰度值提取仿真二维图像中病患区域、和二维投影图像中的病患区域。
在步骤408中,将第一投影区域和第二投影区域的边缘轮廓进行匹配得到重合度。
在本实施例中,可以将第一投影区域和第二投影区域的边缘轮廓进行匹配,以得到二维投影图像与仿真二维图像之间的重合度。举例而言,可以基于第一投影区域上的标记点,以及该标记点在第二投影区域上的对应位置,调整第一投影区域和第二投影区域的相对位置,使得该标记点与该标记点在第二投影区域上的对应位置基本重合,然后进行边缘轮廓匹配。其中,该标记点可以是患处上特殊区域,例如神经标识点、骨骼标识点等,本申请并不对此进行限制。
在步骤409中,判断重合度是否大于预设阈值。
在本实施例中,当二维投影图像与仿真二维图像之间大于等于预设阈值时,执行步骤410,当二维投影图像与仿真二维图像之间小于预设阈值时,执行步骤403。其中,可以根据重合度确定针对三维局部图像空间姿态和针对投影参数的调整量以及调整方向,以提升匹配效率。
在步骤410中,确定为仿真二维图像与二维投影图像匹配。
图5为基于本申请技术方案的另一具体实施例。如图5所示,投影路径辅助方法可以包括以下步骤:
在步骤501中,根据扫描信息重建三维局部图像。
在步骤502中,获取位于三维局部图像内的虚拟路径。
在步骤503中,调整该三维局部图像的空间姿态和投影参数。
在步骤504中,基于投影参数针对三维局部图像进行投影,得到仿真二维图像。
在本实施例中,步骤501-504可以参考图4所示实施例中的步骤401-404,在此不再一一赘述。
在步骤505中,按照预设比例沿预设方向分割仿真二维图像。
在步骤506中,拍摄患处得到二维投影图像。
在步骤507中,按照预设比例沿预设方向分割二维投影图像。
在本实施例中,如图6、图7所示,可以沿箭头A所示方向和箭头B所示方向成行成列的、对图6的仿真二维图像和图7的二维投影图像进行分割,分别得到N个尺寸为D×D的分割区域。
在步骤508中,将仿真二维图像的每一分割图像与二维投影图像上对应区域的分割图像进行匹配。
在步骤509中,根据匹配结果,计算仿真二维图像和二维投影图像之间的重合度。
在本实施例中,仍以图6、图7所示,图6中每一分割区域在图7中均存在对应的区域,例如,图6中的位于第二行第三列的分割区域D1、与图7中位于第二行第三列的分割区域d1对应,进一步可以将该分割区域D1与d1进行匹配得到匹配值。相类似的,可以将图6中的其他分割区域与图7中的对应分割区域进行匹配,最后得到重合度。例如,每一分割区域可以对应一个权重系数,每一分割区域的匹配度与权重系数之积与其他分割区域的匹配度与权重系数之积的和为重合度。
在步骤510中,判断重合度是否大于预设阈值。
在本实施例中,当二维投影图像与仿真二维图像之间大于等于预设阈值时,执行步骤511,当二维投影图像与仿真二维图像之间小于预设阈值时,执行步骤503。
在步骤511中,确定仿真二维图像与二维投影图像之间匹配。
基于本申请的技术方案,还提供一种手术导航***,如图8所示,该导航***可以包括拍摄装置1001、指引结构1002和显示器1003,该拍摄装置1001可以用于拍摄患处以获取二维投影图像,例如该拍摄装置1001可以包括C臂机或者其他X摄像成像设备。该显示器1003可以用于示出三维局部图像、二维投影图像和仿真二维图像等相关图像。该计算机还可以包括处理器(图中未示出)和用于存储处理器可执行指令的存储器,处理器被配置为用于实现如上述任一项实施例所述方法的步骤。
与前述的靶点路径辅助方法的实施例相对应,本申请还提供了靶点路径辅助装置的实施例。
图9是一示例性实施例提供的一种设备的示意结构图。请参考图9,在硬件层面,该设备包括处理器1502、内部总线1504、网络接口1506、内存1508以及非易失性存储器1510,当然还可能包括其他业务所需要的硬件。处理器1502从非易失性存储器1510中读取对应的计算机程序到内存1508中然后运行,在逻辑层面上形成确定靶点路径的辅助装置1500。当然,除了软件实现方式之外,本说明书一个或多个实施例并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
请参考图10,在软件实施方式中,该确定靶点路径的辅助装置1500可以包括第一获取模块1601、第二获取模块1602和调整模块1603;其中:
第一获取模块1601,获取针对患处的三维局部图像,所述三维局部图像包括虚拟路径。
第二获取模块1602,当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时,获取所述虚拟路径在所述仿真二维图像上的图像位置信息。
调整模块1603,根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的多个靶点。
可选的,第二获取模块1602包括第一投影单元、第二投影单元和第一获取单元,其中:
第一投影单元,对所述患处进行透视投影得到所述二维投影图像。
第二投影单元,对所述三维局部图像进行投影得到所述仿真二维图像。
第一获取单元,获取所述仿真二维图像和所述二维投影图像的重合度,在所述重合度不小于预设阈值时,确定为所述仿真二维图像与所述二维投影图像匹配。
可选的,第一获取单元包括提取子单元和匹配子单元,其中:
提取子单元,提取所述仿真二维图像中的第一投影区域和所述二维投影图像中的第二投影区域;
第一匹配子单元,根据所述第一投影区域和所述第二投影区域之间的边缘轮廓匹配程度计算所述重合度。
可选的,第一获取单元包括分割子单元和第二匹配子单元,其中:
分割子单元,将所述仿真二维图像和所述二维投影图像均按照预设比例沿预设方向进行分割;
第二匹配子单元,将所述仿真二维图像的每一分割区域与所述二维投影图像对应的分割区域进行匹配得到所述重合度。
可选的,调整模块1603包括第四获取单元和第二调整单元,其中:
第四获取单元,根据所述虚拟路径在所述二维仿真图像上的图像位置信息,获取所述二维投影图像上与所述虚拟路径匹配的投影路径的图像位置信息;
第二调整单元,根据所述投影路径上多个位置点的图像位置信息调整所述指引结构。
可选的,应用于确定靶点路径的辅助***,所述确定***包括定位装置,所述定位装置包括多个位于第一平面上的第一预设标记点、和多个位于第二平面上的第二预设标记点,在投影方向上,所述第一平面和所述第二平面之间具有间隔;
调整模块1603包括:
第二获取单元,获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在定位坐标系中的定位位置信息;
第三获取单元,获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在图像坐标系中的图像位置信息,所述图像坐标系基于所述定位装置的投影图像形成;
第一调整单元,根据所述第一预设标记点的定位位置信息和图像位置信息、所述第二预设标记点的定位位置信息和图像位置信息、虚拟路径上任一位置点的图像位置信息,调整所述指引结构。
可选的,还包括:校准模块,
校准模块,根据多个第三预设标记点在校准坐标系中的校准位置信息和在图像坐标系中的图像坐标信息,确定所述校准坐标系和所述图像坐标系之间的第一转换关系;
根据所述第一转换关系得到校准后的所述二维投影图像。
可选的,所述指引结构包括光束发射部件,所述调整模块包括:
第一指向单元,所述光束部件发射的光束指向靶点。
或者,所述指引结构包括器械导向通道,所述调整模块包括:
第二指向单元,所述器械导向通道的中轴线指向所述靶点。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1510,上述指令可由电子设备的处理器1502执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (9)
1.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,该指令被处理器执行时实现下述步骤:
获取针对患处的三维局部图像和位于所述三维局部图像内的虚拟路径;
当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时,获取所述虚拟路径在所述仿真二维图像上的图像位置信息;
根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的多个靶点;
应用于靶点路径确定***,所述确定***包括定位装置,所述定位装置包括多个位于第一平面上的第一预设标记点、和多个位于第二平面上的第二预设标记点,在投影方向上,所述第一平面和所述第二平面之间具有间隔;
所述根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,包括:
获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在定位坐标系中的定位位置信息;
获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在图像坐标系中的图像位置信息,所述图像坐标系基于所述定位装置的投影图像形成;
根据所述第一预设标记点的定位位置信息和图像位置信息、所述第二预设标记点的定位位置信息和图像位置信息、虚拟路径上任一位置点的图像位置信息,调整所述指引结构。
2.根据权利要求1所述的计算机可读存储介质,其特征在于,所述基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配,包括:
对所述患处进行透视投影得到所述二维投影图像;
对所述三维局部图像进行投影得到所述仿真二维图像;
获取所述仿真二维图像和所述二维投影图像的重合度,在所述重合度不小于预设阈值时,确定为所述仿真二维图像与所述二维投影图像匹配。
3.根据权利要求2所述的计算机可读存储介质,其特征在于,所述获取所述仿真二维图像和所述二维投影图像的重合度,包括:
提取所述仿真二维图像中的第一投影区域和所述二维投影图像中的第二投影区域;
根据所述第一投影区域和所述第二投影区域之间的边缘轮廓匹配程度计算所述重合度。
4.根据权利要求2所述的计算机可读存储介质,其特征在于,所述获取所述仿真二维图像和所述二维投影图像的重合度,包括:
将所述仿真二维图像和所述二维投影图像均按照预设比例沿预设方向进行分割;
将所述仿真二维图像的每一分割区域与所述二维投影图像对应的分割区域进行匹配得到所述重合度。
5.根据权利要求1所述的计算机可读存储介质,其特征在于,所述根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,包括:
根据所述虚拟路径在所述仿真二维图像上的图像位置信息,获取所述二维投影图像上与所述虚拟路径匹配的投影路径的图像位置信息;
根据所述投影路径上多个位置点的图像位置信息调整所述指引结构。
6.根据权利要求1所述的计算机可读存储介质,其特征在于,还包括:
根据多个第三预设标记点在校准坐标系中的校准位置信息和在图像坐标系中的图像坐标信息,确定所述校准坐标系和所述图像坐标系之间的第一转换关系;
根据所述第一转换关系得到校准后的所述二维投影图像。
7.根据权利要求1所述的计算机可读存储介质,其特征在于,所述指引结构包括光束发射部件,所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括:
所述光束发射部件发射的光束指向靶点;
或者,所述指引结构包括器械导向通道,
所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括:
所述器械导向通道的中轴线指向所述靶点。
8.一种确定靶点路径的辅助装置,其特征在于,包括:
第一获取模块,获取针对患处的三维局部图像和位于所述三维局部图像内的虚拟路径;
第二获取模块,当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时,获取所述虚拟路径在所述仿真二维图像上的投影信息;
调整模块,根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点;
应用于靶点路径确定***,所述确定***包括定位装置,所述定位装置包括多个位于第一平面上的第一预设标记点、和多个位于第二平面上的第二预设标记点,在投影方向上,所述第一平面和所述第二平面之间具有间隔;
所述根据所述虚拟路径上多个位置点的图像位置信息调整指引结构,包括:
获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在定位坐标系中的定位位置信息;
获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在图像坐标系中的图像位置信息,所述图像坐标系基于所述定位装置的投影图像形成;
根据所述第一预设标记点的定位位置信息和图像位置信息、所述第二预设标记点的定位位置信息和图像位置信息、虚拟路径上任一位置点的图像位置信息,调整所述指引结构。
9.一种手术导航***,其特征在于,包括:
拍摄装置,所说拍摄装置用于获取投影图像;
指引结构;
显示器,所述显示器用于示出图像;
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为用于实现如权利要求1-7中任一项计算机可读存储介质中存储的指令。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910161268.6A CN109925054B (zh) | 2019-03-04 | 2019-03-04 | 确定靶点路径的辅助方法、装置和***、可读存储介质 |
US17/431,683 US12035974B2 (en) | 2019-03-04 | 2020-03-04 | Method for determining target spot path |
PCT/CN2020/077846 WO2020177725A1 (zh) | 2019-03-04 | 2020-03-04 | 一种靶点路径的确定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910161268.6A CN109925054B (zh) | 2019-03-04 | 2019-03-04 | 确定靶点路径的辅助方法、装置和***、可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109925054A CN109925054A (zh) | 2019-06-25 |
CN109925054B true CN109925054B (zh) | 2020-12-18 |
Family
ID=66986378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910161268.6A Active CN109925054B (zh) | 2019-03-04 | 2019-03-04 | 确定靶点路径的辅助方法、装置和***、可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109925054B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020177725A1 (zh) * | 2019-03-04 | 2020-09-10 | 杭州三坛医疗科技有限公司 | 一种靶点路径的确定方法 |
CN111494009B (zh) * | 2020-04-27 | 2021-09-14 | 上海霖晏医疗科技有限公司 | 用于手术导航的图像配准方法、装置和手术导航*** |
CN114073579B (zh) * | 2020-08-19 | 2022-10-14 | 杭州三坛医疗科技有限公司 | 手术导航方法、装置、电子设备及存储介质 |
CN114424978B (zh) * | 2021-11-22 | 2023-05-12 | 赛诺威盛科技(北京)股份有限公司 | 融合配准方法以及装置、电子设备、存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9947110B2 (en) * | 2014-02-13 | 2018-04-17 | Brainlab Ag | Method for assisting the positioning of a medical structure on the basis of two-dimensional image data |
US9827053B2 (en) * | 2015-06-05 | 2017-11-28 | Chieh-Hsiao Chen | Intraoperative tracking method |
CN109195527B (zh) * | 2016-03-13 | 2022-02-11 | 乌泽医疗有限公司 | 用于与骨骼手术一起使用的设备及方法 |
CN107157579A (zh) * | 2017-06-26 | 2017-09-15 | 苏州铸正机器人有限公司 | 一种脊柱椎弓根螺钉植入路径规划方法 |
CN107679574A (zh) * | 2017-09-29 | 2018-02-09 | 深圳开立生物医疗科技股份有限公司 | 超声图像处理方法及*** |
-
2019
- 2019-03-04 CN CN201910161268.6A patent/CN109925054B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109925054A (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109925054B (zh) | 确定靶点路径的辅助方法、装置和***、可读存储介质 | |
CN109993792B (zh) | 投影方法、装置及***和可读存储介质 | |
JP2022141792A5 (zh) | ||
CN109925052B (zh) | 靶点路径的确定方法、装置和***、可读存储介质 | |
US8597211B2 (en) | Determination of indicator body parts and pre-indicator trajectories | |
US6415171B1 (en) | System and method for fusing three-dimensional shape data on distorted images without correcting for distortion | |
EP2849630B1 (en) | Virtual fiducial markers | |
JP5837261B2 (ja) | マルチカメラ装置追跡 | |
CN109925053B (zh) | 手术路径的确定方法、装置和***、可读存储介质 | |
US9721379B2 (en) | Real-time simulation of fluoroscopic images | |
US11317879B2 (en) | Apparatus and method for tracking location of surgical tools in three dimension space based on two-dimensional image | |
JP6806655B2 (ja) | 放射線撮像装置、画像データ処理装置及び画像処理プログラム | |
CN112233155B (zh) | 一种2d-3d影像配准算法 | |
TWI836493B (zh) | 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統 | |
JP6960921B2 (ja) | 投影データセットの提供 | |
CN109155068B (zh) | 组合式x射线/相机介入中的运动补偿 | |
WO2020177725A1 (zh) | 一种靶点路径的确定方法 | |
JP7407831B2 (ja) | 介入装置追跡 | |
CN116959675A (zh) | 一种基于划线的外固定三维重建及电子处方生成方法 | |
EP4395652A1 (en) | Object visualisation in x-ray imaging | |
CN115661234A (zh) | 图像间规划点同步装置、电子设备、存储介质及相关方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |