CN116728420B - 一种脊柱外科手术用机械臂调控方法及*** - Google Patents

一种脊柱外科手术用机械臂调控方法及*** Download PDF

Info

Publication number
CN116728420B
CN116728420B CN202311006498.8A CN202311006498A CN116728420B CN 116728420 B CN116728420 B CN 116728420B CN 202311006498 A CN202311006498 A CN 202311006498A CN 116728420 B CN116728420 B CN 116728420B
Authority
CN
China
Prior art keywords
characteristic
points
spine
corner
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311006498.8A
Other languages
English (en)
Other versions
CN116728420A (zh
Inventor
曹东
范纯泉
徐晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Ambo Medical Technology Co ltd
Original Assignee
Suzhou Ambo Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Ambo Medical Technology Co ltd filed Critical Suzhou Ambo Medical Technology Co ltd
Priority to CN202311006498.8A priority Critical patent/CN116728420B/zh
Publication of CN116728420A publication Critical patent/CN116728420A/zh
Application granted granted Critical
Publication of CN116728420B publication Critical patent/CN116728420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/64Analysis of geometric attributes of convexity or concavity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域,具体涉及一种脊柱外科手术用机械臂调控方法及***,包括:获取脊柱影像中的特征点,并获得不同扫描角度下对应脊柱影像中特征点之间的相似程度,利用相似程度对损失函数进行调节优化,结合优化后损失函数对所有扫描角度下的脊柱影像进行配准,获得脊柱三维模型,以对机械臂进行调控。本发明通过考虑脊柱影像中特征点与其他特征点的信息变化,结合不同扫描角度下特征点之间的关系,获取特征点配准过程中损失函数的调节系数,保证了配准迭代过程中,重要且相似程度较大的特征点的匹配精度更准确,进而提高了脊柱三维模型的准确性和机械臂姿态调控的精准度。

Description

一种脊柱外科手术用机械臂调控方法及***
技术领域
本发明涉及图像数据处理技术领域,具体涉及一种脊柱外科手术用机械臂调控方法及***。
背景技术
脊柱外科手术是一种用于治疗脊柱相关疾病或损伤的重要手术方法,然而,传统的脊柱外科手术在利用相关的影像进行病情诊断时,由于高度精准性要求以及解剖结构复杂的问题,便需要根据脊柱影像来构建一个对应的三维模型,以便于医生对脊柱不同区域在不同视角下的形态进行观察,来提高手术的精准性以及效率;
现有方法中,利用常规的ICP配准算法,对机械臂所搭载的扫描仪器获得的不同扫描角度下的脊柱影像进行三维配准,其中ICP配准算法是常用的医学影像配准方法,但是由于脊柱位置结构的复杂性,以及不同患者的脊柱结构并不相同,会使得在配准过程中出现较大的误差,因此进而影响到三维配准的结果。
发明内容
本发明提供一种脊柱外科手术用机械臂调控方法及***,以解决现有的问题。
本发明的一种脊柱外科手术用机械臂调控方法及***采用如下技术方案:
本发明提供了一种脊柱外科手术用机械臂调控方法,该方法包括以下步骤:
获取脊柱影像以及机械臂所搭载扫描仪器的扫描角度;
获取脊柱影像中的角点,根据脊柱影像中像素点与角点的灰度值和数量,以及角点之间的距离,获得角点之间的关联性;根据角点之间关联性的大小,获得角点的关联点,根据角点和对应关联点所形成区域的面积,以及脊柱影像中像素点的灰度值,获得角点的特征参数,根据特征参数的大小获得特征点;根据特征点的位置关系获得第一特征曲线,根据去除第一特征曲线中任意特征点前后的差异,获得特征点的重要程度;
根据不同扫描角度下对应脊柱影像中,第一特征曲线的组合方式,获得任意组合方式下,两个特征曲线中所包含特征点之间的特征差异参数;根据最小特征差异参数以及两个特征点所在脊柱影像对应扫描角度之间的差异,获得特征点之间的相似程度;结合重要程度和相似程度对ICP配准算法的损失函数进行优化,获得优化后损失函数;
结合优化后损失函数对所有脊柱影像的特征点进行配准,获得脊柱三维模型,利用脊柱三维模型实现机械臂智能调控。
进一步的,所述关联性的获取方法为:
首先,利用SIFT角点检测算法获取脊柱影像中的若干个角点;
然后,将脊柱影像中任意两个灰度值的差值绝对值小于预设第一阈值的像素点,记为灰度相似像素点,则任意像素点对应若干个灰度相似像素点;任意扫描角度下对应脊柱影像中,角点之间的关联性的具体计算方法为:
其中,表示脊柱影像中第/>个角点和第/>个角点之间的关联性;/>表示脊柱影像中所有像素点的数量;/>表示脊柱影像中第/>个角点的灰度相似像素点的数量;/>表示第/>个角点的灰度值,/>表示第/>个角点的灰度值;/>表示第/>个角点和第/>个角点之间的欧式距离;/>表示脊柱影像中所有角点之间的最大欧式距离;/>表示以自然常数为底数的指数函数。
进一步的,所述根据特征参数的大小获得特征点,包括的具体步骤如下:
首先,将与任意角点的关联性大于第二阈值的所有角点,记为角点的关联点,获得任意角点的若干个关联点;
然后,获取由任意角点的所有关联点进行连线所形成最大区域的面积,记为第一区域面积,对应区域记为第一区域;利用Graham扫描算法获取由任意角点的所有关联点所形成凸包区域的面积,记为第二区域面积,对应区域记为第二区域;
最后,根据第一区域和第二区域的面积,以及脊柱影像中像素点的灰度值,获得角点的特征参数;将特征参数大于第三阈值的角点,记为特征点。
进一步的,所述特征参数的获取方法为:
将任意角点的灰度值与脊柱影像中所有像素点的最小灰度值之间的差值,记为A,将A与脊柱影像中所有像素点的灰度值的极差,记为B,将A与B的比值记为第一比值,将第一区域面积和第二区域面积的比值记为第二比值,将第一比值和第二比值的乘积结果,记为角点的特征参数。
进一步的,所述第一特征曲线的获取方法为:
首先,将脊柱影像中灰度值最大的预设数量个角点记为起始点,将垂直方向记为基础方向,以逆时针方向作为基础方向的旋转方向,预设旋转步长,将记为基础方向结合旋转步长在旋转过程中的旋转范围,记为角度区间,则获取与任意起始点在角度区间范围内,欧式距离最近的特征点,记为第一特征点,将起始点与第一特征点之间所形成的直线与垂直方向的角度,记为第一角度;
然后,获取与第一特征点在角度区间范围内,形成的第二角度时,与第一角度之间的差值绝对值小于第四阈值,且距离第一特征点欧氏距离最近的特征点,记为第二特征点,依次迭代,直至无法获取特征点,在获取过程中前后相连,获得连接后的曲线,记为第一特征曲线;则任意起始点对应若干个第一特征曲线。
进一步的,所述重要程度的获取方法为:
首先,利用链码编码获取任意第一特征曲线在脊柱影像中的像素点,以及对应的链码序列;
然后,将第一特征曲线对应链码序列的方差,记为第一参数;将第一特征曲线中任意特征点去除,重新进行连接,将连接后的曲线记为第二特征曲线;将第二特征曲线对应链码序列的方差,记为第二参数;
最后,将第一参数与第二参数的比值记为,将/>记为第一特征曲线中所去除特征点的重要程度。
进一步的,所述特征差异参数的获取方法为:
获取机械臂上的扫描仪器在不同扫描角度下,对应脊柱影像中的若干个第一特征曲线;
利用动态时间规整算法获取任意组合方式下两个第一特征曲线之间的DTW距离,以及动态时间规整算法在匹配两个特征曲线中所包含的像素点时,对应的匹配点对以及匹配点对的数量;
根据任意扫描角度下的脊柱影像中包含第个特征点的若干个第一特征曲线,与其他任意扫描角度下的脊柱影像中包含第/>个特征点的若干个第一特征曲线,组合后的任意两个第一特征曲线,获得特征点之间的特征差异参数,具体计算方法为:
其中,表示第/>个特征点与第/>个特征点之间的特征差异参数;/>表示包含第个特征点的若干个第一特征曲线,与包含第/>个特征点的若干个第一特征曲线,所对应组合方式的数量;/>表示第/>种组合方式下对应两个第一特征曲线之间的DTW距离;/>表示第/>种组合方式下对应两个第一特征曲线中匹配点对的数量;/>表示第/>个特征点的灰度值;/>表示第/>个特征点的灰度值;/>表示第/>种组合方式下,第/>个匹配点对中属于第个特征点所在第一特征曲线内对应像素点的灰度值;/>表示第/>种组合方式下,第/>个匹配点对中属于第/>个特征点所在第一特征曲线内对应像素点的灰度值;/>表示归一化指数函数;/>表示以自然常数为底数的指数函数;/>表示获取绝对值。
进一步的,所述结合重要程度和相似程度对ICP配准算法的损失函数进行优化,获得优化后损失函数,包括的具体步骤如下:
首先,获取任意两个扫描角度下对应两个脊柱影像中所有特征点之间的特征差异参数,将所有特征点之间的特征差异参数中的最小值,记为最小特征差异参数
特征点之间的相似程度的具体计算方法为:
其中,表示第/>个特征点与第/>个特征点之间的相似程度;/>表示最小特征差异参数;/>表示第/>个特征点与第/>个特征点分别所在脊柱影像所对应扫描角度的差值绝对值;/>表示超参数;
然后,将两个脊柱影像中任意两个特征点的重要程度平均值,记为Z,将乘以ICP配准算法的损失函数,获得ICP配准算法的优化后损失函数。
进一步的,所述结合优化后损失函数对所有脊柱影像的特征点进行配准,获得脊柱三维模型,利用脊柱三维模型实现机械臂智能调控,包括的具体步骤如下:
首先,将优化后损失函数作为ICP配准算法的损失函数,利用ICP配准算法对所有扫描角度下对应脊柱影像中的特征点进行迭代配准,将配准后的所有扫描角度下对应脊柱影像的特征点进行合并,获得患者的脊柱三维模型,并将脊柱三维模型进行可视化;
然后,建立机械臂上扫描仪器的坐标系和脊柱三维模型的坐标系,分别记为扫描坐标系和模型坐标系,利用SLAM算法获取扫描坐标系和模型坐标系之间的转换关系,由医生根据需要对脊柱三维模型进行视角切换,结合扫描坐标系和模型坐标系之间的转换关系对机械臂进行姿态调控,以在脊柱三维模型中获取不同扫描角度下的特征点。
进一步的,一种脊柱外科手术用机械臂调控***包括以下模块:
影像采集模块:获取脊柱影像以及机械臂所搭载扫描仪器的扫描角度;
角点特征模块:获取脊柱影像中的角点,根据脊柱影像中像素点与角点的灰度值和数量,以及角点之间的距离,获得角点之间的关联性;根据角点之间关联性的大小,获得焦点的关联点,根据角点和对应关联点所形成区域的面积,以及脊柱影像中像素点的灰度值,获得角点的特征参数,根据特征参数的大小获得特征点;根据特征点获得第一特征曲线,根据去除第一特征曲线中任意特征点前后的差异,获得特征点的重要程度;
算法优化模块:根据不同扫描角度下对应脊柱影像中,第一特征曲线的组合方式,获得任意组合方式下,两个特征曲线中所包含特征点之间的特征差异参数;根据最小特征差异参数以及两个特征点所在脊柱影像对应扫描角度之间的差异,获得特征点之间的相似程度;结合重要程度和相似程度对ICP配准算法的损失函数进行优化,获得优化后损失函数;
机械臂调控模块:结合优化后损失函数对所有脊柱影像的特征点进行配准,获得脊柱三维模型,利用脊柱三维模型实现机械臂智能调控。
本发明的技术方案的有益效果是:利用任意扫描角度下的脊柱影像,获取脊柱影像中的特征点,并结合特征点的分布变化来获取每个特征点的重要程度,并通过综合考虑特征点的变化以及其对应的局部范围内的其他特征点的信息变化,结合不同扫描角度下两个脊柱影像的特征点之间的关系,获取此两个点在进行ICP配准过程中的损失函数的调节系数,以保证在ICP配准迭代的过程中,对于重要的特征点以及相似程度较大的特征点的匹配精度更准确,进而保证了获取的患者的脊柱三维模型更加准确,提高了后续机械臂姿态调控的精准度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种脊柱外科手术用机械臂调控***的模块流程图;
图2为本发明一种脊柱外科手术用机械臂调控方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种脊柱外科手术用机械臂调控方法及***,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种脊柱外科手术用机械臂调控方法及***的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种脊柱外科手术用机械臂调控***的模块流程图,该***包括以下模块:
影像采集模块:获取脊柱影像以及机械臂所搭载扫描仪器的扫描角度;
角点特征模块:获取脊柱影像中的角点,根据脊柱影像中像素点与角点的灰度值和数量,以及角点之间的距离,获得角点之间的关联性;根据角点之间关联性的大小,获得焦点的关联点,根据角点和对应关联点所形成区域的面积,以及脊柱影像中像素点的灰度值,获得角点的特征参数,根据特征参数的大小获得特征点;根据特征点获得第一特征曲线,根据去除第一特征曲线中任意特征点前后的差异,获得特征点的重要程度;
算法优化模块:根据不同扫描角度下对应脊柱影像中,第一特征曲线的组合方式,获得任意组合方式下,两个特征曲线中所包含特征点之间的特征差异参数;根据最小特征差异参数以及两个特征点所在脊柱影像对应扫描角度之间的差异,获得特征点之间的相似程度;结合重要程度和相似程度对ICP配准算法的损失函数进行优化,获得优化后损失函数;
机械臂调控模块:结合优化后损失函数对所有脊柱影像的特征点进行配准,获得脊柱三维模型,利用脊柱三维模型实现机械臂智能调控。
请参阅图2,其示出了本发明一个实施例提供的一种脊柱外科手术用机械臂调控方法的步骤流程图,该方法包括以下步骤:
步骤S001,获取脊柱影像。
利用装设有扫描仪器的机械臂获取患者的脊柱影像,所述脊柱影像为CT影像或MRI影像。在术前对患者进行扫描,获取对应的医学影像数据时,同时获取机械臂所搭载扫描仪器的扫描角度。
所述CT即为计算机断层扫描,MRI为磁共振成像。
至此,获得脊柱影像。
步骤S002,获取脊柱影像中的角点,并根据角点之间的距离关系以及灰度差异获得角点的特征参数,根据特征参数大小获得特征点。
本实施例通过对采集到的影像数据进行处理、分析和重建以调控机械臂,通过对采集的影像进行自适应ICP配准生成对应的脊柱三维模型,根据脊柱三维模型进行后续的机械臂调控。
另外,在进行ICP配准过程中,通过寻找不同视角下的两个点集中最近的点对,并进行两组数据对齐,重复该过程,直到ICP配准过程中的损失函数收敛;但是通常情况下,损失函数为统一设置的损失函数,会使得对于脊柱三维模型中的重要的特征点和非重要的特征点作为同等地位,导致配准结果不够精准,因此本实施例需要对精准配准占有非常重要地位的重要的特征点进行更为精准的匹配,例如很多脊柱的重要结构信息,例如椎间盘、椎体、椎弓根等对于构建脊柱的三维结构非常关键的特征点,则对应到ICP配准过程中的损失函数需要进行自适应调整,使得对于不同的特征点的损失要求不同。
对于单个视角下的图像信息,首先需要获取特征点信息,并结合特征点的分布变化来获取每个特征点的特征参数,其中在获取特征参数时,对于所有特征点的分布需要考虑脊柱结构的特性,通过判断结构的变化来获取特征点特征参数;
步骤(1),利用SIFT角点检测算法获取脊柱影像中的若干个角点;
脊柱影像中的角点包含着重要的脊柱结构信息,但是同时还存在其他的非结构信息,因此需要对角点进行筛选,对于一些表征为脊柱结构的角点,与周围的一些其他角点具有一定的联系,因此本实施例根据角点之间的联系来获取角点的特征参数。
步骤(2),首先,将脊柱影像中任意两个灰度值的差值绝对值小于预设第一阈值的像素点,记为灰度相似像素点,则任意像素点对应若干个灰度相似像素点;根据像素点的灰度以及像素点之间的距离,获得角点之间的关联性,具体获取方法为:
其中,表示脊柱影像中第/>个角点和第/>个角点之间的关联性;/>表示脊柱影像中所有像素点的数量;/>表示脊柱影像中第/>个角点的灰度相似像素点的数量;/>表示第/>个角点的灰度值,/>表示第/>个角点的灰度值;/>表示第/>个角点和第/>个角点之间的欧式距离;/>表示脊柱影像中所有角点之间的最大欧式距离;/>表示以自然常数为底数的指数函数。
若脊柱影像中角点的灰度相似像素点较多,则在分析角点之间的关联性时,越需要考虑灰度值差异的关系,即角点之间的灰度值越接近,关联性越强,反之越需要考虑距离之间的关系,即角点之间的距离越接近,关联性越强。
然后,若角点之间的关联性大于预设第二阈值,则表明两个角点之间的越存在关联,将与任意角点的关联性大于第二阈值的所有角点,记为角点的关联点,获得任意角点的若干个关联点;获取由任意角点的所有关联点进行连线所形成最大区域的面积,记为第一区域面积,对应区域记为第一区域;同时利用Graham扫描算法获取由任意角点的所有关联点所形成凸包区域的面积,记为第二区域面积,对应区域记为第二区域。
需要说明的是,Graham扫描算法为现有算法,因此本实施例不过多赘述。
需要说明的是,所述第一阈值和第二阈值的经验值分别为15和0.65,可根据实际情况进行调整,本实施例不作具体限定。
最后,若角点的灰度值越大,且第一区域面积与第二区域面积之间的比值越大,则对应的第一区域所表征的为脊椎结构的特征,则角点所能反映脊柱特征的程度越大,则根据角点的灰度值以及脊柱影像中像素点的灰度值,获取角点的特征参数;
所述角点的特征参数,具体计算方法为:
式中,表示第/>个角点的特征参数;/>表示第/>个角点的灰度值;/>表示脊柱影像中所有像素点的最大灰度值;/>表示脊柱影像中所有像素点的最小灰度值;/>表示第/>个角点第一区域面积;/>表示第/>个角点的第二区域面积;
预设第三阈值,将特征参数大于第三阈值的角点,记为特征点。
需要说明的是,第三阈值的经验值为0.58,可根据实际情况进行调整,本实施例不作具体限定。
步骤(3),首先,将脊柱影像中灰度值最大的10个角点记为起始点,将垂直方向记为基础方向,以逆时针方向作为基础方向的旋转方向,预设旋转步长为15°,将记为基础方向结合旋转步长在旋转过程中的旋转范围,记为角度区间,则获取与任意起始点在角度区间范围内,欧式距离最近的特征点,记为第一特征点,将起始点与第一特征点之间所形成的直线与垂直方向的角度,记为第一角度;
然后,获取与第一特征点在角度区间范围内,形成的第二角度时,与第一角度之间的差值绝对值小于第四阈值,且距离第一特征点欧氏距离最近的特征点,记为第二特征点,依次迭代,直至无法获取特征点,在获取过程中前后相连,获得连接后的曲线,记为第一特征曲线;则任意起始点对应若干个第一特征曲线。
最后,利用链码编码获取任意第一特征曲线上的像素点,以及对应的链码序列,链码序列的方差值反映了曲线方向的变化,而结合链码序列的方差值获取第一特征曲线中特征点的重要程度,以反映特征点对第一特征曲线的方向变化的影响,则特征点的重要程度获取方法为:将第一特征曲线对应链码序列的方差,记为第一参数;将第一特征曲线中任意特征点去除,重新进行连接,将连接后的曲线记为第二特征曲线,将第二特征曲线对应链码序列的方差,记为第二参数;将第一参数与第二参数的比值记为,将/>记为第一特征曲线中所去除特征点的重要程度。
步骤S003,根据特征点所在第一特征曲线获得不同扫描角度下对应脊柱影像中特征点之间的相似程度,利用相似程度对损失函数进行调节优化,获得优化后损失函数。
由于在配准过程中是多个视角下的图像,并且由于医学影像的影响,会使得不同视角下的灰度存在差异,以及对应的患者的脊柱区域形态结构均不同,因此对应的在分析不同视角下的特征点之间进行匹配的过程中,需要考虑的不仅仅是特征点的变化(因为不同视角下的同一个特征点的灰度值等表征能力基本不同,因此若仅计算不同视角下的两个特征点的灰度值相似性会出现较大的误差),因此本案根据不同视角下的两个图像的特征点之间的关系来获取此两个点在进行ICP配准过程中的损失函数的校正系数;
步骤(1),利用第一特征曲线的获取方法,获取机械臂上的扫描仪器在不同扫描角度下,对应脊柱影像中的若干个第一特征曲线;
将任意扫描角度下的脊柱影像中包含第个特征点的若干个第一特征曲线,与其他任意扫描角度下的脊柱影像中包含第/>个特征点的若干个第一特征曲线,进行两两组合,共有U种组合方式;
利用动态时间规整算法获取任意组合方式下两个第一特征曲线之间的DTW距离,以及动态时间规整算法在匹配两个特征曲线中所包含的像素点时,对应的匹配点对以及匹配点对的数量;
需要说明的是,动态时间规整算法为现有算法,因此本实施例不过多赘述。
根据任意扫描角度下的脊柱影像中包含第个特征点的若干个第一特征曲线,与其他任意扫描角度下的脊柱影像中包含第/>个特征点的若干个第一特征曲线,组合后的任意两个第一特征曲线,获得特征点之间的特征差异参数,具体计算方法为:
其中,表示第/>个特征点,与第/>个特征点之间的特征差异参数;/>表示包含第/>个特征点的若干个第一特征曲线,与包含第/>个特征点的若干个第一特征曲线,所对应组合方式的数量;/>表示第/>种组合方式下对应两个第一特征曲线之间的DTW距离;/>表示第/>种组合方式下对应两个第一特征曲线中匹配点对的数量;/>表示第/>个特征点的灰度值;/>表示第/>个特征点的灰度值;/>表示第/>种组合方式下,第/>个匹配点对中属于第/>个特征点所在第一特征曲线内对应像素点的灰度值;/>表示第/>种组合方式下,第个匹配点对中属于第/>个特征点所在第一特征曲线内对应像素点的灰度值;表示归一化指数函数;/>表示以自然常数为底数的指数函数;/>表示获取绝对值。
步骤(2),本实施例在后续进行ICP配准过程中,需要对所有的特征点进行匹配,因此需要获取机械臂上的扫描仪器在不同扫描角度下,所对应两个脊柱影像中特征点之间的相似程度。
获取任意两个扫描角度下对应两个脊柱影像中所有特征点之间的特征差异参数,将所有特征点之间的特征差异参数中的最小值,记为最小特征差异参数;所述特征点之间的相似程度,具体计算方法为:
其中,表示第/>个特征点,与第/>个特征点之间的相似程度;/>表示最小特征差异参数;/>表示第/>个特征点,与第/>个特征点分别所在脊柱影像所对应扫描角度的差值绝对值;/>表示超参数;
需要说明的是,超参数表征特征点之间特征差异参数的阈值,本实施例根据经验将超参数/>预设为0.6,以作为获取相似程度的阈值,可根据实际情况进行调整,本实施例不作具体限定。
其中通过计算此匹配组合下两两曲线之间的灰度值变化的相似性,通过以两两曲线之间的距离为权重值,来获取匹配之后的曲线变化上的灰度值变化的比例关系,若两两曲线之间的灰度值变化比例越小,则对应的变化规律程度越大。因此本案获取所有匹配组合的变化规律差异程度的最小值,来表示第/>个视角下的第/>个特征点与第/>个视角下的第/>个特征点的相似程度。
步骤(3),在利用ICP配准算法对任意两个脊柱影像进行配准的过程中,将两个脊柱影像中任意两个特征点的重要程度平均值,记为Z,将乘以ICP配准算法的损失函数,作为ICP配准算法的损失函数的调节系数,用于ICP配准算法在每次迭代过程中,进行调节校准,获得优化后损失函数,将脊柱影像中重要的且相似程度较大的特征点在迭代过程中,对ICP配准算法的损失函数影像程度更大,使得脊柱影像之间的匹配精度更准确。
步骤S004,结合优化后损失函数对所有扫描角度下的脊柱影像进行配准,获得脊柱三维模型,并利用脊柱三维模型对机械臂进行调控。
结合ICP配准算法的优化后损失函数,利用ICP配准算法对所有扫描角度下对应脊柱影像中的特征点进行迭代配准,将配准后的所有扫描角度下对应脊柱影像的特征点进行合并,获得患者的脊柱三维模型,并将脊柱三维模型进行可视化,并建立机械臂上扫描仪器的坐标系和脊柱三维模型的坐标系,分别记为扫描坐标系和模型坐标系,利用SLAM算法获取扫描坐标系和模型坐标系之间的转换关系,由医生根据需要对脊柱三维模型进行视角切换,结合扫描坐标系和模型坐标系之间的转换关系对机械臂进行姿态调控,以在脊柱三维模型中获取不同扫描角度下的特征点。
需要说明的是,ICP配准算法和SLAM算法为现有算法,在本实施例中不过多赘述,其中SLAM算法的中文名称为同步定位与地图构建算法。
需要说明的是,本实施例中所用的模型仅用于表示负相关关系和约束模型输出的结果处于/>区间内,具体实施时,可替换成具有同样目的其他模型,本实施例只是以/>模型为例进行叙述,不对其做具体限定,其中/>是指该模型的输入。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (3)

1.一种脊柱外科手术用机械臂调控方法,其特征在于,该方法包括以下步骤:
获取脊柱影像以及机械臂所搭载扫描仪器的扫描角度;
获取脊柱影像中的角点,根据脊柱影像中像素点与角点的灰度值和数量,以及角点之间的距离,获得角点之间的关联性;根据角点之间关联性的大小,获得角点的关联点,根据角点和对应关联点所形成区域的面积,以及脊柱影像中像素点的灰度值,获得角点的特征参数,根据特征参数的大小获得特征点;根据特征点的位置关系获得第一特征曲线,根据去除第一特征曲线中任意特征点前后的差异,获得特征点的重要程度;
根据不同扫描角度下对应脊柱影像中,第一特征曲线的组合方式,获得任意组合方式下,两个特征曲线中所包含特征点之间的特征差异参数;根据最小特征差异参数以及两个特征点所在脊柱影像对应扫描角度之间的差异,获得特征点之间的相似程度;结合重要程度和相似程度对ICP配准算法的损失函数进行优化,获得优化后损失函数;
结合优化后损失函数对所有脊柱影像的特征点进行配准,获得脊柱三维模型,利用脊柱三维模型实现机械臂智能调控;
所述关联性的获取方法为:
首先,利用SIFT角点检测算法获取脊柱影像中的若干个角点;
然后,将脊柱影像中任意两个灰度值的差值绝对值小于预设第一阈值的像素点,记为灰度相似像素点,则任意像素点对应若干个灰度相似像素点;任意扫描角度下对应脊柱影像中,角点之间的关联性的具体计算方法为:
其中,表示脊柱影像中第/>个角点和第/>个角点之间的关联性;/>表示脊柱影像中所有像素点的数量;/>表示脊柱影像中第/>个角点的灰度相似像素点的数量;/>表示第个角点的灰度值,/>表示第/>个角点的灰度值;/>表示第/>个角点和第/>个角点之间的欧式距离;/>表示脊柱影像中所有角点之间的最大欧式距离;/>表示以自然常数为底数的指数函数;
所述根据特征参数的大小获得特征点,包括的具体步骤如下:
首先,将与任意角点的关联性大于第二阈值的所有角点,记为角点的关联点,获得任意角点的若干个关联点;
然后,获取由任意角点的所有关联点进行连线所形成最大区域的面积,记为第一区域面积,对应区域记为第一区域;利用Graham扫描算法获取由任意角点的所有关联点所形成凸包区域的面积,记为第二区域面积,对应区域记为第二区域;
最后,根据第一区域和第二区域的面积,以及脊柱影像中像素点的灰度值,获得角点的特征参数;将特征参数大于第三阈值的角点,记为特征点;
所述特征参数的获取方法为:
将任意角点的灰度值与脊柱影像中所有像素点的最小灰度值之间的差值,记为A,将A与脊柱影像中所有像素点的灰度值的极差,记为B,将A与B的比值记为第一比值,将第一区域面积和第二区域面积的比值记为第二比值,将第一比值和第二比值的乘积结果,记为角点的特征参数;
所述第一特征曲线的获取方法为:
首先,将脊柱影像中灰度值最大的预设数量个角点记为起始点,将垂直方向记为基础方向,以逆时针方向作为基础方向的旋转方向,预设旋转步长,将记为基础方向结合旋转步长在旋转过程中的旋转范围,记为角度区间,则获取与任意起始点在角度区间范围内,欧式距离最近的特征点,记为第一特征点,将起始点与第一特征点之间所形成的直线与垂直方向的角度,记为第一角度;
然后,获取与第一特征点在角度区间范围内,距离第一特征点欧氏距离最近的特征点,且第一特征点与该特征点形成的第二角度与第一角度之间的差值绝对值小于第四阈值,记为第二特征点,依次迭代,直至无法获取特征点,在获取过程中前后相连,获得连接后的曲线,记为第一特征曲线;则任意起始点对应若干个第一特征曲线;
所述重要程度的获取方法为:
首先,利用链码编码获取任意第一特征曲线在脊柱影像中的像素点,以及对应的链码序列;
然后,将第一特征曲线对应链码序列的方差,记为第一参数;将第一特征曲线中任意特征点去除,重新进行连接,将连接后的曲线记为第二特征曲线;将第二特征曲线对应链码序列的方差,记为第二参数;
最后,将第一参数与第二参数的比值记为,将/>记为第一特征曲线中所去除特征点的重要程度;
所述特征差异参数的获取方法为:
获取机械臂上的扫描仪器在不同扫描角度下,对应脊柱影像中的若干个第一特征曲线;
利用动态时间规整算法获取任意组合方式下两个第一特征曲线之间的DTW距离,以及动态时间规整算法在匹配两个特征曲线中所包含的像素点时,对应的匹配点对以及匹配点对的数量;
根据任意扫描角度下的脊柱影像中包含第个特征点的若干个第一特征曲线,与其他任意扫描角度下的脊柱影像中包含第/>个特征点的若干个第一特征曲线,进行两两组合,共有U种组合方式;组合后的任意两个第一特征曲线,获得特征点之间的特征差异参数,具体计算方法为:
其中,表示第/>个特征点与第/>个特征点之间的特征差异参数;/>表示包含第/>个特征点的若干个第一特征曲线,与包含第/>个特征点的若干个第一特征曲线,所对应组合方式的数量;/>表示第/>种组合方式下对应两个第一特征曲线之间的DTW距离;/>表示第/>种组合方式下对应两个第一特征曲线中匹配点对的数量;/>表示第/>个特征点的灰度值;/>表示第/>个特征点的灰度值;/>表示第/>种组合方式下,第/>个匹配点对中属于第/>个特征点所在第一特征曲线内对应像素点的灰度值;/>表示第/>种组合方式下,第/>个匹配点对中属于第/>个特征点所在第一特征曲线内对应像素点的灰度值;/>表示函数;/>表示以自然常数为底数的指数函数;/>表示获取绝对值;
所述结合重要程度和相似程度对ICP配准算法的损失函数进行优化,获得优化后损失函数,包括的具体步骤如下:
首先,获取任意两个扫描角度下对应两个脊柱影像中所有特征点之间的特征差异参数,将所有特征点之间的特征差异参数中的最小值,记为最小特征差异参数
特征点之间的相似程度的具体计算方法为:
其中,表示第/>个特征点与第/>个特征点之间的相似程度;/>表示最小特征差异参数;/>表示第/>个特征点与第/>个特征点分别所在脊柱影像所对应扫描角度的差值绝对值;/>表示超参数;超参数/>表征特征点之间特征差异参数的阈值;
然后,将两个脊柱影像中任意两个特征点的重要程度平均值,记为Z,将乘以ICP配准算法的损失函数,作为ICP配准算法的损失函数的调节系数,用于ICP配准算法在每次迭代过程中,进行调节校准,获得ICP配准算法的优化后损失函数。
2.根据权利要求1所述一种脊柱外科手术用机械臂调控方法,其特征在于,所述结合优化后损失函数对所有脊柱影像的特征点进行配准,获得脊柱三维模型,利用脊柱三维模型实现机械臂智能调控,包括的具体步骤如下:
首先,将优化后损失函数作为ICP配准算法的损失函数,利用ICP配准算法对所有扫描角度下对应脊柱影像中的特征点进行迭代配准,将配准后的所有扫描角度下对应脊柱影像的特征点进行合并,获得患者的脊柱三维模型,并将脊柱三维模型进行可视化;
然后,建立机械臂上扫描仪器的坐标系和脊柱三维模型的坐标系,分别记为扫描坐标系和模型坐标系,利用SLAM算法获取扫描坐标系和模型坐标系之间的转换关系,由医生根据需要对脊柱三维模型进行视角切换,结合扫描坐标系和模型坐标系之间的转换关系对机械臂进行姿态调控,以在脊柱三维模型中获取不同扫描角度下的特征点。
3.一种脊柱外科手术用机械臂调控***,采用如权利要求1-2中任意一项所述的一种脊柱外科手术用机械臂调控方法,其特征在于,该***包括以下模块:
影像采集模块:获取脊柱影像以及机械臂所搭载扫描仪器的扫描角度;
角点特征模块:获取脊柱影像中的角点,根据脊柱影像中像素点与角点的灰度值和数量,以及角点之间的距离,获得角点之间的关联性;根据角点之间关联性的大小,获得角点的关联点,根据角点和对应关联点所形成区域的面积,以及脊柱影像中像素点的灰度值,获得角点的特征参数,根据特征参数的大小获得特征点;根据特征点获得第一特征曲线,根据去除第一特征曲线中任意特征点前后的差异,获得特征点的重要程度;
算法优化模块:根据不同扫描角度下对应脊柱影像中,第一特征曲线的组合方式,获得任意组合方式下,两个特征曲线中所包含特征点之间的特征差异参数;根据最小特征差异参数以及两个特征点所在脊柱影像对应扫描角度之间的差异,获得特征点之间的相似程度;结合重要程度和相似程度对ICP配准算法的损失函数进行优化,获得优化后损失函数;
机械臂调控模块:结合优化后损失函数对所有脊柱影像的特征点进行配准,获得脊柱三维模型,利用脊柱三维模型实现机械臂智能调控。
CN202311006498.8A 2023-08-11 2023-08-11 一种脊柱外科手术用机械臂调控方法及*** Active CN116728420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311006498.8A CN116728420B (zh) 2023-08-11 2023-08-11 一种脊柱外科手术用机械臂调控方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311006498.8A CN116728420B (zh) 2023-08-11 2023-08-11 一种脊柱外科手术用机械臂调控方法及***

Publications (2)

Publication Number Publication Date
CN116728420A CN116728420A (zh) 2023-09-12
CN116728420B true CN116728420B (zh) 2023-11-03

Family

ID=87902894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311006498.8A Active CN116728420B (zh) 2023-08-11 2023-08-11 一种脊柱外科手术用机械臂调控方法及***

Country Status (1)

Country Link
CN (1) CN116728420B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009291342A (ja) * 2008-06-04 2009-12-17 Univ Of Tokyo 手術支援装置
CN101887582A (zh) * 2010-06-03 2010-11-17 西北工业大学 基于差别累加值及三点链码差的曲线拐角点检测方法
CN101916441A (zh) * 2010-08-06 2010-12-15 西北工业大学 一种数字图像中基于Freeman链码的曲线匹配方法
CN105701808A (zh) * 2016-01-11 2016-06-22 南京邮电大学 基于组合点匹配的全自动医学图像配准方法
CN107665486A (zh) * 2017-09-30 2018-02-06 深圳绰曦互动科技有限公司 一种应用于x射线图像的自动拼接方法、装置及终端设备
CN111462153A (zh) * 2020-04-30 2020-07-28 柳州智视科技有限公司 一种基于图像轮廓Freeman链码的角点特征提取方法
CN112215878A (zh) * 2020-11-04 2021-01-12 中日友好医院(中日友好临床医学研究所) 一种基于surf特征点的x光图像配准方法
CN112509022A (zh) * 2020-12-17 2021-03-16 安徽埃克索医疗机器人有限公司 一种术前三维影像与术中透视图像的无标定物配准方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009291342A (ja) * 2008-06-04 2009-12-17 Univ Of Tokyo 手術支援装置
CN101887582A (zh) * 2010-06-03 2010-11-17 西北工业大学 基于差别累加值及三点链码差的曲线拐角点检测方法
CN101916441A (zh) * 2010-08-06 2010-12-15 西北工业大学 一种数字图像中基于Freeman链码的曲线匹配方法
CN105701808A (zh) * 2016-01-11 2016-06-22 南京邮电大学 基于组合点匹配的全自动医学图像配准方法
CN107665486A (zh) * 2017-09-30 2018-02-06 深圳绰曦互动科技有限公司 一种应用于x射线图像的自动拼接方法、装置及终端设备
CN111462153A (zh) * 2020-04-30 2020-07-28 柳州智视科技有限公司 一种基于图像轮廓Freeman链码的角点特征提取方法
CN112215878A (zh) * 2020-11-04 2021-01-12 中日友好医院(中日友好临床医学研究所) 一种基于surf特征点的x光图像配准方法
CN112509022A (zh) * 2020-12-17 2021-03-16 安徽埃克索医疗机器人有限公司 一种术前三维影像与术中透视图像的无标定物配准方法

Also Published As

Publication number Publication date
CN116728420A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
JP7221421B2 (ja) Ct画像の椎骨位置決め方法、装置、機器及び媒体
WO2021114622A1 (zh) 脊柱弯曲角度测量方法、装置、计算机设备及存储介质
CN110021025B (zh) 感兴趣区域的匹配和显示方法、装置、设备及存储介质
Fischer et al. Ill-posed medicine—an introduction to image registration
Mattes et al. Nonrigid multimodality image registration
CN106934821B (zh) 一种基于icp算法和b样条的锥形束ct和ct图像配准方法
JP5417321B2 (ja) 半自動式輪郭検出方法
CN110728274A (zh) 医疗设备计算机辅助扫描方法、医疗设备及可读存储介质
CN112634256B (zh) 圆检测及拟合方法、装置、电子设备和存储介质
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和***
CN109903277A (zh) 一种基于多项式曲线拟合的脊柱侧弯检测方法
Dai et al. Locating anatomical landmarks on 2D lateral cephalograms through adversarial encoder-decoder networks
CN113223028A (zh) 一种基于mr和ct的多模态肝脏肿瘤分割方法
Zhang et al. Learning-based coronal spine alignment prediction using smartphone-acquired scoliosis radiograph images
CN111488912A (zh) 一种基于深度学习神经网络的喉部疾病诊断***
CN115830016A (zh) 医学图像配准模型训练方法及设备
WO2011050454A1 (en) Bone imagery segmentation method and apparatus
US9224229B2 (en) Process and apparatus for data registration
CN116728420B (zh) 一种脊柱外科手术用机械臂调控方法及***
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN114093462A (zh) 医学影像处理方法、图像处理方法、计算机设备、存储介质
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
Gholipour et al. Distortion correction via non-rigid registration of functional to anatomical magnetic resonance brain images
Rohde et al. Adaptive-bases algorithm for nonrigid image registration
CN116958217B (zh) 一种mri与ct多模态3d自动配准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant