CN111461049B - 空间注册识别方法、装置、设备及计算机可读存储介质 - Google Patents

空间注册识别方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111461049B
CN111461049B CN202010284146.9A CN202010284146A CN111461049B CN 111461049 B CN111461049 B CN 111461049B CN 202010284146 A CN202010284146 A CN 202010284146A CN 111461049 B CN111461049 B CN 111461049B
Authority
CN
China
Prior art keywords
registration
marking
image
type
mark type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010284146.9A
Other languages
English (en)
Other versions
CN111461049A (zh
Inventor
吴东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Original Assignee
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan United Imaging Zhirong Medical Technology Co Ltd filed Critical Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority to CN202010284146.9A priority Critical patent/CN111461049B/zh
Publication of CN111461049A publication Critical patent/CN111461049A/zh
Application granted granted Critical
Publication of CN111461049B publication Critical patent/CN111461049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/034Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种空间注册识别方法、装置、设备及计算机可读存储介质。空间注册识别方法包括获取标记器件固定于待手术部位的扫描图像。根据所述扫描图像判断所述标记器件的标记种类。根据所述标记种类选择与所述标记种类对应的空间注册方法,利用所述空间注册方法完成空间注册。所述空间注册识别方法用于根据不同的所述标记器件的标记种类,选择不同的所述空间注册方法。所述空间注册方法与所述标记器件的材质形状、安装方式、形状等特征相匹配,提高了坐标系配准的准确性。

Description

空间注册识别方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及手术技术领域,特别是涉及一种空间注册识别方法、装置、设备及计算机可读存储介质。
背景技术
使用手术机器人导航定位***辅助医生进行外科手术时,需先对待手术部位进行空间注册,以完成待手术部位的坐标系之间的配准。在空间注册时需要用户手动选择注册方式。
常用的注册方式有骨钉接触式注册、光学注册、骨钉非接触式注册和框架注册等多种注册方式。怎样才能提高坐标系配准的准确性是亟待解决的问题。
发明内容
基于此,有必要针对怎样才能提高坐标系配准的准确性的问题,提供一种空间注册识别方法、装置、设备及计算机可读存储介质。
一种空间注册识别方法,包括:
S100,获取标记器件固定于待手术部位的扫描图像。
S200,根据所述扫描图像判断所述标记器件的标记种类。
S300,根据所述标记种类选择与所述标记种类对应的空间注册方法,利用所述空间注册方法完成空间注册。
在一个实施例中,在S100之后,所述空间注册识别方法还包括:
S110,从所述扫描图像中分割出仅包括所述标记器件的扫描图像。
在一个实施例中,S300包括:
S310,判断所述标记种类是否属于第一标记种类。
S320,若所述标记种类属于所述第一标记种类,则选择第一注册方法完成空间注册。
在一个实施例中,所述标记种类为多个,多个所述标记种类分别为所述第一标记种类至第N标记种类,S320之后,还包括:
S330,若所述标记种类不属于所述第一标记种类,则判断所述标记种类是否属于第二标记种类。
S340,若所述标记种类属于所述第二标记种类,则选择第二注册方法完成空间注册。
S350,按照S310-S340步骤遍历至所述第N标记种类,并完成空间注册。
在一个实施例中,S110包括:
S111,获取多个待手术部位图像和多个与所述多个待手术部位图像一一对应的标记器件固定于待手术部位的训练图像。
S112,将多个所述待手术部位图像和多个所述训练图像分别输入到机器学习算法中进行学习训练,得到分割网络模型。
S113,将所述扫描图像输入所述分割网络模型,得到仅含有所述标记器件的扫描图像。
在一个实施例中,所述标记器件包括第一标记器件,S200包括:
S201,分别获取多个包含所述第一标记器件的扫描图像和与所述第一标记器件对应的第一种类标签。
S202,将多个包含所述第一标记器件的所述扫描图像和所述第一种类标签输入到机器学习算法进行学习训练,得到分类模型。
S203,将所述扫描图像输入所述分类模型,得到所述扫描图像的标记种类。
在一个实施例中,所述标记器件为多个,多个所述标记器件包括所述第一标记器件至第N标记器件,S202之后,S203之前,还包括:
S2021,按照S201步骤分别获取包含第二标记器件至所述第N标记器件的多个所述扫描图像和与所述第二标记器件至所述第N标记器件一一对应的第二种类标签至第N种类标签。
S2022,按照S202步骤分别将所述第二标记器件至所述第N标记器件的多个所述扫描图像和所述第二种类标签至所述第N种类标签输入到机器学习算法进行学习训练,得到所述分类模型。
在一个实施例中,所述标记种类为光学小球,所述空间注册识别方法还包括:
S3010,判断所述光学小球底座的HU值是否大于设定值,若是,则选择骨钉非接触式方法完成空间注册,若否,则选择光学注册方法完成空间注册。
在一个实施例中,在S3010之前,所述空间注册识别方法还包括:
S3001,从所述扫描图像分割出光学小球图像和光学小球底座图像。
一种空间注册识别***包括获取模块、判断模块和注册模块。所述获取模块用于获取标记器件固定于待手术部位的扫描图像。所述判断模块用于根据所述扫描图像判断所述标记器件的标记种类。所述注册模块用于根据所述标记种类选择与所述标记种类对应的空间注册方法,利用所述空间注册方法完成空间注册。
在一个实施例中,所述判断模块包括分割子模块和判断子模块。所述分割子模块用于从所述扫描图像中分割出仅包括所述标记器件的扫描图像。所述判断子模块用于根据仅包括所述标记器件的所述扫描图像判断所述标记器件的标记种类。
在一个实施例中,所述分割子模块包括分割网络模型,所述分割子模块用于将所述扫描图像输入所述分割网络模型,得到仅含有所述标记器件的扫描图像。
在一个实施例中,所述判断子模块包括分类模型,所述判断子模块用于将所述扫描图像输入所述分类模型,得到所述扫描图像的所述标记器件的标记种类。
一种设备,所述设备包括一个或多个处理器。所述设备还包括存储器。所述存储器用于存储一个或多个程序。当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述任意一个实施例所述的空间注册识别方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任意一个实施例所述的空间注册识别方法。
本申请实施例提供的所述空间注册识别方法,包括获取标记器件固定于待手术部位的扫描图像。根据所述扫描图像判断所述标记器件的标记种类。根据所述标记种类选择与所述标记种类对应的空间注册方法,利用所述空间注册方法完成空间注册。所述空间注册识别方法根据不同的所述标记器件的标记种类,选择不同的所述空间注册方法。所述空间注册方法与所述标记器件的材质形状、安装方式、形状等特征相匹配,提高了坐标系配准的准确性。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案,下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例中提供的所述空间注册识别方法的流程示意图;
图2为本申请另一个实施例中提供的所述空间注册识别方法的流程示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似改进,因此本申请不受下面公开的具体实施的限制。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。在本申请的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
在本申请中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
使用手术机器人导航定位***辅助医生进行外科手术时,需先对待手术部位进行空间注册,以完成待手术部位的坐标系之间的配准。常用的注册方式有骨钉接触式注册、框架注册、光学注册和骨钉非接触式注册等多种注册方式。这些注册方式都需要在待手术部位放置标记器件进行医学影像扫描成像,然后在影像上提取标记器件上的标记点坐标,再通过这些标记点完成坐标系之间的配准。
不同注册方式,标记器件的材质形状和安装方式不同,扫描成像不同,对应的空间注册方法不同。
用户选定注册方式后,手术机器人导航定位***以不同的图文方式引导用户在机械臂上安装不同的器械末端进行空间注册。
骨钉接触式注册方式为:所述标记器件为骨钉。先将多个所述骨钉植入待手术部位的人体骨骼中固定,然后再进行影像扫描,分别提取多个骨钉凹槽的球心坐标。最后通过所述多个骨钉凹槽的球心坐标进行坐标系配准。骨钉接触式注册方式与骨钉接触式注册方法对应。
框架注册方式为:所述标记器件为带有多个标记体的框架工装。先将框架工装固定于所述待手术部位,然后进行影像扫描,分别提取多个所述标记体的球心坐标。最后通过所述多个所述标记体的球心坐标进行坐标系配准。框架注册方式与框架注册方法对应。
光学注册方式为:所述标记器件为光学小球。先将多个所述光学小球固定在塑料底座上,粘贴在所述待手术部位的皮肤表面,然后再进行影像扫描,分别提取多个所述光学小球的球心坐标。最后通过多个所述光学小球的球心坐标进行坐标系配准。光学注册方式与光学注册方法对应。
骨钉非接触式方式为:所述标记器件为骨钉和光学小球。先将多个所述骨钉植入待手术部位的人体骨骼中固定,然后将多个所述光学小球一一对应固定于多个所述骨钉远离人体的表面,再进行影像扫描成像,分别提取多个所述光学小球的球心坐标。最后通过多个所述光学小球的球心坐标进行坐标系配准。骨钉非接触式方式与骨钉非接触式方法对应。
所述坐标系配准指所述待手术部位的坐标系与机械臂的坐标系的配准。
请参见图1,本申请实施例提供一种空间注册识别方法,包括:
S100,获取标记器件固定于待手术部位的扫描图像。
S200,根据所述扫描图像判断所述标记器件的标记种类。
S300,根据所述标记种类选择与所述标记种类对应的空间注册方法,利用所述空间注册方法完成空间注册。
所述空间注册方法包括球心坐标的提取方法和坐标系配准方法。所述标记器件的标记种类与所述空间注册方法相匹配才能完成坐标系的配准。所述标记器件的标记种类不同,所述空间注册方法不同。
本申请提供的所述空间注册识别方法用于根据不同的所述标记器件的标记种类,选择不同的所述空间注册方法。所述空间注册识别方法用于选择与所述标记器件的标记种类项匹配的所述空间注册方法相匹配,以准确完成坐标系的配准。
所述标记器件包括骨钉、框架或光学小球中的一个或几个,及其结合。所述标记器件也可以是其他起到标记作用的器件。
与上述所述标记器件相匹配的注册方式包括但不限于骨钉接触式注册方式、框架注册方式、光学注册方式或骨钉非接触式注册方式等。所述注册方式也可以是其他与所述标记器件相匹配的注册方式。
所述空间注册方法包括但不限于所述骨钉接触式注册方法、框架注册方法、光学注册方法或骨钉非接触式注册方法等。
请一并参见图2,在一个实施例中,在S100之后,所述空间注册识别方法还包括:
S110,从所述扫描图像中分割出仅包括所述标记器件的扫描图像。
所述空间注册识别方法先进行图像分割得到仅包括所述标记器件的所述扫描图像,有效避免了所述待手术部位的图像的干扰。仅包括所述标记器件的所述扫描图像相对于原始的所述扫描图像的像素减少.判断所述标记种类过程中的数据处理量减少。较少的数据处理量提高了判断所述标记种类的处理效率,进而,提高了选择注册方法的效率。
在一个实施例中,当所述空间注册识别方法仅用于判断所述扫描图像中的所述标记器件的标记种类是否属于第一标记种类时,S300包括:
S310,判断所述标记种类是否属于第一标记种类。
S320,若所述标记种类属于所述第一标记种类,则选择第一注册方法完成空间注册。
在一个实施例中,所述第一标记种类为骨钉、框架或光学小球中的一个。所述第一标记种类也可以是骨钉、框架或光学小球中几个的结合,还可以是其他与标记器件相配的标记种类。
在一个实施例中,所述标记种类为多个。多个所述标记种类分别为所述第一标记种类至第N标记种类。N为大于等于2的整数。S320之后,所述空间注册识别方法还包括:
S330,若所述标记种类不属于所述第一标记种类,则判断所述标记种类是否属于第二标记种类。
S340,若所述标记种类属于所述第二标记种类,则选择第二注册方法完成空间注册。
S350,按照S310-S340步骤遍历第三标记种类至所述第N标记种类,并完成空间注册。
在一个实施例中,所述标记种类包括但不限于骨钉、框架或光学小球等。
S310至S350的步骤用于找到扫描图像中的标记器件的标记种类,并根据所述标记种类完成空间注册。
在一个实施例中,S110包括:
S111,获取多个待手术部位图像和多个与所述多个待手术部位图像一一对应的标记器件固定于待手术部位的训练图像。
多个所述待手术部位图像和多个所述训练图像均为训练样本。且多个所述待手术部位图像与多个所述训练图像一一对应。
S112,将多个所述待手术部位图像和多个所述训练图像分别输入到深度学习模型算法中进行学习训练,得到分割网络模型。所述深度学习模型算法包括U-Net算法。
S113,将所述扫描图像输入所述分割网络模型,得到仅含有所述标记器件的扫描图像。
所述分割网络模型用于从所述扫描图像中分割出仅包括所述标记器件的扫描图像。仅包括所述标记器件的扫描图像相对于所述扫描图像的像素减少,判断所述标记种类过程中的数据处理量减少。较少的数据处理量提高了判断所述标记种类的处理效率,进而,提高了选择注册方法的效率。
在一个实施例中,S200包括:
S201,分别获取多个包含所述第一标记器件的扫描图像和与所述第一标记器件对应的第一种类标签。
S202,将多个所述第一标记器件图像和所述第一种类标签输入到机器学习算法进行学习训练,得到分类模型。所述机械学习算法包括深度学习算法。所述机器学习算法包括SVM(支持向量机,Support Vector Machine)或Random Forest(随机森林)算法等。
S203,将所述扫描图像输入所述分类模型,得到所述扫描图像的标记种类。
在一个实施例中,所述标记器件为多个,多个所述标记器件包括所述第一标记器件至第N标记器件,S202之后,S203之前,还包括:
S2021,按照S201步骤分别获取包含第二标记器件至所述第N标记器件的多个所述扫描图像和与所述第二标记器件至所述第N标记器件一一对应的第二种类标签至第N种类标签。
S2022,按照S202步骤分别将所述第二标记器件至所述第N标记器件的多个所述扫描图像和所述第二种类标签至所述第N种类标签输入到机器学习算法进行学习训练,得到所述分类模型。
对于不容易通过分类模型进行区分的图像,可以再通过HU值筛选的方式进行区分。
所述标记种类为光学小球的图像不容易通过分类模型区分。对于骨钉非接触式方式形成的图像,由于骨钉植入人体骨骼的深浅程度不同,骨钉的辨识度不同。当骨钉植入人体骨骼的深度较深,骨钉的表面设置光学小球,骨钉裸露在外的尺寸较小时,在所述扫描图像中不能清晰辨识出骨钉。包含光学小球的图像还可能还包含骨钉的图像。
在一个实施例中,所述标记种类为光学小球,所述空间注册识别方法还包括:
S3010,判断所述光学小球底座的HU值是否大于设定值,若是,则选择骨钉非接触式方法完成空间注册,若否,则选择光学注册方法完成空间注册。
在一个实施例中,所述设定值为1000。
在一个实施例中,在判断所述光学小球底座的HU值是否大于设定值的步骤之前还包括:
S3001,从所述扫描图像分割出光学小球图像和光学小球底座图像。
在一个具体的实施例中,所述标记器件包括骨钉、框架、光学小球和带骨钉的光学小球。“骨钉”标记种类包含“骨钉”标记器件。“框架”标记种类包含“框架”标记器件。“光学小球”标记种类包含“光学小球”标记器件和“带骨钉的光学小球”标记器件两种。
在一个具体实施例中,所述S200还包括:
分别获取多个骨钉图像、多个框架图像、多个光学小球图像和与所述骨钉图像、所述框架图像和所述光学小球图像一一对应的种类标签。
将所述多个骨钉图像、所述多个框架图像、所述多个光学小球图像和与所述骨钉图像、所述框架图像和所述光学小球图像一一对应的所述种类标签分别输入到机器学习算法进行学习训练,得到分类模型。
将所述扫描图像输入所述分类模型,得到所述扫描图像的标记种类。
在一个具体实施例中,所述S300还包括:
判断所述标记种类是否属于所述骨钉。
若所述标记种类属于所述骨钉,则选择骨钉接触式注册方法完成空间注册。
若所述标记种类不属于所述骨钉,则判断所述标记种类是否属于所述框架。
若所述标记种类属于所述框架,则选择框架注册方法完成空间注册。
若所述标记种类不属于所述框架,则利用图像算法在所述扫描图像分割出光学小球图像和底座图像。
遍历所述底座图像的底座像素HU值,判断所述HU值是否大于设定值。
若所述HU值大于所述设定值,则所述标记种类为带骨钉的光学小球,选择骨钉非接触式方法完成空间注册。
所述HU值小于所述设定值,则选择光学注册方法完成空间注册。
所述空间注册识别方法先完成对所述骨钉图像、所述框架图像和所述光学小球图像的区分。再完成对光学注册方式和骨钉非接触式方式的区分。所述空间注册识别方法提高了注册方式区分的准确性,进而提高了空间注册方法选择的准确性。
在一个实施例中,S300步骤由计算机编码程序实现。在运行S300时可以采用逐一排除法实现注册方法的选择。
本申请实施例提供一种空间注册识别装置,包括获取模块、判断模块和注册模块。所述获取模块用于获取标记器件固定于待手术部位的扫描图像。所述判断模块用于根据所述扫描图像判断所述标记器件的标记种类。所述注册模块用于根据所述标记种类选择与所述标记种类对应的空间注册方法,利用所述空间注册方法完成空间注册。
本申请实施例提供的所述空间注册识别装置根据不同的所述标记器件的标记种类,选择不同的所述空间注册方法。所述空间注册方法与所述标记器件的材质形状、安装方式、形状等特征相匹配,提高了坐标系配准的准确性。
在一个实施例中,所述判断模块包括分割子模块和判断子模块。所述分割子模块用于从所述扫描图像中分割出仅包括所述标记器件的扫描图像。所述判断子模块用于根据所述扫描图像判断所述标记器件的标记种类。
在一个实施例中,所述分割模块包括分割网络模型。所述分割模块用于将所述扫描图像输入所述分割网络模型,得到仅含有所述标记器件的扫描图像。
先通过所述分割模块进行图像分割得到所述扫描图像,有效避免了所述待手术部位的图像的干扰。仅包括所述标记器件的扫描图像相对于所述扫描图像的像素减少,以使所述判断模块判断所述标记种类过程中的数据处理量减少。较少的数据处理量提高了判断所述标记种类的处理效率,进而,所述空间注册识别装置提高了选择注册方法的效率。
在一个实施例中,所述分割网络模型的形成步骤为:
首先,获取多个待手术部位图像和多个与多个所述待手术部位图像一一对应的标记器件固定于待手术部位的训练图像。
多个所述待手术部位图像和多个所述训练图像均为训练样本。且多个所述待手术部位图像与多个所述训练图像一一对应。
然后,将多个所述待手术部位图像和多个所述训练图像分别输入到深度学习模型算法中进行学习训练,得到分割网络模型。其中所述深度学习模型算法包括U-Net算法。
在一个实施例中,所述判断模块包括分类模型,所述判断模块用于将所述扫描图像输入所述分类模型,得到所述扫描图像的所述标记器件的标记种类。
在一个具体实施例中,所述标记器件包括第一标记器件,所述分类模型的形成步骤为:
分别获取多个包含所述第一标记器件的扫描图像和与所述第一标记器件对应的第一种类标签。将多个包含所述第一标记器件的所述扫描图像和所述第一种类标签输入到机器学习算法进行学习训练,得到分类模型。
在一个具体实施例中,所述标记器件为多个,多个所述标记器件包括所述第一标记器件至第N标记器件,所述分类模型的形成步骤为:
分别获取包含第二标记器件至所述第N标记器件的多个所述扫描图像和与所述第二标记器件至所述第N标记器件一一对应的第二种类标签至第N种类标签。
分别将所述第二标记器件至所述第N标记器件的多个所述扫描图像和所述第二种类标签至所述第N种类标签输入到机器学习算法进行学习训练,得到所述分类模型。
在一个具体实施例中,所述分类模型的形成步骤为:
首先分别获取多个骨钉图像、多个框架图像、多个光学小球图像和与所述骨钉图像、所述框架图像和所述光学小球图像一一对应的种类标签。再将所述多个骨钉图像、所述多个框架图像、所述多个光学小球图像和与所述骨钉图像、所述框架图像和所述光学小球图像一一对应的所述种类标签分别输入到机器学习算法进行学习训练,得到所述分类模型。
所述骨钉图像为仅包含骨钉的扫描图像,不包含待手术部位的图像。所述骨钉图像为仅包含框架的扫描图像,不包含待手术部位的图像。所述光学小球图像为包含光学小球的图像。但所述光学小球图像可能还包含骨钉的图像。
对于骨钉非接触式方式形成的图像,由于骨钉植入人体骨骼的深浅程度不同,骨钉的辨识度不同。当骨钉植入人体骨骼的深度较深,骨钉的表面设置光学小球,骨钉裸露在外的尺寸较小时,在所述扫描图像中不能清晰辨识出骨钉。
所述骨钉图像对应的所述种类标签为“骨钉”。所述框架图形对应的所述种类标签为“框架”。所述光学小球图像对应的所述种类标签为“光学小球”。
所述机器学习算法包括SVM(支持向量机,Support Vector Machine)或RandomForest(随机森林)算法等。
本申请实施例提供一种设备,所述设备包括一个或多个处理器和存储器。所述存储器用于存储一个或多个程序。当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述任一实施例所述的空间注册识别方法。
本申请实施例提供的所述设备当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述任一实施例所述的空间注册识别方法。所述设备通过所述处理器和所述存储器根据所述扫描图像自动完成所述空间注册方法的选择,进而自动完成空间注册。所述设备减小了人工选择的出错概率。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一实施例所述的空间注册识别方法。本申请实施例提供的所述计算机可读存储介质。所述计算机可读存储介质通过所述存储有计算机程序,并根据所述扫描图像自动完成所述空间注册方法的选择,进而自动完成空间注册。所述计算机可读存储介质减小了人工选择的出错概率。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种空间注册识别方法,其特征在于,包括:
S100,获取标记器件固定于待手术部位的扫描图像;
S200,根据所述扫描图像判断所述标记器件的标记种类;
S300,根据所述标记种类选择与所述标记种类对应的空间注册方法,利用所述空间注册方法完成空间注册;
所述根据所述标记种类选择与所述标记种类对应的空间注册方法,利用所述空间注册方法完成空间注册,包括:
S310,判断所述标记种类是否属于第一标记种类;
S320,若所述标记种类属于所述第一标记种类,则选择第一注册方法完成空间注册;
S330,若所述标记种类不属于所述第一标记种类,则判断所述标记种类是否属于第二标记种类;
S340,若所述标记种类属于所述第二标记种类,则选择第二注册方法完成空间注册;
S350,按照S310-S340步骤遍历至第N标记种类,并完成空间注册;
所述根据所述扫描图像判断所述标记器件的标记种类,包括:
S203,将所述扫描图像输入分类模型,得到所述扫描图像的标记种类。
2.如权利要求1所述的空间注册识别方法,其特征在于,在S100之后,还包括:
S110,从所述扫描图像中分割出仅包括所述标记器件的扫描图像。
3.如权利要求2所述的空间注册识别方法,其特征在于,S110包括:
S111,获取多个待手术部位图像和多个与所述多个待手术部位图像一一对应的标记器件固定于待手术部位的训练图像;
S112,将多个所述待手术部位图像和多个所述训练图像分别输入到机器学习算法中进行学习训练,得到分割网络模型;
S113,将所述扫描图像输入所述分割网络模型,得到仅含有所述标记器件的扫描图像。
4.如权利要求1所述的空间注册识别方法,其特征在于,所述标记器件包括第一标记器件,S200包括:
S201,分别获取多个包含所述第一标记器件的扫描图像和与所述第一标记器件对应的第一种类标签;
S202,将多个包含所述第一标记器件的所述扫描图像和所述第一种类标签输入到机器学习算法进行学习训练,得到分类模型。
5.如权利要求4所述的空间注册识别方法,其特征在于,所述标记器件为多个,多个所述标记器件包括所述第一标记器件至第N标记器件,S202之后,S203之前,还包括:
S2021,按照S201步骤分别获取包含第二标记器件至所述第N标记器件的多个所述扫描图像和与所述第二标记器件至所述第N标记器件一一对应的第二种类标签至第N种类标签;
S2022,按照S202步骤分别将所述第二标记器件至所述第N标记器件的多个所述扫描图像和所述第二种类标签至所述第N种类标签输入到机器学习算法进行学习训练,得到所述分类模型。
6.如权利要求1所述的空间注册识别方法,其特征在于,所述标记种类为光学小球,所述空间注册识别方法还包括:
S3010,判断光学小球底座的HU值是否大于设定值,若是,则选择骨钉非接触式方法完成空间注册,若否,则选择光学注册方法完成空间注册。
7.如权利要求6所述的空间注册识别方法,其特征在于,在S3010之前,还包括:
S3001,从所述扫描图像分割出光学小球图像和光学小球底座图像。
8.一种空间注册识别***,其特征在于,包括:
获取模块,用于获取标记器件固定于待手术部位的扫描图像;
判断模块,用于根据所述扫描图像判断所述标记器件的标记种类;
注册模块,用于根据所述标记种类选择与所述标记种类对应的空间注册方法,利用所述空间注册方法完成空间注册;
所述注册模块具体用于:
S310,判断所述标记种类是否属于第一标记种类;
S320,若所述标记种类属于所述第一标记种类,则选择第一注册方法完成空间注册;
S330,若所述标记种类不属于所述第一标记种类,则判断所述标记种类是否属于第二标记种类;
S340,若所述标记种类属于所述第二标记种类,则选择第二注册方法完成空间注册;
S350,按照S310-S340步骤遍历至第N标记种类,并完成空间注册;
所述根据所述扫描图像判断所述标记器件的标记种类,包括:
S203,将所述扫描图像输入分类模型,得到所述扫描图像的标记种类。
9.如权利要求8所述的空间注册识别***,其特征在于,所述判断模块包括:
分割子模块,用于从所述扫描图像中分割出仅包括所述标记器件的扫描图像;
判断子模块,用于根据仅包括所述标记器件的所述扫描图像判断所述标记器件的标记种类。
10.如权利要求9所述的空间注册识别***,其特征在于,所述分割子模块包括分割网络模型,所述分割子模块用于将所述扫描图像输入所述分割网络模型,得到仅含有所述标记器件的扫描图像。
11.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的空间注册识别方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一所述的空间注册识别方法。
CN202010284146.9A 2020-04-13 2020-04-13 空间注册识别方法、装置、设备及计算机可读存储介质 Active CN111461049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010284146.9A CN111461049B (zh) 2020-04-13 2020-04-13 空间注册识别方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010284146.9A CN111461049B (zh) 2020-04-13 2020-04-13 空间注册识别方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111461049A CN111461049A (zh) 2020-07-28
CN111461049B true CN111461049B (zh) 2023-08-22

Family

ID=71685263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010284146.9A Active CN111461049B (zh) 2020-04-13 2020-04-13 空间注册识别方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111461049B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104146767A (zh) * 2014-04-24 2014-11-19 薛青 辅助外科手术的术中导航方法和导航***
CN107133637A (zh) * 2017-03-31 2017-09-05 精劢医疗科技南通有限公司 一种手术导航图像自动注册设备以及方法
CN107440797A (zh) * 2017-08-21 2017-12-08 上海霖晏医疗科技有限公司 用于手术导航的注册配准***及方法
CN107481272A (zh) * 2016-06-08 2017-12-15 瑞地玛医学科技有限公司 一种放射治疗计划图像配准与融合的方法及***
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航***及方法
CN108647588A (zh) * 2018-04-24 2018-10-12 广州绿怡信息科技有限公司 物品类别识别方法、装置、计算机设备和存储介质
CN109091228A (zh) * 2018-07-04 2018-12-28 首都医科大学 一种多器械光学定位方法及***
CN109346159A (zh) * 2018-11-13 2019-02-15 平安科技(深圳)有限公司 病例图像分类方法、装置、计算机设备及存储介质
CN110547872A (zh) * 2019-09-23 2019-12-10 重庆博仕康科技有限公司 手术导航注册***
CN110582247A (zh) * 2017-04-28 2019-12-17 美敦力导航股份有限公司 器械的自动标识
CN110664484A (zh) * 2019-09-27 2020-01-10 江苏工大博实医用机器人研究发展有限公司 一种机器人与影像设备的空间注册方法及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8150494B2 (en) * 2007-03-29 2012-04-03 Medtronic Navigation, Inc. Apparatus for registering a physical space to image space
EP2298223A1 (en) * 2009-09-21 2011-03-23 Stryker Leibinger GmbH & Co. KG Technique for registering image data of an object
WO2012149548A2 (en) * 2011-04-29 2012-11-01 The Johns Hopkins University System and method for tracking and navigation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104146767A (zh) * 2014-04-24 2014-11-19 薛青 辅助外科手术的术中导航方法和导航***
CN107481272A (zh) * 2016-06-08 2017-12-15 瑞地玛医学科技有限公司 一种放射治疗计划图像配准与融合的方法及***
CN107133637A (zh) * 2017-03-31 2017-09-05 精劢医疗科技南通有限公司 一种手术导航图像自动注册设备以及方法
CN110582247A (zh) * 2017-04-28 2019-12-17 美敦力导航股份有限公司 器械的自动标识
CN107440797A (zh) * 2017-08-21 2017-12-08 上海霖晏医疗科技有限公司 用于手术导航的注册配准***及方法
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航***及方法
CN108647588A (zh) * 2018-04-24 2018-10-12 广州绿怡信息科技有限公司 物品类别识别方法、装置、计算机设备和存储介质
CN109091228A (zh) * 2018-07-04 2018-12-28 首都医科大学 一种多器械光学定位方法及***
CN109346159A (zh) * 2018-11-13 2019-02-15 平安科技(深圳)有限公司 病例图像分类方法、装置、计算机设备及存储介质
CN110547872A (zh) * 2019-09-23 2019-12-10 重庆博仕康科技有限公司 手术导航注册***
CN110664484A (zh) * 2019-09-27 2020-01-10 江苏工大博实医用机器人研究发展有限公司 一种机器人与影像设备的空间注册方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
兰坤 ; 张岩 ; 沈旭昆 ; .一种基于视觉的手术导航***设计与实现.***仿真学报.2017,(第09期),第2025-2042页. *

Also Published As

Publication number Publication date
CN111461049A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
US7916919B2 (en) System and method for segmenting chambers of a heart in a three dimensional image
CN100470562C (zh) 在载玻片上本地存储生物样本数据的***
US8160322B2 (en) Joint detection and localization of multiple anatomical landmarks through learning
CN110556179B (zh) 使用深度神经网络标记全脊柱图像的方法和***
CN111583188A (zh) 手术导航标记点定位方法、存储介质及计算机设备
US20130226532A1 (en) Computer vision cad model
CN101542532B (zh) 用于数据处理的方法、设备和计算机程序
WO2008154314A1 (en) Salient object detection
CN114187277B (zh) 基于深度学习的甲状腺细胞学多种类型细胞的检测方法
KR20090013708A (ko) 영상 처리장치
CN110555860B (zh) 医学图像中肋骨区域标注的方法、电子设备和存储介质
CN110832542B (zh) 识别处理设备、识别处理方法和程序
CN111190595A (zh) 基于界面设计图自动生成界面代码的方法、装置、介质及电子设备
CN112307786B (zh) 一种多个不规则二维码批量定位识别方法
US11633235B2 (en) Hybrid hardware and computer vision-based tracking system and method
CN104641381B (zh) 用于检测圆形标签中的2d条形码的方法和***
CN111461049B (zh) 空间注册识别方法、装置、设备及计算机可读存储介质
CN115752683A (zh) 一种基于深度相机的体重预估方法、***及终端
CN110619621B (zh) 识别图像中肋骨区域的方法、装置、电子设备和存储介质
Lundin et al. Automatic registration of 2D histological sections to 3D microCT volumes: Trabecular bone
CN105868815A (zh) 基于同一个识别设备的叠加式组合标识、生成方法与***
CN101313333B (zh) 创建结构模型的方法
CN110555850B (zh) 识别图像中肋骨区域的方法、装置、电子设备和存储介质
CN116849806A (zh) 医学影像标记点识别方法和手术机器人***
CN112150398B (zh) 图像合成方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant