CN113384361B - 一种视觉定位方法、***、装置及存储介质 - Google Patents

一种视觉定位方法、***、装置及存储介质 Download PDF

Info

Publication number
CN113384361B
CN113384361B CN202110556239.7A CN202110556239A CN113384361B CN 113384361 B CN113384361 B CN 113384361B CN 202110556239 A CN202110556239 A CN 202110556239A CN 113384361 B CN113384361 B CN 113384361B
Authority
CN
China
Prior art keywords
lead
dimensional code
dimensional
coordinate
registration parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110556239.7A
Other languages
English (en)
Other versions
CN113384361A (zh
Inventor
黄凯
陈刚
白守民
胡海
尚高星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Sun Yat Sen University
Original Assignee
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen Memorial Hospital Sun Yat Sen University, Sun Yat Sen University filed Critical Sun Yat Sen Memorial Hospital Sun Yat Sen University
Priority to CN202110556239.7A priority Critical patent/CN113384361B/zh
Publication of CN113384361A publication Critical patent/CN113384361A/zh
Application granted granted Critical
Publication of CN113384361B publication Critical patent/CN113384361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视觉定位方法、***、装置及存储介质，该方法包括在患者体表喷印或粘贴多个铅质二维码；对患者进行扫描，建立术前的三维模型，并获取第一坐标组；获取第二坐标组；对每个铅质二维码进行识别与编码，得到每个铅质二维码的唯一标记ID；根据第一坐标组和第二坐标组，计算得到三组配准参数；根据三组配准参数，计算每个铅质二维码的中心的重投影误差；使用非线性最小二乘法对三组配准参数进行优化，得到优化后的配准参数；根据优化后的配准参数，确定术中患者真实的病灶位置。本发明所需装置简单、精度高、时间短；能够将术中相机视觉***中病灶区域与术前三维成像***中的病灶区域进行配准；本发明可广泛应用于手术导航技术领域。

Description

一种视觉定位方法、***、装置及存储介质
技术领域
本发明涉及手术导航技术领域，尤其是一种视觉定位方法、***、装置及存储介质。
背景技术
现有的外科手术经常需要术前三维影像数据对病灶区域进行辅助定位。在手术过程中，利用计算机技术将术前病人的三维影像数据(来自CT计算机断层扫描、MRI核磁共振成像等)与实际手术过程中患者的病灶区域统一起来。
目前，这种三维影像数据与术中病人的真实病灶区域坐标实现统一的技术，包括：传统的三点定位方式；通过解剖标志点、体内预埋标记物等方式实现配准；使用较大型的配准装置以及在手术床边安装固定装置来辅助配准；使用红外光、激光、结构光等方法进行配准。
以上技术的缺陷包括：(1)传统的三点定位方式配准误差较大，主要原因是病人在扫描CT时与开始配准时，标记点会随着病人体态的变化而发生变化，这种误差甚至会是厘米级别的，而且无法克服；(2)通过解剖标志点和体内预埋标记物进行配准的方法，对患者是有创的，增加了额外风险，并且使得术前配准准备时间漫长，延长了手术时间，术后也需要更多恢复时间；(3)通过较大型的配准装置以及在手术床边安装固定装置来辅助配准的方法，操作十分繁琐，需要对标记物、固定装置进行人工安放，术前准备时间过长，效率低下；并且，久而久之，由于物理磨损，配准精度会快速下降；(4)采用结构光进行影像配准的技术，设备过多，在手术台上方的较小空间还需要放置其他术中所需设备，难以为配准技术腾挪出更多的空间，操作多有不便；另外，需要将结构光导航仪上的摄像机坐标系、病灶区域附近的静态基准坐标系、末端执行器的坐标系以及手术导航***导航影像坐标***进行转换，叠加多次，累计误差也相对增大。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种视觉定位方法、***、装置及存储介质。
本发明所采取的技术方案是：
一方面，本发明实施例包括一种视觉定位方法，包括：
在患者体表喷印或粘贴多个铅质二维码；
对患者进行扫描，建立术前的三维模型，并获取第一坐标组，所述第一坐标组为多个所述铅质二维码的中心在所述三维模型中的坐标；
获取第二坐标组，所述第二坐标组为多个所述铅质二维码的中心在术中相机坐标系中的坐标；
对每个所述铅质二维码进行识别与编码，得到每个所述铅质二维码的唯一标记ID；
根据所述第一坐标组和所述第二坐标组，计算得到多组配准参数；
根据多组所述配准参数，计算每个所述铅质二维码的中心的重投影误差；
使用非线性最小二乘法对多组所述配准参数进行优化，得到优化后的配准参数；
根据所述优化后的配准参数，确定术中患者真实的病灶位置。
进一步地，所述铅质二维码通过以下至少一种方式形成：
由铅粉材质喷绘二维码；
或者在铅层上贴附二维码。
进一步地，所述铅质二维码被设置成以下样式：
由6×6个黑白色四边形构成，每个四边形大小是0.5cm×0.5cm，每个四边形范围为49到100像素。
进一步地，所述对每个所述铅质二维码进行识别与编码，得到每个所述铅质二维码的唯一标记ID这一步骤，包括：
根据梯度检测出二维码图像中的各个边缘，得到边缘图像；
在所述边缘图像中获取并筛选出需要的四边形图案；
根据每个所述四边形图案的灰度值大小与阈值大小，确定每个所述铅质二维码的唯一标记ID。
进一步地，所述根据梯度检测出二维码图像中的各个边缘，得到边缘图像这一步骤，包括：
计算二维码图像中每个像素点的梯度方向和幅值；
把相同梯度方向和相同幅值的像素归为一类；
通过Felzenszwalb集群算法获取边缘线段，得到边缘图像。
进一步地，所述在所述边缘图像中获取并筛选出需要的四边形图案这一步骤，包括：
采用深度为4的迭代算法，以非闭环线段的终点为起点，进行线段获取；
经过4次迭代，若在阈值范围内形成闭环，确定为四边形图案；
对所述四边形图案进行筛选，得到需要的四边形图案。
进一步地，所述四边形图案由多个黑色四边形和多个白色四边形构成，所述根据每个所述四边形图案的灰度值大小与阈值大小，确定每个所述铅质二维码的唯一标记ID这一步骤，包括：
获取所述四边形图案中黑色四边形的灰度均值和白色四边形的灰度均值；
根据所述黑色四边形的灰度均值和白色四边形的灰度均值，计算得到阈值；
遍历每个四边形中的像素；
若所述像素的灰度值大于所述阈值，编码变量TagCode与1进行与运算并左移一位，以得到每个所述铅质二维码的唯一标记ID。
另一方面，本发明实施例还包括一种视觉定位***，包括术前三维成像***、术中相机视觉***、二维码检测与编码***和计算机处理***；所述术中相机视觉***和所述二维码检测与编码***均与所述计算机处理***相连；
所述术前三维成像***用于对患者进行扫描，建立术前的三维模型，并获取第一坐标组，所述第一坐标组为多个铅质二维码的中心在所述三维模型中的坐标；
所述术中相机视觉***用于获取第二坐标组，所述第二坐标组为多个所述铅质二维码的中心在术中相机坐标系中的坐标；
所述二维码检测与编码***用于对每个所述铅质二维码进行识别与编码，得到每个所述铅质二维码的唯一标记ID；
所述计算机处理***用于根据所述第一坐标组和所述第二坐标组，计算得到多组配准参数；根据多组所述配准参数，计算每个所述铅质二维码的中心的重投影误差；使用非线性最小二乘法对多组所述配准参数进行优化，得到优化后的配准参数；根据所述优化后的配准参数，确定术中患者真实的病灶位置。
另一方面，本发明实施例还包括一种视觉定位装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的视觉定位方法。
另一方面，本发明实施例还包括计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现所述的视觉定位方法。
本发明的有益效果是：
(1)本发明通过在患者体表喷印或粘贴多个铅质二维码，铅质二维码可以自身中心为原点，以其四边形的三个顶点为基准，形成一个坐标系，二维码的每个顶点相对位置固定，不会由于体表皮肤形变而变化；同时，只需在患者体表喷印或粘贴多个铅质二维码，就能够实现最终的配准，操作步骤简单、便捷，成本低廉；
(2)本发明通过对铅质二维码进行识别与编码，得到每个铅质二维码的唯一标记ID，即每个铅质二维码在配准过程中能够被唯一确定，在术前配准时能够一一对应，不易混淆；而且即使在配准前铅质二维码由于某些原因粘贴不紧而脱落，也很容易识别出脱落的是哪个铅质二维码，较传统标志点定位配准方便，不会因为旋转偏差导致错误标定，节省了术前配准时间，具有很高的使用价值；
(3)本发明通过根据第一坐标组和第二坐标组，计算得到多组配准参数，并对多组配准参数进行优化，使得配准参数更加精准，进而提高最终配准定位的准确度。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所述视觉定位方法的步骤流程图；
图2为本发明实施例所述铅质二维码旋转鲁棒性设计示例图；
图3为本发明实施例所述铅质二维码的示例图；
图4为本发明实施例所述铅质二维码旋转鲁棒性设计的另一示例图；
图5为本发明实施例所述编码算法的示意图；
图6为本发明实施例所述视觉定位装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面结合附图，对本申请实施例作进一步阐述。
参照图1，本发明实施例包括一种视觉定位方法，包括但不限于以下步骤：
S1.在患者体表喷印或粘贴多个铅质二维码；
S2.对患者进行扫描，建立术前的三维模型，并获取第一坐标组，所述第一坐标组为多个所述铅质二维码的中心在所述三维模型中的坐标；
S3.获取第二坐标组，所述第二坐标组为多个所述铅质二维码的中心在术中相机坐标系中的坐标；
S4.对每个所述铅质二维码进行识别与编码，得到每个所述铅质二维码的唯一标记ID；
S5.根据所述第一坐标组和所述第二坐标组，计算得到多组配准参数；
S6.根据多组所述配准参数，计算每个所述铅质二维码的中心的重投影误差；
S7.使用非线性最小二乘法对多组所述配准参数进行优化，得到优化后的配准参数；
S8.根据所述优化后的配准参数，确定术中患者真实的病灶位置。
本发明实施例提供一种视觉定位方法，能够基于铅质二维码标记物将术中相机视觉***中病灶区域与术前三维成像***中的病灶区域进行配准；其所涉及的主要部件有：铅质二维码标记物、二维码检测与编码***、术前三维成像***、术中相机视觉***、计算机处理***，计算机处理***与术中相机视觉***、二维码检测与编码***相连，所有数据汇总至计算机处理***之中进行配准。
其中，铅质二维码标记物由铅粉材质喷绘二维码或者在铅层上贴附二维码两种方式构成，铅质属于显影材料，铅质二维码极易具备标识性，通过二维码检测与编码***可以得到唯一的标记ID，极易被计算机识别；参照图2，铅质二维码通过对正方形四个角中的三个角设置基准确定二维码的方向，以此确定三维影像模型和术中现实患者***的旋转角差异，帮助计算机处理***进行快速配准。
具体地，铅质二维码标记物中的铅质材料用来在CT图像上显影成像，从而进行配准注册；铅质二维码标记物中的二维码用来被术中相机视觉***识别并提供标记物的唯一性信息；在术前三维成像***扫描患者前，需在患者身上贴上至少三个铅质二维码标记物，如图3所示，用于配准注册。
铅质二维码要求被设计成具备某种指定特征的样式，具体而言：
(1)整个二维码被限制由6×6个黑白色四边形(quad)构成；每个四边形大小是0.5cm×0.5cm。每个四边形范围为49到100像素。这样的设计使得二维码既能够被相机清晰识别，又能够被快速检测与编码；
(2)二维码***的四边形全部设置为黑色，次***的左上、右上、左下三个位置的四边形为白色，而右下位置的四边形为黑色，如图4所示。这样的设计是为了使得铅质二维码标记物具备旋转鲁棒性，通过这种方式，相机能够很容易地识别二维码的方向，能够与术前三维建模型***进行快速配准。
本实施例中，在患者体表喷印或粘贴三个铅质二维码之后，通过术前三维成像***对患者进行扫描，建立术前的三维模型，并获得三个铅质二维码标记物的中心在三维模型***下的坐标位置，即获得第一坐标组，用于在术中配准病灶区域；之后，通过术中相机视觉***对术中患者体表的图像进行采集，获取这三个二维码标记物中心在术中相机坐标系中的坐标，即获取第二坐标组，并将其交给二维码检测与编码***进行处理。二维码检测与编码***根据梯度检测出二维码图像中的各个边缘；在边缘图像中找出需要的四边形图案并进行筛选；根据每个四边形图案的灰度值与阈值的大小确定一系列0、1串，得到该二维码的信息。
具体地，通过二维码检测与编码***对标记物上的二维码进行识别，并且对其进行编码，得到唯一性信息；其中，二维码识别具体为寻找图像场景中可能的二维码图像，即尝试着寻找内“黑”外“白”的四边形，包括线段检测、四边形检测；而线段检测具体为计算图像中每个像素点的梯度方向和幅值，并且把相同的梯度方向和幅值的像素归为一类，最终通过Felzenszwalb集群算法获取线段。这样的方式对光照变化不敏感，适用于手术室各种亮度的光照。而四边形检测具体为采用深度为4的迭代算法，以非闭环线段的终点为起点，进行线段获取，经过4次迭代，若能够在阈值范围内形成闭环，则四边形检测成功。
参照图5，编码过程具体为：分别求得黑色四边形的灰度均值Black Value与白色四边形的灰度均值White Value，通过BlackValue与WhiteValue计算阈值Threshold，遍历每个四边形中的像素，若该像素的灰度值大于阈值，那么编码变量TagCode与1进行与运算并左移一位。
二维码检测与编码***对标记物上的二维码进行识别，并且对其进行编码，得到唯一性信息之后，返回给计算机处理***，计算机处理***结合术前三维成像***提供的第一坐标组与术中相机视觉***所提供的第二坐标组，计算出术前三维成像***和术中相机视觉***两***之间的多组配准参数(即，术前三维成像***与术中相机视觉***坐标的旋转矩阵和平移向量)。再通过求得的多组配准参数，计算每个铅质二维码中心的重投影误差，使用非线性最小二乘法对参数进行优化，使得重投影误差最小，得到最终配准结果。
本实施例中，在配准过程中，唯一标记ID能够有效地对应其标记，防止由于出现旋转扰动而导致的配准偏差，每个铅质二维码以自身中心为原点，建立坐标系，按照坐标系变换原理即可将术前三维成像***与术中相机视觉***进行配准，每个患者身上贴有至少三个铅质二维码，因此可以得到至少三组配准参数。
本发明实施例所述视觉定位方法具有以下技术效果：
(1)配准精度不受患者体表皮肤形变的影响；本发明实施例提出的基于铅质二维码标记物的视觉定位方法，每个二维码标记物都可以以自身中心为原点，以其四边形的三个顶点为基准，形成一个坐标系，二维码的每个顶点相对位置固定，不会由于体表皮肤形变而变化；
(2)对配准参数进行优化使得配准参数更加精准；本发明实施例在患者身上贴至少三个二维码标记物，每个二维码都可以建立坐标系得到配准参数，然后对三个参数分别进行重投影，计算重投影误差，通过非线性最小二乘对参数进行优化，使得参数更加精准；
(3)操作步骤简单、便捷，成本低廉；本发明实施例提出基于铅质二维码标记物的轻量级配准方法，每次配准只需在患者体表贴三个铅质二维码标记物即可，简单便捷，成本低廉，用后即扔；
(4)二维码包含具体的语义信息，使得每个二维码标记物在配准过程中能够被唯一确定，在术前配准时能够一一对应，不易混淆；而且即使在配准前标记物由于某些原原因粘贴不紧而脱落，也很容易识别出脱落的是哪个标记物，较传统标志点定位配准方便，不会因为旋转偏差导致错误标定，节省了术前配准时间，具有很高的使用价值；
(5)本发明实施例利用二维码检测与编码***，结合了快速而强大的线检测***，更强大的数字编码***以及对遮挡、翘曲和镜头畸变具有更高的鲁棒性。
本发明实施例还提出一种视觉定位***，包括术前三维成像***、术中相机视觉***、二维码检测与编码***和计算机处理***；所述术中相机视觉***和所述二维码检测与编码***均与所述计算机处理***相连；
所述术前三维成像***用于对患者进行扫描，建立术前的三维模型，并获取第一坐标组，所述第一坐标组为多个铅质二维码的中心在所述三维模型中的坐标；
所述术中相机视觉***用于获取第二坐标组，所述第二坐标组为多个所述铅质二维码的中心在术中相机坐标系中的坐标；
所述二维码检测与编码***用于对每个所述铅质二维码进行识别与编码，得到每个所述铅质二维码的唯一标记ID；
所述计算机处理***用于根据所述第一坐标组和所述第二坐标组，计算得到三组配准参数；根据三组所述配准参数，计算每个所述铅质二维码的中心的重投影误差；使用非线性最小二乘法对三组所述配准参数进行优化，得到优化后的配准参数；根据所述优化后的配准参数，确定术中患者真实的病灶位置。
参照图6，本发明实施例还提供了一种视觉定位装置200，具体包括：
至少一个处理器210；
至少一个存储器220，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器210执行，使得所述至少一个处理器210实现如图1所示的方法。
其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可以理解到，图6中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于图1所示实施例的步骤。
以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如图1所示的方法。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
可以理解的是，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种视觉定位方法，其特征在于，包括：
在患者体表喷印或粘贴多个铅质二维码；
对患者进行扫描，建立术前的三维模型，并获取第一坐标组，所述第一坐标组为多个所述铅质二维码的中心在所述三维模型中的坐标；
获取第二坐标组，所述第二坐标组为多个所述铅质二维码的中心在术中相机坐标系中的坐标；
对每个所述铅质二维码进行识别与编码，得到每个所述铅质二维码的唯一标记ID；其中，所述对每个所述铅质二维码进行识别与编码，得到每个所述铅质二维码的唯一标记ID这一步骤，包括：根据梯度检测出二维码图像中的各个边缘，得到边缘图像；在所述边缘图像中获取并筛选出需要的四边形图案；根据每个所述四边形图案的灰度值大小与阈值大小，确定每个所述铅质二维码的唯一标记ID；
根据所述第一坐标组和所述第二坐标组，计算得到多组配准参数；
根据多组所述配准参数，计算每个所述铅质二维码的中心的重投影误差；
使用非线性最小二乘法对多组所述配准参数进行优化，得到优化后的配准参数；
根据所述优化后的配准参数，确定术中患者真实的病灶位置。
2.根据权利要求1所述的一种视觉定位方法，其特征在于，所述铅质二维码通过以下至少一种方式形成：
由铅粉材质喷绘二维码；
或者在铅层上贴附二维码。
3.根据权利要求1所述的一种视觉定位方法，其特征在于，所述铅质二维码被设置成以下样式：
由6×6个黑白色四边形构成，每个四边形大小是0.5cm×0.5cm，每个四边形范围为49到100像素。
4.根据权利要求1所述的一种视觉定位方法，其特征在于，所述根据梯度检测出二维码图像中的各个边缘，得到边缘图像这一步骤，包括：
计算二维码图像中每个像素点的梯度方向和幅值；
把相同梯度方向和相同幅值的像素归为一类；
通过Felzenszwalb集群算法获取边缘线段，得到边缘图像。
5.根据权利要求1所述的一种视觉定位方法，其特征在于，所述在所述边缘图像中获取并筛选出需要的四边形图案这一步骤，包括：
采用深度为4的迭代算法，以非闭环线段的终点为起点，进行线段获取；
经过4次迭代，若在阈值范围内形成闭环，确定为四边形图案；
对所述四边形图案进行筛选，得到需要的四边形图案。
6.根据权利要求1所述的一种视觉定位方法，其特征在于，所述四边形图案由多个黑色四边形和多个白色四边形构成，所述根据每个所述四边形图案的灰度值大小与阈值大小，确定每个所述铅质二维码的唯一标记ID这一步骤，包括：
获取所述四边形图案中黑色四边形的灰度均值和白色四边形的灰度均值；
根据所述黑色四边形的灰度均值和白色四边形的灰度均值，计算得到阈值；
遍历每个四边形中的像素；
若所述像素的灰度值大于所述阈值，编码变量TagCode与1进行与运算并左移一位，以得到每个所述铅质二维码的唯一标记ID。
7.一种视觉定位***，其特征在于，包括术前三维成像***、术中相机视觉***、二维码检测与编码***和计算机处理***；所述术中相机视觉***和所述二维码检测与编码***均与所述计算机处理***相连；
所述术前三维成像***用于对患者进行扫描，建立术前的三维模型，并获取第一坐标组，所述第一坐标组为多个铅质二维码的中心在所述三维模型中的坐标；
所述术中相机视觉***用于获取第二坐标组，所述第二坐标组为多个所述铅质二维码的中心在术中相机坐标系中的坐标；
所述二维码检测与编码***用于对每个所述铅质二维码进行识别与编码，得到每个所述铅质二维码的唯一标记ID；其中，所述对每个所述铅质二维码进行识别与编码，得到每个所述铅质二维码的唯一标记ID这一步骤，包括：根据梯度检测出二维码图像中的各个边缘，得到边缘图像；在所述边缘图像中获取并筛选出需要的四边形图案；根据每个所述四边形图案的灰度值大小与阈值大小，确定每个所述铅质二维码的唯一标记ID；
所述计算机处理***用于根据所述第一坐标组和所述第二坐标组，计算得到多组配准参数；根据多组所述配准参数，计算每个所述铅质二维码的中心的重投影误差；使用非线性最小二乘法对多组所述配准参数进行优化，得到优化后的配准参数；根据所述优化后的配准参数，确定术中患者真实的病灶位置。
8.一种视觉定位装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的方法。
9.计算机可读存储介质，其特征在于，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如权利要求1-6任一项所述的方法。
CN202110556239.7A 2021-05-21 2021-05-21 一种视觉定位方法、***、装置及存储介质 Active CN113384361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110556239.7A CN113384361B (zh) 2021-05-21 2021-05-21 一种视觉定位方法、***、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110556239.7A CN113384361B (zh) 2021-05-21 2021-05-21 一种视觉定位方法、***、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113384361A CN113384361A (zh) 2021-09-14
CN113384361B true CN113384361B (zh) 2022-10-28

Family

ID=77618825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110556239.7A Active CN113384361B (zh) 2021-05-21 2021-05-21 一种视觉定位方法、***、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113384361B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114288023B (zh) * 2022-01-26 2024-05-31 北京柏惠维康科技股份有限公司 手术导航设备中定位导板的标定方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2445961B (en) * 2006-10-31 2009-02-04 Prosurgics Ltd Fiducial marker placement
CN106897648B (zh) * 2016-07-22 2020-01-31 阿里巴巴集团控股有限公司 识别二维码位置的方法及其***
CN109833092A (zh) * 2017-11-29 2019-06-04 上海复拓知达医疗科技有限公司 体内导航***和方法
EP3946062A4 (en) * 2019-04-04 2023-06-14 Centerline Biomedical, Inc. SPATIAL REGISTRATION OF A TRACKING SYSTEM WITH AN IMAGE USING TWO-DIMENSIONAL IMAGE PROJECTIONS
CN111899823A (zh) * 2020-06-11 2020-11-06 上海梅斯医药科技有限公司 一种量表信息处理方法、***、终端设备和存储介质

Also Published As

Publication number Publication date
CN113384361A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
US11123144B2 (en) Registration of frames of reference
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
US10060739B2 (en) Method for determining a position and orientation offset of a geodetic surveying device and such a surveying device
US20100045701A1 (en) Automatic mapping of augmented reality fiducials
Li et al. A multiple-camera system calibration toolbox using a feature descriptor-based calibration pattern
JP4739004B2 (ja) 情報処理装置及び情報処理方法
CN110000784B (zh) 一种机器人回充定位导航方法、***、设备及存储介质
US9560291B2 (en) Automatic improvement of tracking data for intraoperative C-arm images in image guided surgery
CN111882612A (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
Gschwandtner et al. Infrared camera calibration for dense depth map construction
WO2022078488A1 (zh) 定位方法、装置、自移动设备和存储介质
WO2022078513A1 (zh) 定位方法、装置、自移动设备和存储介质
CN111932675B (zh) 建立地图的方法、装置、自移动设备和存储介质
CN108022265B (zh) 红外相机位姿确定方法、设备及***
JP2003030628A (ja) 相対位置計測装置
CN111964680B (zh) 一种巡检机器人的实时定位方法
CN113384361B (zh) 一种视觉定位方法、***、装置及存储介质
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN106952219B (zh) 一种基于外参数修正鱼眼像机的图像生成方法
JP2015194397A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN110163914B (zh) 基于视觉的定位
Leventon et al. Multiple view 2D-3D mutual information registration
KR101233938B1 (ko) 객체 추적 로봇 및 그 방법
WO2019139441A1 (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant