CN113208731B - 基于双目视觉***的手术穿刺机器人手眼标定方法 - Google Patents
基于双目视觉***的手术穿刺机器人手眼标定方法 Download PDFInfo
- Publication number
- CN113208731B CN113208731B CN202110439860.5A CN202110439860A CN113208731B CN 113208731 B CN113208731 B CN 113208731B CN 202110439860 A CN202110439860 A CN 202110439860A CN 113208731 B CN113208731 B CN 113208731B
- Authority
- CN
- China
- Prior art keywords
- robot
- coordinate system
- camera
- tail end
- mark point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Manipulator (AREA)
Abstract
本发明公开一种基于双目视觉***的手术穿刺机器人手眼标定方法,包括以下步骤:S1:将机器人末端移入合适的双目相机视野内,其中,机器人末端的穿刺针上装配有反光标记点套件;S2:求解标记点坐标系与相机坐标系的坐标变换,包括以下步骤:S21:双目相机采集图像并计算反光标记点的图像坐标;S22:标记点立体匹配;S23:标记点三维重建得出相机坐标系下的标记点三维坐标;S24:计算坐标转换;S3:采用步骤S2所述方法,求解标记点坐标系与机器人末端的坐标变换;S4:求解机器人末端位姿;S5:机器人基坐标系与相机坐标系坐标转换。本发明不需要额外的硬件装置或设备辅助,操作简单、使用方便,大大提高了手术机器人手眼标定的自动化程度。
Description
技术领域
本发明涉及计算机视觉、图像处理和机器人手眼标定技术领域,特别涉及一种基于双目视觉***的手术穿刺机器人手眼标定方法。
背景技术
计算机视觉和机器人的结合使用使得其具有了智能化的功能,通常情况下在机器视觉技术应用较多的工业机器人领域,机器人和视觉传感器(比如摄像机)的关系,即手和眼的相对位置有两种:视点固定的视觉(Eye-to-Hand)和视点非固定视觉(Eye-in-Hand)。
基于光学导航的穿刺消融机器人***结合了光学导航***和机器人***(Eye-to-Hand),***联动控制的前提是需要获得光学导航***和机器人***的关系,手眼标定就是求解导航坐标系和机器人坐标系之间的变换关系。
针对光学手术机器人导航***的手眼标定,传统的标定方法往往需要在机器人末端重新安装特殊的标定装置来达到手眼标定的目的,导致每次标定过程都需要拆卸用于手术的消融针再安装标定装置用于执行标定,标定结束后又需要拆卸标定装置重新安装上手术器械。此举使得术前的标定过程变得复杂而费时,额外的标定装置也增加了***的标定成本。因此为了简化标定流程、节约标定的时间与硬件成本,急需提出一种新的基于双目视觉***的手术穿刺机器人手眼标定方法。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的主要目的在于克服现有技术的不足,提供一种基于双目视觉***的手术穿刺机器人手眼标定方法,以简化标定流程并自动实现标定。
为实现上述目的,本发明采用以下技术方案:
一种基于双目视觉***的手术穿刺机器人手眼标定方法,包括以下具体步骤:
S1:将机器人末端移入合适的双目相机视野内,其中,机器人末端的穿刺针上装配有反光标记点套件;
S2:求解标记点坐标系与相机坐标系的坐标变换,包括以下步骤:
S21:双目相机采集图像并计算反光标记点的图像坐标;
S22:标记点立体匹配;
S23:标记点三维重建得出相机坐标系下的标记点三维坐标;
S24:计算坐标转换;
S3:采用步骤S2所述方法,求解标记点坐标系与机器人末端的坐标变换;
S4:求解机器人末端位姿;
S5:机器人基坐标系与相机坐标系坐标转换。
进一步地:
步骤S21中,反光标记点套件图像被双目相机采集,识别各反光标记点的圆心,获取各圆心在两个相机视场中的位置坐标。
步骤S22中,使用立体匹配算法将同一标记点分别在左、右相机视场中对应的图像一一匹配。
步骤S23中,使用匹配完成的左、右图像中的标记点圆心坐标,综合双目相机的内、外参,重建得到各标记点在相机坐标系下的三维坐标。
步骤S24中,将得到的无序的标记点三维坐标有序化,并由此计算标记点坐标系与相机坐标系的坐标转换关系。
步骤S3中,令机器人末端不动,让机器人绕其末端在空间缓慢地做旋转运动,采用步骤S2所述方法记录过程中得到的各标记点在相机坐标系下的位姿,求解标记点坐标系与机器人末端的坐标变换。并且,通常情况下,标记点与机器人末端绑定在一起,进行一次标定即可,后续标定过程中可以略过步骤S3。
步骤S4中,使用机器人的D-H参数表对机器人进行正运动学建模,将当前机器人的关节角度值带入正运动学建模得出的算式计算机器人末端相对于基坐标系的位姿。
步骤S5中,综合相机坐标系与标记点坐标系的坐标变换、标记点坐标系与机器人末端的坐标变换、机器人末端位姿,间接得到机器人基坐标系与相机坐标系的坐标转换,从而完成手眼标定。
本发明具有如下有益效果:
本发明提供一种基于双目视觉***的手术穿刺机器人手眼标定方法,简化标定流程并自动实现标定,其中,标定无需拆卸手术器械,只需在手术器械上绑定手术导航***常用的反光标记球套件。根据当前方法,使用双目相机获取标记点坐标系,求解标记点坐标系与机器人末端坐标转换,根据正向运动学求解末端位姿,可以实现无需人为干预的自动手术机器人手眼标定。
因此,本发明相比现有技术而言更加灵活、简便,更能满足实际应用中的效率要求;本发明不需要额外的硬件装置或设备辅助;标记点套件属于手术导航***常规定位用套件,并非额外硬件,操作简单使用方便,大大提高了手术机器人手眼标定的自动化程度。
附图说明
图1为本发明提出的一种基于双目视觉***的手术穿刺机器人手眼标定方法的流程图。
图2为待标定的光学导航手术穿刺机器人***的示意图。
图3为本发明实施例中双目相机采集的图像。
图4为本发明实施例中立体匹配的效果图。
图5为本发明实施例中对各坐标系坐标转换的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当强调的是,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参阅图1,本实施例提供的基于双目视觉***的手术穿刺机器人手眼标定方法,包括以下步骤:
步骤S1,将机器人末端移入合适的双目相机视野内,如图2所示,机器人末端的穿刺针上装配有反光标记点套件,使双目相机能够捕捉到全部的标记点。
步骤S2,求解标记点坐标系与相机坐标系的坐标变换;具体如下:
步骤S21,如图2所示,反光标记点套件图像被双目相机采集,将图像二值化并根据高亮区域面积筛选图像的轮廓,识别各反光标记点的圆心,获取各圆心在两个相机视场中的位置坐标。
步骤S22,标记点立体匹配。根据双目视觉的对极几何原理,使用立体匹配算法将同一标记点分别在左、右相机视场中对应的图像一一匹配(如图3所示),从而将步骤S21中得到的各圆心在两个相机视场中的位置坐标一一匹配。
步骤S23,标记点三维重建。使用匹配完成的左、右图像中的标记点圆心坐标,综合双目相机的内、外相机参数得到的投影矩阵,利用三角重建算法重建得到各标记点在相机坐标系下的三维坐标。
步骤S24,求解标记点坐标系与相机坐标系的坐标变换。使用排序算法将步骤S23得到的无序的标记点三维坐标按照预定的顺序排序,求解该点集质心以及利用SVD算法求解对应3D点集的R、T矩阵,即算得标记点坐标系与相机坐标系的坐标转换关系。
步骤S3,令机器人末端不动,让机器人绕其末端在空间缓慢地做旋转运动,采用步骤S2所述方法记录过程中得到的各标记点在相机坐标系下的位姿,由于旋转时各标记点与末端点的距离未改变,所以可以根据球面方程求解标记点坐标系与机器人末端的坐标变换。并且,通常情况下,标记点与机器人末端绑定在一起,进行一次标定即可,后续标定过程中可以略过步骤S3。
步骤S4,求解机器人末端位姿。使用机器人的D-H参数表对机器人进行正运动学建模,将当前机器人的关节角度值带入正运动学建模得出的算式计算机器人末端相对于基坐标系的位姿。
步骤S5,如图5所示,综合相机坐标系与标记点坐标系的坐标变换、标记点坐标系与机器人末端的坐标变换、机器人末端位姿,间接得到机器人基坐标系与相机坐标系的坐标转换,从而完成手眼标定。
本实施例基于双目视觉***的手术穿刺机器人手眼标定方法,简化标定流程并自动实现标定,其中,标定无需拆卸手术器械,只需在手术器械上绑定手术导航***常用的反光标记球套件。根据当前方法,使用双目相机获取标记点坐标系,求解标记点坐标系与机器人末端坐标转换,根据正向运动学求解末端位姿,可以实现无需人为干预的自动手术机器人手眼标定。本实施例方法更加灵活、简便,更能满足实际应用中的效率要求;本发明不需要额外的硬件装置或设备辅助,操作简单使用方便,大大提高了手术机器人手眼标定的自动化程度。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。
Claims (6)
1.一种基于双目视觉***的手术穿刺机器人手眼标定方法,其特征在于,包括以下步骤:
S1:将机器人末端移入合适的双目相机视野内,其中,机器人末端的穿刺针上装配有反光标记点套件;
S2:求解标记点坐标系与相机坐标系的坐标变换;
S3:采用步骤S2所述方法,求解标记点坐标系与机器人末端的坐标变换;
S4:求解机器人末端位姿;
S5:机器人基坐标系与相机坐标系坐标转换;
所述步骤S2包括以下步骤:
S21:双目相机采集图像并计算反光标记点的图像坐标;
S22:标记点立体匹配;
S23:标记点三维重建得出相机坐标系下的标记点三维坐标;
S24:计算坐标转换;
步骤S3中,令机器人末端不动,让机器人绕其末端在空间缓慢地做旋转运动,采用步骤S2所述方法记录过程中得到的各标记点在相机坐标系下的位姿,求解标记点坐标系与机器人末端的坐标变换;并且,通常情况下,标记点与机器人末端绑定在一起,只需进行一次标定,后续标定过程中可以略过步骤S3;
步骤S4中,使用机器人的D-H参数表对机器人进行正运动学建模,将当前机器人的关节角度值带入正运动学建模得出的算式计算机器人末端相对于基坐标系的位姿。
2.根据权利要求1所述的基于双目视觉***的手术穿刺机器人手眼标定方法,其特征在于,步骤S21中,反光标记点套件图像被双目相机采集,识别各反光标记点的圆心,获取各圆心在两个相机视场中的位置坐标。
3.根据权利要求1所述的基于双目视觉***的手术穿刺机器人手眼标定方法,其特征在于,步骤S22中,使用立体匹配算法将同一标记点分别在左、右相机视场中对应的图像一一匹配。
4.根据权利要求1所述的基于双目视觉***的手术穿刺机器人手眼标定方法,其特征在于,步骤S23中,使用匹配完成的左、右图像中的标记点圆心坐标,综合双目相机的内、外参,重建得到各标记点在相机坐标系下的三维坐标。
5.根据权利要求1所述的基于双目视觉***的手术穿刺机器人手眼标定方法,其特征在于,步骤S24中,将得到的无序的标记点三维坐标有序化,并由此计算标记坐标系与相机坐标系的坐标转换关系。
6.根据权利要求1所述的基于双目视觉***的手术穿刺机器人手眼标定方法,其特征在于,
步骤S5中,综合相机坐标系与标记点坐标系的坐标变换、标记点坐标系与机器人末端的坐标变换、机器人末端位姿,间接得到机器人基坐标系与相机坐标系的坐标转换,从而完成手眼标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110439860.5A CN113208731B (zh) | 2021-04-23 | 2021-04-23 | 基于双目视觉***的手术穿刺机器人手眼标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110439860.5A CN113208731B (zh) | 2021-04-23 | 2021-04-23 | 基于双目视觉***的手术穿刺机器人手眼标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113208731A CN113208731A (zh) | 2021-08-06 |
CN113208731B true CN113208731B (zh) | 2023-02-10 |
Family
ID=77088809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110439860.5A Active CN113208731B (zh) | 2021-04-23 | 2021-04-23 | 基于双目视觉***的手术穿刺机器人手眼标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113208731B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113545849A (zh) * | 2021-08-26 | 2021-10-26 | 重庆市妇幼保健院 | 一种基于双目视觉的手术导航标记装置及其制备方法 |
CN114310881A (zh) * | 2021-12-23 | 2022-04-12 | 中国科学院自动化研究所 | 一种机械臂快换装置的标定方法、***及电子设备 |
CN114343847B (zh) * | 2022-01-06 | 2023-05-30 | 广东工业大学 | 基于光学定位***的手术机器人的手眼标定方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107116553A (zh) * | 2017-05-08 | 2017-09-01 | 深拓科技(深圳)有限公司 | 一种机械臂的操作方法及装置 |
CN107589934A (zh) * | 2017-07-24 | 2018-01-16 | 大连理工大学 | 一种关节型机械臂逆运动学解析解的求取方法 |
CN111012506A (zh) * | 2019-12-28 | 2020-04-17 | 哈尔滨工业大学 | 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 |
CN111390901A (zh) * | 2019-01-02 | 2020-07-10 | 中达电子零组件(吴江)有限公司 | 机械臂自动标定方法以及标定装置 |
CN112659129A (zh) * | 2020-12-30 | 2021-04-16 | 杭州思锐迪科技有限公司 | 机器人的定位方法、装置、***和计算机设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10357184B2 (en) * | 2012-06-21 | 2019-07-23 | Globus Medical, Inc. | Surgical tool systems and method |
CN104864807B (zh) * | 2015-04-10 | 2017-11-10 | 深圳大学 | 一种基于主动双目视觉的机械手手眼标定方法 |
CN107595388B (zh) * | 2017-08-01 | 2020-02-18 | 华南理工大学 | 一种基于反光球标记点的近红外双目视觉立体匹配方法 |
CN110956660B (zh) * | 2018-09-26 | 2023-10-10 | 深圳市优必选科技有限公司 | 定位方法、机器人以及计算机存储介质 |
US11911914B2 (en) * | 2019-01-28 | 2024-02-27 | Cognex Corporation | System and method for automatic hand-eye calibration of vision system for robot motion |
US11607278B2 (en) * | 2019-06-27 | 2023-03-21 | Cilag Gmbh International | Cooperative robotic surgical systems |
CN110296691B (zh) * | 2019-06-28 | 2020-09-22 | 上海大学 | 融合imu标定的双目立体视觉测量方法与*** |
CN110378341A (zh) * | 2019-07-24 | 2019-10-25 | 西南交通大学 | 一种双目视觉行人距离检测方法 |
CN110834333B (zh) * | 2019-11-14 | 2021-11-02 | 中科新松有限公司 | 一种机器人手眼标定方法及存储介质 |
-
2021
- 2021-04-23 CN CN202110439860.5A patent/CN113208731B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107116553A (zh) * | 2017-05-08 | 2017-09-01 | 深拓科技(深圳)有限公司 | 一种机械臂的操作方法及装置 |
CN107589934A (zh) * | 2017-07-24 | 2018-01-16 | 大连理工大学 | 一种关节型机械臂逆运动学解析解的求取方法 |
CN111390901A (zh) * | 2019-01-02 | 2020-07-10 | 中达电子零组件(吴江)有限公司 | 机械臂自动标定方法以及标定装置 |
CN111012506A (zh) * | 2019-12-28 | 2020-04-17 | 哈尔滨工业大学 | 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 |
CN112659129A (zh) * | 2020-12-30 | 2021-04-16 | 杭州思锐迪科技有限公司 | 机器人的定位方法、装置、***和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113208731A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113208731B (zh) | 基于双目视觉***的手术穿刺机器人手眼标定方法 | |
WO2018214840A1 (zh) | 手术机器人***及手术器械位置的显示方法 | |
CN103533909B (zh) | 用于控制工具运动的标架的位置和定向的估计 | |
CN106308946A (zh) | 一种应用于立体定向手术机器人的增强现实装置及其方法 | |
JP2017113343A (ja) | 医療用撮像装置及び手術ナビゲーションシステム | |
CN112472297B (zh) | 位姿监测***、方法、手术机器人***和存储介质 | |
JP5378374B2 (ja) | リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム | |
CN110215284A (zh) | 一种可视化***和方法 | |
JP2017056212A (ja) | 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置 | |
CN103948361B (zh) | 无标志点的内窥镜定位跟踪方法和*** | |
CN108335365A (zh) | 一种影像引导的虚实融合处理方法及装置 | |
CN112263332B (zh) | 手术机器人的调整***、方法、介质及终端 | |
CN105666505A (zh) | 具备扩展现实对应显示器的机器人*** | |
CN111227935A (zh) | 一种手术机器人导航定位*** | |
WO2022188352A1 (zh) | 基于增强现实的介入机器人无接触遥操***及标定方法 | |
CN112043382B (zh) | 一种手术导航*** | |
CN105411681A (zh) | 分体式微创手术机器人的手眼协调控制***及方法 | |
CN113876426A (zh) | 一种与无影灯结合的术中定位跟踪***及方法 | |
JP2011110620A (ja) | ロボットの動作を制御する方法およびロボットシステム | |
CN109807937A (zh) | 一种基于自然场景的机器人手眼标定方法 | |
CN113616338B (zh) | 计算机可读存储介质、对准方法及***、手术机器人*** | |
US11422625B2 (en) | Proxy controller suit with optional dual range kinematics | |
WO2024094227A1 (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
CN114343847A (zh) | 基于光学定位***的手术机器人的手眼标定方法 | |
CN111658142A (zh) | 一种基于mr的病灶全息导航方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |