CN112781521A - 一种基于视觉标记的软体操作器形状识别方法 - Google Patents

一种基于视觉标记的软体操作器形状识别方法 Download PDF

Info

Publication number
CN112781521A
CN112781521A CN202011456499.9A CN202011456499A CN112781521A CN 112781521 A CN112781521 A CN 112781521A CN 202011456499 A CN202011456499 A CN 202011456499A CN 112781521 A CN112781521 A CN 112781521A
Authority
CN
China
Prior art keywords
camera
software operator
software
soft
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011456499.9A
Other languages
English (en)
Inventor
祝连庆
汤晨
何彦霖
孙广开
董明利
何巍
张雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202011456499.9A priority Critical patent/CN112781521A/zh
Publication of CN112781521A publication Critical patent/CN112781521A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

软体操作器是由灵活的材料制成，使得它们可以变换至任意复杂的形状，并且没有传统刚体机器人的关节，它们的运动主要是通过自身形变而完成，所以导致在对其进行有效形状重建的过程中，大部分传感器所采集到的数据可能并不充分，所以本发明针对这一问题，提出了一种基于视觉标记的软体操作器形状识别方法，能够实现对气动软体操作器进行高效重建，该方法主要是由摄像机和二维光学标记组成的物理模型和视觉测量***。

Description

一种基于视觉标记的软体操作器形状识别方法
技术领域
本发明属于医疗器械、视觉测量、机器人领域，特别涉及一种基于视觉标记的软体操作器形状识别方法。
背景技术
软体机器人是机器人领域里一个热门而又前沿的课题，这种操作器采用创新的软体材料，可以让其安全的与外部物体接触，并且能通过改变自身的形状到达许多传统机器人无法到达的位置，这种特性使得软体操作器能广泛的应用于微创手术和软物操作。
从控制的角度来看，软体操作器和传统的刚体操作器的差距在于它们的连续运动方式，软体操作器在运动时不仅导致操作结构产生复杂的形变而且使得一些操作部件发生旋转或平移。任何形变都可以通过嵌在接头中的编码器立即记录并且由于其可以轻易地被包围，由于施加到操作器的每个外力都会导致它形变所以是使其形状检测任务变得非常复杂。此外在没有可靠的传感器可用于正确的检测它的形变，使得最后得到的数据并不能有效的支撑对于进行有效的重建。
发明内容
本发明的目的在于克服现有技术的缺点，提供一种基于视觉标记的软体操作器形状识别方法，单摄影机的静态测量***能确保摄像机能从不同角度不同距离来对标记靶点来进行拍摄，通过多次不同形态的拍摄以及相关的视觉测量计算，能确保得到数据精度高，误差小，增加装置的适用性。
为解决上述技术问题，本发明采用的技术方案是：一种基于视觉标记的软体操作器形状识别方法，所述方法包括以下步骤：步骤a、对软体操作器进行建模确定所述软体操作器形状；步骤b、通过基于二维图形的定位***对所述软体操作器进行标记；步骤c、通过摄像机和相机的静态测量***获取所述标记的标记点，来对所述软体操作器进行定位；步骤d、通过对所述标记点进行精度检测检验得到最佳标记尺寸。
优选的，在对所述软体操作器进行形状识别时，所述方法中设置有压力供应***，所述压力供应***包括压缩机、电磁阀和压力调节器。
优选的，所述定位***是视觉标记和测量***，所述标记由黑色和白色方块构成，可以分组以形成梗多单色区域。
优选地，步骤c中对所述软体操作器进行定位包括以下步骤：
步骤c1、识别所述标记的编码，通过拍摄检测得到所述编码对应的ID，再通过计算器编程库将所述ID识别并呈现出来；步骤c2、将所述标记附着在所述软体操作器底部中部顶部周围；步骤c3、连接摄像机与计算机，所述摄像机拍摄所述软体操作器得到图像；步骤c4、所述计算机将检测到所述图像上的二维标记并在坐标系中计算方向和位置，所述计算机输出数据得到所述软体操作器的全局位置与方向。
优选的，单个所述标记检测的质量主要取决于标记的大小、与相机距离及方向。
优选的，在标记为0.5cm和相机距离为15cm时所达到的成像效果最佳。
与现有技术相比，本发明的有益效果在于：
1、对硬件要求低，只选用了单个摄像头与软体操作器结合；
2、单摄影机的静态测量***能确保摄像机能从不同角度不同距离来对标记靶点来进行拍摄，通过多次不同形态的拍摄以及相关的视觉测量计算，能确保得到数据精度高，误差小；
3、通过对软体操作器实时姿态的进一步精确确认，能确保软体操作器能被更好的应用于微创手术领域。
应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：
图1示意性示出了本发明方案整体***示意图；
图2示意性示出了本发明用二维标记点标记软体操作器结构示意图。
具体实施方式
通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
本发明提供了一种基于视觉标记的软体操作器形状识别方法,使用现有的软体操作器与外部单摄像机定位***相结合，提供了完整的机器人形状重建，本发明的具体方程过程如下：
主要包含对软体操作器进行建模来确定其形状，然后通过外部的定位***，基于二维图形标记来对软体操作器进行标记通过***配备的摄像机和相机来对获取标记点达到对软体操作器的定位效果最后再通过标记的精度检测验证来确保所选标记为最佳标记尺寸，更好的达到识别软体操作器形状的目的。
本发明为实现该方案提出一个完整的***，包括压力供应、视觉标记及测量以及形状重建，如图1所示。
压力供应***包含压缩机、电磁阀、压力调节器等，为软体操作器提供压力，并为形状重建提供压力测量。然后对软体操作器进行建模，使得其形状能够更好的呈现出来。
视觉标记和测量***主要基于二维图形标记。这些标记由黑色和白色方块构成，可以分组以形成梗多单色区域，其中标记的能被识别的编码，通过对标记的编码拍摄能够检测到其对应的ID，然后通过计算器编程库将其识别并呈现出来，将标记附着在软体操作器底部中部顶部周围，并用摄像机拍摄，就能使计算机检测到图像上的二维标记并在坐标系中计算它们的方向和位置，然后输出的数据则为软体操作器的全局位置与方向，每一个标记的位置变化以及旋转都会关联到其对应的软体操作器的位移和旋转，其标记图如图2所示。
最后则是要确保标记检测的精度，单个标记检测的质量主要取决于标记的大小、与相机距离及方向，所以错误的标记可能会导致后续计算的错误，为了选择最佳的标记，不仅要对标记的尺寸进行不同的重复性实验，也要通过检测不同的拍摄距离对其拍照成像后的影响，根据实验，在标记为0.5cm和相机距离为15cm时所达到的成像效果最好，实现了对软体操作器的形状识别。
本发明的有益效果是：对硬件要求低，只选用了单个摄像头与软体操作器结合；单摄影机的静态测量***能确保摄像机能从不同角度不同距离来对标记靶点来进行拍摄，通过多次不同形态的拍摄以及相关的视觉测量计算，能确保得到数据精度高，误差小；通过对软体操作器实时姿态的进一步精确确认，能确保软体操作器能被更好的应用于微创手术领域。
结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (6)

1.一种基于视觉标记的软体操作器形状识别方法，其特征在于，所述方法包括以下步骤：
步骤a、对软体操作器进行建模确定所述软体操作器形状；
步骤b、通过基于二维图形的定位***对所述软体操作器进行标记；
步骤c、通过摄像机和相机的静态测量***获取所述标记的标记点，来对所述软体操作器进行定位；
步骤d、通过对所述标记点进行精度检测检验得到最佳标记尺寸。
2.根据权利要求1所述的方法，其特征在于，在对所述软体操作器进行形状识别时，所述方法中设置有压力供应***，所述压力供应***包括压缩机、电磁阀和压力调节器。
3.根据权利要求1所述的方法，其特征在于，所述定位***是视觉标记和测量***，所述标记由黑色和白色方块构成，可以分组以形成梗多单色区域。
4.根据权利要求1所述的方法，其特征在于，步骤c中对所述软体操作器进行定位包括以下步骤：
步骤c1、识别所述标记的编码，通过拍摄检测得到所述编码对应的ID，再通过计算器编程库将所述ID识别并呈现出来；
步骤c2、将所述标记附着在所述软体操作器底部中部顶部周围；
步骤c3、连接摄像机与计算机，所述摄像机拍摄所述软体操作器得到图像；
步骤c4、所述计算机将检测到所述图像上的二维标记并在坐标系中计算方向和位置，所述计算机输出数据得到所述软体操作器的全局位置与方向。
5.根据权利要求1所述的方法，其特征在于，单个所述标记检测的质量主要取决于标记的大小、与相机距离及方向。
6.根据权利要求1所述的方法，其特征在于，在标记为0.5cm和相机距离为15cm时所达到的成像效果最佳。
CN202011456499.9A 2020-12-11 2020-12-11 一种基于视觉标记的软体操作器形状识别方法 Pending CN112781521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011456499.9A CN112781521A (zh) 2020-12-11 2020-12-11 一种基于视觉标记的软体操作器形状识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011456499.9A CN112781521A (zh) 2020-12-11 2020-12-11 一种基于视觉标记的软体操作器形状识别方法

Publications (1)

Publication Number Publication Date
CN112781521A true CN112781521A (zh) 2021-05-11

Family

ID=75750943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011456499.9A Pending CN112781521A (zh) 2020-12-11 2020-12-11 一种基于视觉标记的软体操作器形状识别方法

Country Status (1)

Country Link
CN (1) CN112781521A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115847430A (zh) * 2023-02-27 2023-03-28 中国人民解放军国防科技大学 一种软体机械臂的无模型预测全位形控制方法及***

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59210308A (ja) * 1983-05-16 1984-11-29 Kansai Electric Power Co Inc:The 三次元座標測定装置
US5922018A (en) * 1992-12-21 1999-07-13 Artann Corporation Method for using a transrectal probe to mechanically image the prostate gland
CN1617175A (zh) * 2004-12-09 2005-05-18 上海交通大学 基于标记点的人肢体三维建模方法
CN1975323A (zh) * 2006-12-19 2007-06-06 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
CN101509763A (zh) * 2009-03-20 2009-08-19 天津工业大学 单目高精度大型物体三维数字化测量***及其测量方法
CN102106758A (zh) * 2011-03-21 2011-06-29 北京航空航天大学 立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法
US20130131504A1 (en) * 2011-10-28 2013-05-23 Navident Technologies, Inc. Soft body automatic registration and surgical monitoring system
CN105496556A (zh) * 2015-12-03 2016-04-20 中南民族大学 一种用于手术导航的高精度光学定位***
CN107543496A (zh) * 2017-03-23 2018-01-05 四川精视科技有限公司 一种基于散斑图像匹配的立体视觉测量人工标记点
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航***及方法
CN109341559A (zh) * 2018-09-30 2019-02-15 天津大学 一种基于双目视觉原理的航空发动机机匣变形测量方法
CN110328679A (zh) * 2019-04-09 2019-10-15 清华大学 一种内嵌视觉的气驱软体手指
CN110501342A (zh) * 2019-08-20 2019-11-26 北京信息科技大学 一种筒子纱纱杆定位视觉检测方法
CN111300381A (zh) * 2020-01-20 2020-06-19 兰州理工大学 基于数字孪生三维模型的软体机器人或驱动器***及其建模方法
CN111381515A (zh) * 2020-01-20 2020-07-07 兰州理工大学 基于数字孪生五维模型的软体机器人或驱动器***及其建模方法
CN111452045A (zh) * 2020-03-30 2020-07-28 北京伟景智能科技有限公司 一种基于立体视觉的钢筋识别标记***和方法
CN111536872A (zh) * 2020-05-12 2020-08-14 河北工业大学 基于视觉的二维平面测距装置及方法、标记点识别装置
CN111696162A (zh) * 2020-06-11 2020-09-22 中国科学院地理科学与资源研究所 一种双目立体视觉精细地形测量***及方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59210308A (ja) * 1983-05-16 1984-11-29 Kansai Electric Power Co Inc:The 三次元座標測定装置
US5922018A (en) * 1992-12-21 1999-07-13 Artann Corporation Method for using a transrectal probe to mechanically image the prostate gland
CN1617175A (zh) * 2004-12-09 2005-05-18 上海交通大学 基于标记点的人肢体三维建模方法
CN1975323A (zh) * 2006-12-19 2007-06-06 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
CN101509763A (zh) * 2009-03-20 2009-08-19 天津工业大学 单目高精度大型物体三维数字化测量***及其测量方法
CN102106758A (zh) * 2011-03-21 2011-06-29 北京航空航天大学 立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法
US20130131504A1 (en) * 2011-10-28 2013-05-23 Navident Technologies, Inc. Soft body automatic registration and surgical monitoring system
CN105496556A (zh) * 2015-12-03 2016-04-20 中南民族大学 一种用于手术导航的高精度光学定位***
CN107543496A (zh) * 2017-03-23 2018-01-05 四川精视科技有限公司 一种基于散斑图像匹配的立体视觉测量人工标记点
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航***及方法
CN109341559A (zh) * 2018-09-30 2019-02-15 天津大学 一种基于双目视觉原理的航空发动机机匣变形测量方法
CN110328679A (zh) * 2019-04-09 2019-10-15 清华大学 一种内嵌视觉的气驱软体手指
CN110501342A (zh) * 2019-08-20 2019-11-26 北京信息科技大学 一种筒子纱纱杆定位视觉检测方法
CN111300381A (zh) * 2020-01-20 2020-06-19 兰州理工大学 基于数字孪生三维模型的软体机器人或驱动器***及其建模方法
CN111381515A (zh) * 2020-01-20 2020-07-07 兰州理工大学 基于数字孪生五维模型的软体机器人或驱动器***及其建模方法
CN111452045A (zh) * 2020-03-30 2020-07-28 北京伟景智能科技有限公司 一种基于立体视觉的钢筋识别标记***和方法
CN111536872A (zh) * 2020-05-12 2020-08-14 河北工业大学 基于视觉的二维平面测距装置及方法、标记点识别装置
CN111696162A (zh) * 2020-06-11 2020-09-22 中国科学院地理科学与资源研究所 一种双目立体视觉精细地形测量***及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
孙广开等: "软体气动驱动器弯曲变形光纤传感与形状重构", 光学精密工程, vol. 27, no. 5, pages 1052 - 1059 *
李朋涛;孙广开;何彦霖;孟凡勇;王宏;: "软体操作器结构设计及植入式光纤传感方法", 光学技术, no. 02, pages 208 - 214 *
李朋涛等: "软体操作器结构设计及植入式光纤传感方法", 《光学技术》 *
李朋涛等: "软体操作器结构设计及植入式光纤传感方法", 《光学技术》, no. 02, 15 March 2020 (2020-03-15), pages 82 - 88 *
李祥伟等: "软体心脏固定器柔性支撑臂变刚度性能分析与测试", 中国测试, vol. 46, no. 6, pages 140 - 146 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115847430A (zh) * 2023-02-27 2023-03-28 中国人民解放军国防科技大学 一种软体机械臂的无模型预测全位形控制方法及***

Similar Documents

Publication Publication Date Title
US12016669B2 (en) Flexible instrument localization from both remote and elongation sensors
CN107214692A (zh) 机器人***的自动标定方法
US20130272572A1 (en) Apparatus and method for mapping a three-dimensional space in medical applications for diagnostic, surgical or interventional medicine purposes
CN110613511B (zh) 手术机器人避障方法
CN112476489B (zh) 基于自然特征的柔性机械臂同步测量方法及***
KR101638477B1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
RU2466858C1 (ru) Способ контроля точности контурных перемещений промышленных роботов
CN113510708B (zh) 一种基于双目视觉的接触式工业机器人自动标定***
CN109227538A (zh) 一种基于视觉的柔性机械臂的定位控制方法及***
CN113172659B (zh) 基于等效中心点识别的柔性机器人臂形测量方法及***
CN104408299A (zh) 基于距离识别冗余运动学参数的机器人位置误差补偿方法
CN109953767B (zh) 用于校准医学成像设备、用于执行配准的方法以及***
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP5104248B2 (ja) 物体認識装置およびロボット装置
CN112781521A (zh) 一种基于视觉标记的软体操作器形状识别方法
Roos-Hoefgeest et al. Mobile robot localization in industrial environments using a ring of cameras and ArUco markers
CN101524291A (zh) 机器人辅助外科手术空间映射方法
Fan et al. An automatic robot unstacking system based on binocular stereo vision
WO2019153985A1 (zh) 一种基于陀螺仪的机械手臂热源追踪辅助***及其方法
CN116793334A (zh) 骨科手术导航***的精度测试***及测试方法
CN118119972A (zh) 生成用于相机校准的相机模型的方法和***
CN115005991A (zh) 手术导航装置的精度检测方法及手术导航精度检测装置
Yunardi et al. Implementation of motion capture system for trajectory planning of leg swing simulator
CN114343848A (zh) 一种标记块的长度测量***及手术机器人***
JP2014117409A (ja) 身体関節位置の計測方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination