CN102238916B - 环境特性估计和图形显示 - Google Patents
环境特性估计和图形显示 Download PDFInfo
- Publication number
- CN102238916B CN102238916B CN2009801465037A CN200980146503A CN102238916B CN 102238916 B CN102238916 B CN 102238916B CN 2009801465037 A CN2009801465037 A CN 2009801465037A CN 200980146503 A CN200980146503 A CN 200980146503A CN 102238916 B CN102238916 B CN 102238916B
- Authority
- CN
- China
- Prior art keywords
- mechanical property
- environment
- surgical operation
- instrument
- operation robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 claims abstract description 51
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000002559 palpation Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 40
- 230000007613 environmental effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 210000000056 organ Anatomy 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 1
- 239000002131 composite material Substances 0.000 abstract 2
- 210000001519 tissue Anatomy 0.000 description 68
- 230000002308 calcification Effects 0.000 description 26
- 238000012360 testing method Methods 0.000 description 15
- 210000004872 soft tissue Anatomy 0.000 description 12
- 238000002324 minimally invasive surgery Methods 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000013016 damping Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 238000002790 cross-validation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 4
- 239000007779 soft material Substances 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000005003 heart tissue Anatomy 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007675 cardiac surgery Methods 0.000 description 2
- 238000013130 cardiovascular surgery Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003756 stirring Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010006272 Breast mass Diseases 0.000 description 1
- 206010054949 Metaplasia Diseases 0.000 description 1
- 239000002033 PVDF binder Substances 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000000080 chela (arthropods) Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003085 diluting agent Substances 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 229920005839 ecoflex® Polymers 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000002091 elastography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015689 metaplastic ossification Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 229920002981 polyvinylidene fluoride Polymers 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
- G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
- G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
- A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35506—Camera images overlayed with graphics, model
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37065—Map of stiffness, compliance of object
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37357—Force, pressure, weight or deflection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45117—Medical, radio surgery manipulator
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Gynecology & Obstetrics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Instructional Devices (AREA)
- Manipulator (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种外科手术机器人,包括:成像***,其包括至少一个摄像机;处理器,其与成像***通信;操纵***,其与处理器通信;以及视觉显示器,其与处理器通信。一种处理器,其能够进行操作以基于工具-环境相互作用数据的环境模型,针对环境的区域计算硬度估计,创建包括叠加在来自至少一个摄像机的环境图像上的硬度估计的硬度图的合成图像,并且在视觉显示器上输出该合成图像。
Description
相关申请的交叉引用
本申请要求2008年10月20日提交的美国临时申请第61/106,683号的优先权,其全部内容通过引用合并于此。
按照国家科学基金颁发的批准号IIS-0347464、EEC-9731748和CNS-0722943以及国家卫生研究所颁发的批准号R01-EB002004的条款的规定,美国政府具有本发明的已支付许可,并且在有限的情形下具有要求专利所有者在合理的方面给予他人许可的权利。
技术领域
本发明涉及环境特性估计和图形显示,尤其涉及一种可进行操作以图形地显示环境特性估计的外科手术机器人。
背景技术
将本说明书中的任何位置引用的所有文献,包括文章、出版的专利申请和专利的内容,通过引用合并于此。
诸如达芬奇(直觉外科手术公司(Intuitive Surgical Inc.),美国加利福尼亚州桑尼维尔市)的遥控机器人辅助外科手术***相对于传统的微创手术(MIS)具有大量优点。其增强了灵敏性,使得能够进行更精密的运动,并且提供三维(3D)可视化。然而,缺乏触觉反馈被视为这种遥控机器人辅助微创手术(RMIS)***的缺点之一(F.W.Mohr,V.FaIk,A.Diegeler,T.Walther,J.F.Gummert,J.Bucerius,S.Jacobs,和R.Autschbach,″Computer-enhanced′robotic′-cardiac surgery:experiencein 148 patients,″The Journal of Thoracic and Cardiovascular Surgery,vol.121,no.5,pp.842-853,2001)。虽然许多研究小组,例如M.Mahvash,J.Gwilliam,R.Agarwal,B.Vagvolgyi,L.-M.Su,D.D.Yuh和A.M.Okamura,″Force-feedback surgical teleoperator:Controller design andpalpation experiments,″16th Symposium on Haptic Interfaces for VirtualEnvironments and Teleoperator Systems,pp.465-471,2008;H.Mayer,I.Nagy,A.Knoll,E.U.Braun,R.Bauernschmitt和R.Lange,″Hapticfeedback in a telepresence system for endoscopic heart surgery,″Presence:Teleoperators and Virtual Environments,vol.16,no.5,pp.459-470,2007;以及M.Tavakoli,R.Patel,M.Moallem和A.Aziminejad,Haptics forTeleoperated Surgical Robotic Systems(New Frontiers in Robotics series),World Scientific Publishing Company,2008,研究了具有用于外科手术应用的触觉反馈的遥控操作,但是稳定性和透明度之间的折中以及诸如成本、生物适应性和可消毒性的力传感器问题,使得难以开发具有逼真的触觉反馈的实用***(基于当前在市场上可获得的外科手术机器人)(A.M.Okamura,L.N.Verner,C.E.Reiley,和M.Mahvash,″Haptics forrobot-assisted minimally invasive surgery,″Proceedings of theInternational Symposium Robotics Research,Hiroshima,Japan,Nov.26-29,2007)和(A.M.Okamura,″Haptic feedback in robot-assisted minimallyinvasive surgery,″Current Opinion in Urology,vol.19,no.1,pp.102-107,2009)。因此,使用现有的RMIS***的外科医生原则上依赖于诸如组织变形的视觉线索来估计远程工具对组织施加多大的力。
在手术过程中,外科医生经常手动地对生物组织进行触诊以检查解剖学结构。触诊提供力位移和分布式触觉信息两者。可以通过异常组织和正常组织的诸如硬度的机械特性来区分组织异常和正常组织(例如K.Hoyt,B.Castaneda,M.Zhang,P.Nigwekar,P.A.di Sant′agnese,J.V.Joseph,J.Strang,D.J.Rubens,和K.J.Parker.Tissue elasticity properties asbiomarkers for prostate cancer.Cancer Biomark,4(4-5):213-225,2008.Neurophys,73:88,1995)。在冠状动脉旁路移植外科手术(CABG)中,触诊对于检测在哪放置移物尤其有利。最好移植柔软的没有得病的动脉,难以在视觉上区分没有得病的动脉和钙化的动脉。不应当将移植物与钙化的动脉部分相邻地放置或者直接放置到钙化的动脉部分上。在没有力反馈的情况下,在心脏组织中找到钙化的动脉的位置是非常有挑战性的,外科医生可能不能确定最佳的吻合位置(F.W.Mohr,V.FaIk,A.Diegeler,T.Walther,J.F.Gummert,J.Bucerius,S.Jacobs,和R.Autschbach,″Computer-enhanced′robotic′cardiac surgery:experience in 148patients,″The Journal of Thoracic and Cardiovascular Surgery,vol.121,no.5,pp.842-853,2001)。
因此,存在对用于进行环境特性估计的改进的外科手术机器人、部件和方法的需要。
发明内容
根据本发明的实施例的外科手术机器人具有:成像***,包括至少一个摄像机;处理器,其与成像***通信;操纵***,其与处理器通信;以及视觉显示器,其与处理器通信。处理器能够进行操作以基于工具-环境相互作用数据的环境模型,针对环境的区域计算机械特性估计,创建包括叠加在来自至少一个摄像机的环境图像上的机械特性估计的机械特性图的合成图像,并且在视觉显示器上输出合成图像。
根据本发明的实施例的与外科手术机器人一起使用的数据处理单元具有:至少一个输入端口,适合于从外科手术机器人接收环境图像,并且从外科手术机器人接收工具-环境相互作用数据;叠加部件,其与至少一个输入端口通信;以及输出端口,其与叠加部件通信。叠加部件适合于基于工具-环境相互作用数据的环境模型,针对环境的区域计算机械特性估计,创建包括叠加在环境图像上的机械特性图的合成图像,并且将合成图像输出到输出端口。
根据本发明的实施例的提供指令的有形机器可读存储介质,当由计算平台执行该指令时,该指令使计算平台执行包括如下方法的操作,该方法包括:根据对环境的区域的触诊,确定工具-环境相互作用数据;基于工具-环境相互作用数据计算环境的区域的机械特性估计;接收环境图像;生成包括叠加在环境图像上的机械特性估计的机械特性图的合成图像;以及在视觉显示器上输出合成图像。
附图说明
通过参考附图阅读下面的详细说明,可以更好地理解本发明,在附图中:
图1是根据本发明的实施例的用于组织特性估计和图形显示的外科手术机器人的示意图;
图2A、2B和2C是根据本发明的实施例的触诊工具附件的示意图;
图3是示出根据本发明的实施例的叠加在环境图像上的机械特性图的合成图像的图;
图4A和4B示出根据本发明的实施例的使用质量阻尼弹簧(mass-damper-spring)模型计算估计的力时的示出(顶部)力对经过的时间和(底部)力对位移的(4A)人造软组织和(4B)人造钙化动脉的样本图表;
图5A和5B示出根据本发明的实施例的来自一个人造钙化动脉的(5A)力对经过的时间和(5B)力对位移的力图表;
图6示出根据本发明的实施例的的达芬奇外科手术***的定制版本的示意图,其中主操纵器和3D视觉显示***位于右侧,而患者侧操纵器和立体摄像机在左侧;
图7A和7B示出根据本发明的实施例的(7A)对重叠概率密度函数求和时的置信水平以及(7B)指示硬度的改变的色调和指示置信水平的饱和度的图表;以及
图8A至8D是在根据本发明的实施例产生在图像中示出的下层环境的硬度图的情况下的合成图像的图。
具体实施方式
在描述在附图中示出的本发明的实施例时,为了清楚,使用特定术语。然而,本发明不旨在被限制到如此选择的特定术语。应当理解,每个具体元素包括以类似的方式工作以实现类似的目的的所有技术等同物。
图1是根据本发明的实施例的用于环境特性估计和图形显示的外科手术机器人100的示意图。外科手术机器人100包括主控制台102和患者侧操纵器104。主控制台102包括视觉显示器106和操纵器108。患者侧操纵器104包括操纵***110。在一个实施例中,操纵***110包括操纵工具112和成像***114。在该实施例中,外科手术机器人100包括包含至少一个摄像机的成像***114、与成像***114通信的处理器116、与处理器116通信的操纵***110和与处理器116通信的视觉显示器106。
处理器116基于工具-环境相互作用数据的环境模型针对环境的区域计算机械特性估计,创建包括叠加在来自至少一个摄像机的环境图像上的机械特性估计的机械特性图的合成图像,并且在视觉显示器106上输出合成图像。
在一个实施例中,机械特性是硬度。硬度可以是线性或非线性的。在另一实施例中,机械特性是线性或非线性阻尼。在另一实施例中,机械特性是阻尼。在另一实施例中,机械特性是可以由***检测的,诸如但不限于硬度、阻尼或者质量等的任意机械特性。
在一个实施例中,用户可以使用外科手术机器人100提供合成图像,因此用户可以基于估计的组织硬度来识别组织异常的区域。使用来自对组织的触诊的工具-环境相互作用数据计算估计的硬度。用户操纵主控制台102的操纵器108,以手动地控制外科手术机器人100来对组织区域进行触诊。可选地,用户选择进行触诊的组织的区域,但是外科手术机器人100控制对组织区域的触诊。在另一实施例中,外科手术机器人100自动对包括组织异常区域的组织进行触诊。
为了对组织区域进行触诊,外科手术机器人100的处理器116指示操纵***110使用操纵工具112对组织的区域进行触诊。处理器116接收触诊过程中在操纵工具112和组织之间相互作用的工具-环境相互作用数据。
工具-环境相互作用数据包括对组织区域进行触诊时的操纵工具112的位置的数据。工具-环境相互作用数据还可以包括其它数据,例如操纵工具112的速度和加速度、操纵工具112对组织施加的力、或者操纵工具112对组织引起的位移量。在操纵工具112与组织接触时,操纵工具112的许多特征也与组织的特征相对应。例如,在操纵工具112与组织接触时,操纵工具112的位置改变对应于组织的位置改变。
处理器116可以从多种源接收工具-环境相互作用数据。在一个实施例中,处理器116可以通过操纵***110中的位置传感器,或者通过对来自成像***114的数据的分析,知道操纵工具112的位置。处理器116监视操纵工具112的位置,并且基于操纵工具112的位置的改变计算操纵工具的速度和加速度。可选地,操纵工具112包括与处理器116通信的速度和加速度传感器。下面,关于图2A、2B和2C进一步描述其它工具-环境相互作用数据的确定。
在一次触诊过程中,处理器116接收多组工具-环境相互作用数据。然后,基于工具-环境相互作用数据,处理器116针对进行触诊的组织的区域计算表示估计的硬度的硬度估计。
为了针对组织的区域计算硬度估计,处理器116使用组织模型,并对组织模型应用工具-环境相互作用数据,以估计组织模型的未知参数。可以使用各种组织模型,例如但不限于Kelvin-Voigt模型、质量阻尼弹簧模型、Hunt-Crossley模型、二阶多项式模型、三阶多项式模型、四阶多项式模型或者二阶多项式和依赖于速度的模型。也可以使用用于估计组织模型的未知参数的各种估计技术,例如但不限于递归最小二乘、自适应识别、卡尔曼滤波器和信号处理。处理器116从估计的组织模型的未知参数获得硬度估计。
使用硬度估计和来自成像***114的环境图像,处理器116创建合成图像。合成图像包括叠加在来自至少一个摄像机的环境图像上的硬度估计的硬度图。硬度图是组织的一个或更多个区域的计算硬度估计的图形表示,下面关于图3进一步描述硬度图。
处理器116创建合成图像,使得硬度图的各区域对应于硬度图叠加在环境图像中的环境的各区域。创建合成图像包括基于硬度估计到环境图像的转化来创建硬度图。处理器116分析环境图像,以将环境的区域转化为示出环境的区域的环境图像的区域。然后,基于该转化,处理器116创建硬度图,并且将硬度图叠加在环境图像上。处理器116以半透明的方式叠加硬度图,因此在合成图像中下层环境图像仍然是可视的。然后,在视觉显示器106上输出合成图像。根据一个实施例,处理器116实时地创建合成图像。
视觉显示器106向用户示出合成图像。视觉显示器106是立体显示器。视觉显示器106通过一个显示器针对一只眼睛的两个单独的显示器向用户示出三维立体视图。显示器中的每一个示出与针对该眼睛的环境的视点相对应的不同的合成图像。在另一实施例中,代替地,视觉显示器106是非立体显示器118。
图2A、2B和2C是根据本发明的实施例的触诊工具附件的示意图。图2A描绘了操纵工具112的附件的实施例。附件包括仪器延伸部件和透明塑料盘。如图2B所示,仪器延伸部件附连到操纵工具112。虽然在该实施例中,透明塑料盘是用于对组织进行触诊的接触点,但是盘可以由任何其它合适的材料制成,并且可以具有任何其它合适的形状。另外,代替分离的附件,可以代替地将附件包含到操纵工具112中。
如图2C所示,在一个实施例中,操纵工具112包括工具-环境相互作用传感器。工具-环境相互作用传感器是力传感器。操纵工具112被布置为由力传感器测量操纵工具112对环境施加的力。基于力传感器测量的力的改变,处理器116还可以确定操纵工具112和环境之间接触和不接触的时刻。工具-环境相互作用数据包括力传感器测量的力,处理器116基于测量的力和机器人位置计算硬度估计。
在另一实施例中,遵循M.Mahvash,J Gwilliam,R.Agarwal,B.Vagvolgyi,L.Su,D.D.Yuh,和A.M.Okamura,″Force-FeedbackSurgical Teleoperator:Controller Design and Palpation Experiments″,16th Symposium on Haptic Interfaces for Virtual Environments andTeleoperator Systems,pp.465-471,Reno,NV,March 2008的方法,不由力传感器测量,而从机器人控制器估计工具-环境相互作用力。在这种方法中,使用命令的机器人运动和实际机器人运动之间的误差来估计对机器人末端执行器施加的力。使用机器人的动态模型,在来自环境(例如组织)的力和来自机器人的内部机械部件的力(例如惯性和摩擦)之间进行区分。
在另一实施例中,从成像***114视觉地获得工具-环境相互作用数据。处理器116指示操纵工具112对环境施加已知量的力。基于来自图像***114的图像,处理器116识别操纵工具112和环境之间的接触。然后,处理器116可以基于对环境图像的视觉分析或者基于操纵工具112的位置数据的改变,确定由操纵工具112引起的环境中的位移量。工具-环境相互作用数据包括位移量,并且处理器116基于位移量计算硬度估计。根据另一实施例,外科手术机器人100使用工具-环境相互作用传感器和视觉地确定的工具-环境相互作用数据两者。
图3是示出根据本发明的实施例的叠加在环境图像上的硬度图的合成图像的图。处理器116根据硬度估计创建组织的硬度图。硬度图是估计的组织硬度的图形表示。在一个实施例中,硬度图是色调-饱和度-亮度(HSL)表示。色调对应于硬度值,并且使用加权高斯函数计算饱和度。基于与触诊点的距离,处理器116定义周围区域的置信水平,其被解释为饱和度值。在一个实施例中,当多个置信水平叠加在同一点时,混合色调以形成混合连续着色图。处理器116对置信水平求和,以提高触诊点处的可靠性。在一个实施例中,随着新数据的收集,处理器116实时地更新硬度图。
在一个实施例中,硬度图是三维地图(三维嵌入的表面地图),处理器116将三维硬度图叠加在环境图像上。处理器116接收环境的立体视图。立体视图包括来自成像***114的两个环境图像。使用立体视图,处理器116如立体视图所示地确定环境的轮廓。然后,处理器116创建合成图像,使得三维硬度图对应于环境的轮廓。
本发明的另一实施例针对一种与外科手术机器人一起使用的数据处理单元。例如,数据处理单元可以与参考图1中的外科手术机器人描述的处理器116类似。数据处理单元具有:至少一个输入端口,适合于从外科手术机器人接收环境图像,并且从外科手术机器人接收工具-环境相互作用数据;叠加部件,其与至少一个输入端口通信;以及输出端口,其与叠加部件通信。叠加部件适合于基于工具-环境相互作用数据的环境模型,针对环境的区域计算机械特性估计,创建包括叠加在环境图像上的机械特性估计的机械特性图的合成图像,并且将合成图像输出到输出端口。
本发明的另一实施例针对一种提供指令的有形机器可读存储介质,当由计算平台执行该指令时,该指令使计算平台执行包括如下方法的操作,根据本发明的一个实施例,该方法包括:根据对环境的区域的触诊,确定工具-环境相互作用数据;基于工具-环境相互作用数据计算环境的区域的机械特性估计;接收环境图像;生成包括叠加在环境图像上的机械特性估计的机械特性图的合成图像;以及在视觉显示器上输出合成图像。
示例
在外科手术过程中对组织和器官的手动触诊为临床医生提供对于诊断和外科手术计划的有价值的信息。在当今的机器人辅助微创手术***中,缺乏可感知的触觉反馈使得检测器官中的肿瘤和心脏组织中的钙化动脉具有挑战性。该示例呈现允许操作者区分硬组织和软组织的自动化的组织特性估计方法和实时图形叠加。首先,我们用实验地评价人造组织的特性,并且比较7个可能的数学组织模型。自验证以及交叉验证确认Hunt-Crossley模型最好地描述用实验地观察到的人造组织特性,并且适合于我们的目的。其次,我们呈现使用遥控外科手术机器人对人造组织进行触诊,并且通过递归最小二乘实时地估计Hunt-Crossley模型的硬度的***的发展。使用组织表面处的半透明盘上的色调-饱和度-亮度表示,创建表示组织硬度的实时视觉叠加。色调描绘触诊点处的硬度,并且基于与该点的距离计算饱和度。由简单的插值技术创建连续硬度彩色图。在实验中,图形叠加成功地示出了隐藏在人造组织中的人造钙化动脉的位置。
在该工作中,我们提出用于显示隐藏在软物质中的硬物体,例如心脏组织内的钙化动脉的位置的实时图形叠加技术。我们的方法使用递归最小二乘(RLS)估计组织的机械特性,同时将着色的硬度图叠加在外科医生的视觉显示器上。如图3所示,图形叠加清楚地显示人造钙化动脉的位置。另一应用是对肿瘤的在线检测。由于开发专门为进行触诊而设计的简单的力感测仪器比力感测灵敏操纵仪器更容易,因此我们提出的技术也可以作为对传统力反馈的替代来实现。
组织模型
已知人体生物组织呈现非线性特性,并且包括非均匀结构。然而,为了计算效率,许多研究者采用简单的线性组织模型。特别地,通常使用诸如弹簧模型或者Kelvin-Voigt模型的经典线性组织模型(R.Corteso,J.Park,和O.Khatib,″Real-time adaptive control for haptictelemanipulation with kalman active observers,″IEEE Transactions onRobotics,vol.22,no.5,pp.987-999,2006)(R.Corteso,W.Zarrad,P.Poignet,O.Company,和E.Dombre,″Haptic control design forrobotic-assisted minimally invasive surgery,″IEEE InternationalConference on Intelligent Robots and Systems,pp.454-459,2006)(G.DeGersem,H.V.Brussel,和J.V.Sloten,″Enhanced haptic sensitivity forsoft tissues using teleoperation with shaped impedance reflection,″WorldHaptics Conference(WHC)CD-ROM Proceedings,2005)(S.Misra和A.M.Okamura,″Environment parameter estimation during bilateraltelemanipulation,″14th Symposium on Haptic Interfaces for VirtualEnvironments and Teleoperator Systems,pp.301-307,2006)(X.Wang,P.X.Liu,D.Wang,B.Chebbi,和M.Meng,″Design of bilateral teleoperatorsfor soft environments with adaptive environmental impedanceestimation,″IEEE International Conference on Robotics and Automation,pp.1127-1132,2005)。Diolaiti等人(N.Diolaiti,C.Melchiorrl,和S.Stramigioli,″Contact impedance estimation for robotic systems,″IEEETransactions on Robotics,vol.21,no.5,pp.925-935,2005)使用Hunt-Crossley模型(K.Hunt和F.Crossley,″Coefficient of restitutioninterpreted as damping in vibroimpact,″ASME Journal of AppliedMechanics,vol.42,no.2,pp.440-445,1975)。非线性Hunt-Crossley模型考虑在Kelvin-Voigt模型中观察到的碰撞过程中的能量损失。虽然有限元建模可以提供更好的组织建模,但是其计算复杂度限制了其在实时应用的实用性。Misra等人(S.Misra,K.T.Ramesh,和A.M.Okamura,″Modeling of tool-tissue interactions for computer-based surgicalsimulation:A literature review,″Presence:Teleoperators and VirtualEnvironments,vol.17,no.5,pp.463-491,2008)回顾了关于工具-组织相互作用方法的文献。
估计技术
对于在线环境参数估计,存在几种方法,包括RLS(X.Wang,P.X.Liu,D.Wang,B.Chebbi,和M.Meng,″Design of bilateral teleoperators forsoft environments with adaptive environmental impedance estimation,″IEEE International Conference on Robotics and Automation,pp.1127-1132,2005)(N.Diolaiti,C.Melchiorri,和S.Stramigioli,″Contact impedanceestimation for robotic systems,″IEEE Transactions on Robotics,vol.21,no.5,pp.925-935,2005)(M.B.Colton和J.M.Hollerbach,″Identification of nonlinear passive devices for haptic simulations,″WHC′05:Proceedings of the First Joint Eurohaptics Conference and Symposiumon Haptic Interfaces for Virtual Environment and Teleoperator Systems,(Washington,DC,USA),pp.363-368,IEEE Computer Society,2005)(L.J.Love和W.J.Book,″Environment estimation for enhanced impedancecontrol,″IEEE International Conference on Robotics and Automation,pp.1854-1858,1995),自适应识别(S.Misra和A.M.Okamura,″Environment parameter estimation during bilateral telemanipulation,″14th Symposium on Haptic Interfaces for Virtual Environments andTeleoperator Systems,pp.301-307,2006)(K.Hashtrudi-Zaad和S.E.Salcudean,″Adaptive transparent impedance reflecting teleoperation,″IEEE International Conferenceon Robotics and Automation,pp.1369-1374,1996)(H.Seraji和R.Colbaugh,″Force tracking in impedance control,″IEEE Transactions on Robotics,vol.16,no.1,pp.97-117,1997)(S.K.Singh和D.O.Popa,″An analysis of some fundamental problems inadaptive control of force and impedance behavior:Theory andexperiments,″IEEE Transactions on Robotics and Automation,vol.11,no.6,pp.912-921,1995),卡尔曼滤波器方法(R.Corteso,J.Park,和O.Khatib,″Realtime adaptive control for haptic telemanipulation withkalman active observers,″IEEE Transactions on Robotics,vol.22,no.5,pp.987-999,2006)(R.Corteso,W.Zarrad,P.Poignet,O.Company,和E.Dombre,″Haptic control design for robotic-assisted minimally invasivesurgery,″IEEE International Conference on Intelligent Robots and Systems,pp.454-459,2006)(G.De Gersem,H.V.Brussel,和J.V.Sloten,″Enhanced haptic sensitivity for soft tissues using teleoperation withshaped impedance reflection,″World Haptics Conference(WHC)CD-ROMProceedings,2005),以及多估计器技术(T.Yamamoto,M.Bernhardt,A.Peer,M.Buss,和A.M.Okamura,″Multi-estimator technique forenvironment parameter estimation during telemanipulation,″IEEEInternational Conference on Biomedical Robotics and Biomechatronics,pp.217-223,2008)。Erickson等人(D.Erickson,M.Weber,和I.Sharf,″Contact stiffness and damping estimation for robotic systems,″TheInternational Journal of Robotics Research,vol.22,no.1,pp.41-57,2003)回顾并比较了四种方法:RLS、间接自适应控制、模型基准自适应控制和信号处理技术。他们估计环境硬度和阻尼,以改进机器人组件操作的应用的力跟踪和阻抗控制的稳定性。他们得出结论,在四种方案中,具有持久激励的间接自适应控制示出最佳性能。Yamamoto等人(T.Yamamoto,M.Bernhardt,A.Peer,M.Buss,和A.M.Okamura,″Multi-estimatortechnique for environment parameter estimation duringtelemanipulation,″IEEE International Conference on Biomedical Roboticsand Biomechatronics,pp.217-223,2008)比较了RLS、自适应识别和针对外科手术应用估计Kelvin-Voigt模型的未知参数的多估计器技术。他们推荐RLS或多估计器用于在线组织参数估计。
组织特性估计
使用超声波可以找到一些硬夹杂(hard inclusion),先前的工作研究了使用达芬奇外科手术***的腹腔镜检查超声波数据的直观可视化(J.Leven,D.Burschka,R.Kumar,G.Zhang,S.Blumenkranz,X.Dai,M.Awad,G.D.Hager,M.Marohn,M.Choti,C.Hasser,和R.H.Taylor,″Davinci canvas:A telerobotic surgical system with integrated,robot-assisted,laparoscopic ultrasound capability,″Medical ImageComputing and Computer-Assisted Intervention(MICCAI),pp.811-818,2005)。一般使用超声波并且显示软组织中的应变分布的弹性图像是检测肿瘤的有效方法。弹性图像的主要缺点是计算上昂贵(J.Ophir,S.Alam,B.Garra,F.Kallel,E.Konofagou,T.Krouskop,C.Merritt,R.Righetti,R.Souchon,S.Srinivasan,和T.Varghese,″Elastography:Imaging theelastic properties of soft tissues with ultrasound,″Journal of MedicalUltrasonics,vol.29,pp.155-171,2002)。已经开发了专门对肿瘤进行定位的一些新型的设备,例如触觉成像(P.S.Wellman,E.P.Dalton,D.Krag,K.A.Kern,和R.D.Howe,″Tactile imaging of breast masses first clinicalreport,″Archives of Surgery,vol.136,pp.204-208,2001),触觉成像***(A.P.Miller,W.J.Peine,J.S.Son,和Z.T.Hammoud,″Tactile imagingsystem for localizing lung nodules during video assisted thoracoscopicsurgery,″IEEE International Conference on Robotics and Automation,pp.2996-3001,2007),活动频闪成像器(M.Kaneko,C.Toya,和M.Okajima,″Active strobe imager for visualizing dynamic behavior of tumors,″IEEEInternational Conference on Robotics and Automation,pp.3009-3014,2007),PVDF感测钳(J.Dargahi,S.Najarian,和R.Ramezanifard,″Graphical display of tactile sensing data with application in minimallyinvasive surgery,″Canadian Journal of Electrical and ComputerEngineering,vol.32,no.3,pp.151-155,2007),触觉感测仪器(A.L.Trejos,J.Jayender,M.T.Perri,M.D.Naish,R.V.Patel,和R.A.Malthaner,″Experimental evaluation of robot-assisted tactile sensing forminimally invasive surgery,″IEEE International Conference onBiomedical Robotics and Biomechatronics,pp.971-976,2008),以及气垫力敏感探针(K.Althoefer,D.Zbyszewski,H.Liu,P.Puangmali,L.Seneviratne,B.Challacombe,P.Dasgupta,和D.Murphy,″Air-cushionforce sensitive probe for soft tissue investigation during minimallyinvasive surgery,″in IEEE Conference on Sensors,pp.827-830,2008),但是还未在RMIS***中测试任何一个。
该示例描述了(1)数学人造人造组织模型的有效性,以及(2)使用该模型和遥控机器人来创建实时图形叠加以表示组织硬度,由此使得操作者能够识别软物质内的可视硬夹杂。
为了选择准确的人造组织的数学模型,我们分析了实验工具-环境相互作用数据并且比较了7个候选模型。通过使用最小二乘法进行后处理,我们基于自验证和交叉验证两者中的力估计误差评价了模型准确度。由于Hunt-Crossley模型的准确度和从软物质区分硬物体的硬度项,选择了Hunt-Crossley模型。由于我们的长期目的是对非齐次并且复杂的真实的组织进行建模,这两种验证对于对组织动态行为进行数学近似是有用的。
我们还开发出了基于估计的组织特性来显示硬度分布的在线图形叠加技术。使用色调-饱和度-亮度(HSL)表示,将半透明着色硬度图叠加在环境图像上。色调对应于硬度值,通过加权高斯函数计算饱和度。基于距触诊点的距离,我们定义周围区域的置信水平,其被解释为饱和度值。当将多个置信水平叠加在同一点时,对色调进行混合以形成连续着色图。此外,对置信水平求和,以提高触诊点处的可靠性。随着新数据的添加,实时地重复该过程。其结果是,我们实现了显示硬夹杂的位置而不遮挡外科医生对组织或外科手术仪器的观察的半透明的着色的硬度图。
组织模型选择
虽然几乎不可能找到真实组织或人造组织的完美数学模型,但是存在可以近似组织动态行为的数学模型。考虑7个可能的模型,然而可以使用其它模型。根据工具-环境相互作用数据,我们比较了所有模型,并且基于力估计误差评价了准确度。
A.人造组织
人造组织心脏模型由以24∶24∶12∶1的比率混合的Ecoflex 0030(A和B部分)、硅稀释剂和silc颜料(Smooth-on公司,美国宾夕法尼亚州伊斯顿市)制成。为了模拟钙化的动脉,在人造组织中嵌入咖啡搅拌棒。我们的外科医生合作者测试可能的模型以对人造组织样本进行实际的选择。人造组织心脏模型的直径和厚度大约分别为60mm和18.5mm。将直径为4mm的咖啡搅拌棒嵌入距表面5mm的深度。
B.模型候选对象
表I
7个环境模型和力估计误差的平均偏差和标准偏差的比较
C.工具-环境相互作用数据
首先,我们进行预触诊实验以获得工具-环境相互作用数据。图2A的具有塑料盘的仪器延伸附连在仪器的尖端。人造钙化动脉的直径是4mm,盘的直径是10mm。由于盘的尺寸和平坦,当施加力时工具不从动脉滑动脱离。如后面说明的,将仪器安装在我们的达芬奇外科手术***的患者侧操纵器上。如图2B所示,将人造心脏组织放置在安装在Nano l7变换器(ATI工业自动化,美国北卡罗来纳州埃佩克斯市)上的塑料基体上。
针对软组织和钙化的动脉各进行了五个试验。在试验过程中,将仪器限制为上下运动,因此在该预实验中***具有一个自由度。探测的位置按照试验而不同,以获得宽范围的数据。由主操纵器遥控患者侧操纵器,并且用户基于位置-位置控制器接收触觉反馈(M.Mahvash和A.M.Okamura,″Enhancing transparency of a position-exchange teleoperator,″in Second Joint Eurohaptics Conference and Symposium on HapticInterfaces for Virtual Environment and Teleoperator Systems(WorldHaptics),pp.47CM75,2007)。记录工具的位置、速度和加速度以及对人造组织施加的力。
D.模型验证
我们对每个试验的数据进行了后处理,并且针对每个模型估计了未知参数和相互作用力。为了验证模型准确度,使用批量后处理。模型1、2和4-7的未知参数是线性的,并且使用线性最小二乘法。
θ=(XTX)-1XTY (2)
因为指数,模型3的未知参数是非线性的。我们使用利用高斯-牛顿法的非线性最小二乘。定义
θk+1=θk+Δθ, (4)
Δθ=(JTJ)-1JTΔY, (5)
非线性最小二乘没有闭合形式的解,并且对于未知参数其需要初始值。我们通过试错法来设置θ0=[0,5,0.3,1.5]T,以避免当θ0为零向量时有时观察到局部极小值。注意,在本文件中,力和位置的单位分别是牛顿和厘米。迭代次数k从0开始,并且增大,直到增量参数向量Δθ的范数小于0.001为止。
1)自验证:将力估计误差定义为
在表I中总结了每个模型的力估计误差的平均偏差和标准偏差。由于针对软组织和钙化动脉有五组触诊数据,因此对平均偏差和标准偏差求平均。模型产生的力估计误差的平均偏差和标准偏差越小,其越准确。因此,模型3、5、6和7看起来较好地表征软组织和钙化动脉的动力性,而模型1、2和4则未较好地表征软组织和钙化动脉的动力性。图4示出工具和环境的相互作用数据的样本图表。
图4A和4B示出使用质量阻尼弹簧模型来计算估计的力时的示出(顶部)力对经过的时间和(底部)力对位移的(4A)软组织和(4B)钙化动脉的样本图表。
2)交叉验证:根据自验证,我们从每个模型的单个试验获得了一组估计参数。在交叉验证中,使用这些参数计算其它试验的估计的力。例如,使用来自试验1的估计的参数向量来计算试验1-5的力。针对每个试验进行该过程。因此,针对每个模型计算52=25个力估计误差。在表I中,总结了每个模型的力估计误差的平均偏差和标准偏差。图5示出针对模型1和3基于钙化动脉的试验数据之一的测量的力和重建的力的比较。
图5A和5B示出来自钙化动脉之一的(5A)力对经过的时间和(5B)力对位移的力图表。
3)对两个验证的分析:在自验证中,多项式函数模型的阶越高,模型产生的误差越小。模型1、2和6劣于其它模型。模型6在自验证中较好,但是在交叉验证中不好。根据两个验证测试,模型3或者7适合于我们的具有钙化动脉的人造组织心脏模型。然而,对于我们的目的,模型3是更好的选择。为了从软的周围物质区分出硬夹杂,我们想要识别物理意义上的差别。表II总结了模型3和7的估计的参数。模型3的示出人造组织和人造钙化动脉之间的一致的差,而模型7的任何参数没有示出一致的差。因此,我们选择模型3,Hunt-Crossley模型。
表II
模型3和7的估计的参数的比较
***设计
A.遥控***
图6示出达芬奇外科手术***的定制版本的示意图,其中主操纵器和3D视觉显示***位于右侧,而患者侧操纵器和立体摄像机在左侧。
图6所示的我们的定制版本的达芬奇外科手术***包括三个部件:主操纵器、3D视觉***和患者侧操纵器。硬件由直觉外科手术公司提供,定制控制***在约翰霍普金斯大学开发以实现双向遥控。在(M.Mahvash,J.Gwilliam,R.Agarwal,B.Vagvolgyi,L.-M.Su,D.D.Yuh,和A.M.Okamura,″Force-feedback surgical teleoperator:Controller design andpalpation experiments,″16th Symposium on Haptic Interfaces for VirtualEnvironments and Teleoperator Systems,pp.465-471,2008)中总结了关于遥控***和控制架构的更多细节。虽然用户在实验过程中基于位置-位置控制器接收力反馈,但是我们进行估计所需要的全部是工具-环境相互作用数据。
B.估计技术和初始设置
我们使用RLS实时地估计模型的未知参数。由于RLS的快速参数收敛和准确度,即使一个触诊对于未知参数的收敛就足够了(T.Yamamoto,M.Bernhardt,A.Peer,M.Buss,和A.M.Okamura,″Multi-estimatortechnique for environment parameter estimation duringtelemanipulation,″IEEE International Conference on Biomedical Roboticsand Biomechatronics,pp.217-223,2008)。由于Hunt-Crossley模型是非线性的,因此将未知参数去耦合,从而可以使用两个线性RLS估计器(N.Diolaiti,C.Melchiorri,和S.Stramigioli,″Contact impedance estimationfor robotic systems,″IEEE Transactions on Robotics,vol.21,no.5,pp.925-935,2005):Γ1估计和而Γ2估计指数两个估计器经由反馈互连。注意,我们将位置偏移添加到在N.Diolaiti,C.Melchiorri,和S.Stramigioli,″Contact impedance estimation for robotic systems,″IEEETransactions on Robotics,vol.21,no.5,pp.925-935,2005中呈现的原始方法。在每一次的步骤中,如下地更新参数向量:
其中,β(0<β≤1)是遗忘因子。具体地,
我们的初始猜值与模型验证的初始猜值相同,即θ0=[0,5,0.3,1.5]。初始协方差矩阵P0是与100相乘的单位矩阵。由于我们验证了模型是准确的,因此不需要遗忘因子。因此,我们选择β=1。为了开始和结束对每个位置处的触诊的估计,我们设置力阈值来检测触诊工具和人造组织之间的接触。通过考虑来自力传感器的噪声水平,如果沿着纵轴的先前的力和当前的力的积大于0.002N2,则认为工具与环境进行接触。如在下面的部分中描述的,当检测到接触时,估计自动开始,并且在监视器中叠加硬度。为了避免工具在视觉叠加上的震颤效应,在接触时固定触诊点的位置。当工具从组织离开时,将其释放。在每次释放时RLS的参数全部初始化。
C.立体摄像机***
使用定制的校准设备,通过AX=XB校准对立体摄像机和患者侧操纵器之间的坐标进行校准。该校准的结果是笛卡尔操纵器工具尖端坐标和笛卡尔摄像机坐标系(摄像机坐标系的中心在两个摄像机之间的中间)之间的变换坐标系。在另一校准步骤中,我们使用由平台定义的刚性体和由立体视频重构3D点云之间的刚性配准来校准摄像机坐标系和叠加(环境)平台坐标系之间的变换。
在实验过程中,为了精确地放置叠加图像,首先,我们将工具尖端位置从机器人坐标变换为摄像机坐标,然后从摄像机坐标变换为平台坐标。由于平台纹理平行于x-z平面,因此我们能够容易地将变换后的工具尖端位置投影到纹理表面上。
D.视觉叠加方法
将使用HSL表示的彩色图叠加在立体摄像机图像上,以显示触诊点的硬度。由于实时地对数据进行分析,因此在对人造组织进行触诊时,将估计的硬度和触诊位置数据同时传送到视觉计算机,并且通过以30Hz的速率进行半透明彩色图形叠加来进行显示。使用50%的透明度,摄像机图像在叠加图像后面清楚地可见。因此,着色的硬度图不遮挡用户对工具或者人造组织的表面特征的观察。
色调对应于硬度,颜色范围从绿色,通过黄色到红色。基于预触诊任务,我们将硬度的范围定义为从6到10。基于高斯函数计算饱和度值。使用高斯分布的加权概率分布函数,我们将置信水平定义为h(x)=exp((x-μ)2/σ),范围从0到1。x和μ是向量的元素,从而项(x-μ)2是触诊点的中心和周围区域之间的距离的平方。选择标准偏差σ,使得叠加圆的大小对应于触诊盘的大小。
图7A和7B示出(7A)对重叠概率密度函数求和时的置信水平以及(7B)指示硬度的改变的色调和指示置信水平的饱和度的图表。
当两个或更多个概率密度函数叠加时,如图7A所示,使用简单相加插值技术。如果和大于1,则将其截取到1。对于所有像素亮度是0.5,以彩色示出叠加。图7B示出在我们的***中我们使用的HSL条。
实验结果
图8A至图8D是在产生图像中示出的下层环境的硬度图时各合成图像的图。图8示出在试验过程中取得的四个图片。只要一检测到工具和人造组织之间的接触,就在外科医生的控制台的立体监视器上显示半透明的着色的圆。单个位置处的每个触诊大约持续半秒。图8A示出第一次触诊的结果。在图8B中,由于随机的触诊而显示了几个圆。在当前的触诊区域靠近先前的其它触诊区域时,使用插值技术来混合颜色并对置信水平求和。在图8C中示出中间结果之一。在该点,可以看到竖直通过中心的红色区域。当对人造组织的整个表面进行了触诊时,红色区域非常明显,如图8D所示。由于直径大于人造钙化动脉的直径两倍的叠加圆的大小,因此红色区域的宽度大约是8mm,而人造钙化动脉的实际宽度是4mm。然而,例如,一旦识别出近似位置,则可以减小叠加圆的大小或高斯标准偏差,以检测人造钙化动脉的更精确的大小的位置。
该示例呈现了用于组织特性在线估计的遥控外科手术机器人的使用,以及使用叠加在外科医生的监视器上的着色的硬度图对隐藏在软物质中的硬物体的识别。在人造组织的7个可能的数学模型中,我们选择Hunt-Crossley模型,其在自验证和交叉验证中均提供最小的力估计误差,并且示出人造组织和人造钙化动脉之间的一致的差。使用递归最小二乘来估计Hunt-Crossley模型的未知参数。将估计的硬度发送到视觉计算机,以使用色调-饱和度-亮度图创建图形叠加。由硬度确定图形叠加的色调。对于饱和度,基于距触诊点的距离,由加权高斯函数定义置信水平。为了创建连续混合的着色的图,使用简单插值技术。通过在人造心脏组织的表面进行探测,我们成功获取了示出人造钙化动脉的位置的彩色图。
我们可以利用已有的力估计技术,例如(P.Hacksel和S.Salcudean,″Estimation of environment forces and rigid-body velocities usingobservers,″IEEE International Conference on Robotics and Automation,pp.931-936,1994),来代替力传感器,使得可以在不向商用机器人添加任何设备的情况下实现我们的方法。可选地,可以使用专用的力感测触诊工具。通过在图像中分割仪器,并且将其放置在组织特性的半透明显示上,可以改进外科手术仪器的可视化。作为到临床应用的路径,使用计算机视觉、预操作图像或者两者的组合,硬度图可以遵循任何组织表面的轮廓。应当在生物组织上测试该***。最后,可以在自动化诊断和外科手术计划中使用所获取的组织特性,针对逼真特定患者外科手术模拟器的创建提取获取的组织特性,并且用来对双向遥控器的透明度进行改进。
本发明不限于这里通过示例说明的本发明的具体实施例,而由权利要求定义。本领域普通技术人员将认识到,可以对这里讨论的示例进行各种变型和替换,而不脱离本发明的范围和一般概念。
Claims (28)
1.一种外科手术机器人,包括:
成像***,包括至少一个立体摄像机;
处理器,其与所述成像***通信;
操纵***,其与所述处理器通信;以及
视觉显示器,其与所述处理器通信,
其中,所述处理器能够进行操作以:
基于工具-环境相互作用数据的环境模型,针对环境的区域计算机械特性估计;
基于来自所述至少一个立体摄像机的环境图像,确定所述环境的轮廓;
创建合成图像,其包括叠加在所述环境图像上的所述机械特性估计的机械特性图,使得所述机械特性图对应于所述环境的所述轮廓;以及
在所述视觉显示器上输出所述合成图像。
2.根据权利要求1所述的外科手术机器人,其中,所述处理器能够进行操作以基于所述机械特性估计到所述环境图像的转化来创建所述机械特性图。
3.根据权利要求1所述的外科手术机器人,其中,叠加在所述环境图像上的所述机械特性图的区域对应于所述环境图像中显示为被所述机械特性图的所述区域叠加的环境的区域。
4.根据权利要求3所述的外科手术机器人,其中,所述机械特性图包括色调-饱和度-亮度着色的机械特性图,其中,所述色调对应于所述机械特性图的区域的机械特性值,而所述饱和度对应于所述机械特性图的所述区域的置信水平。
5.根据权利要求1所述的外科手术机器人,其中,所述机械特性图包括混合机械特性图。
6.根据权利要求1所述的外科手术机器人,其中,所述操纵***还包括工具-环境相互作用传感器。
7.根据权利要求6所述的外科手术机器人,其中,所述工具-环境相互作用传感器包括力传感器,其中,所述工具-环境相互作用数据包括所述操纵***对所述环境施加的力的量。
8.根据权利要求1所述的外科手术机器人,其中,所述工具-环境相互作用数据包括所述操纵***引起的所述环境中的位移量。
9.根据权利要求1所述的外科手术机器人,其中,所述处理器还能够进行操作以实时地创建所述合成图像。
10.根据权利要求1所述的外科手术机器人,其中,所述环境模型包括使用所述环境的所述机械特性将力变量和运动变量相关的线性方程或非线性方程。
11.根据权利要求1所述的外科手术机器人,其中,所述处理器还能够进行操作以应用算法,以基于所述环境模型和所述工具-环境相互作用数据来估计所述机械特性。
12.根据权利要求1所述的外科手术机器人,其中,所述机械特性图包括嵌入在三维空间中的表面机械特性图。
13.根据权利要求1所述的外科手术机器人,其中,所述环境包括组织或者器官的至少之一。
14.根据权利要求1所述的外科手术机器人,其中,所述机械特性包括硬度。
15.一种与外科手术机器人一起使用的数据处理单元,包括:
至少一个输入端口,其适合于从所述外科手术机器人接收环境的立体图像,以及从所述外科手术机器人接收工具-环境相互作用数据;
叠加部件,其与所述至少一个输入端口通信;以及
输出端口,其与所述叠加部件通信,
其中,所述叠加部件适合于基于工具-环境相互作用数据的环境模型,针对环境的区域计算机械特性估计,基于所述环境的所述立体图像确定所述环境的轮廓,创建包括叠加在所述环境图像上的所述机械特性估计的机械特性图的合成图像以使得所述机械特性图对应于所述环境的所述轮廓,并且将所述合成图像输出到所述输出端口。
16.根据权利要求15所述的数据处理单元,其中,所述叠加部件能够进行操作以基于所述机械特性估计到所述环境图像的转化来创建所述机械特性图。
17.根据权利要求15所述的数据处理单元,其中,叠加在所述环境图像上的所述机械特性图的区域对应于所述环境图像中显示为被所述机械特性图的所述区域的叠加的环境的区域。
18.根据权利要求17所述的数据处理单元,其中,所述机械特性图包括色调-饱和度-亮度着色的机械特性图,其中,所述色调对应于所述机械特性图的区域的机械特性值,而所述饱和度对应于所述机械特性图的所述区域的置信水平。
19.根据权利要求15所述的数据处理单元,其中,所述机械特性图包括混合机械特性图。
20.根据权利要求15所述的数据处理单元,其中,所述工具-环境相互作用数据包括操纵***对所述环境施加的力的量。
21.根据权利要求15所述的数据处理单元,其中,所述工具-环境相互作用数据包括操纵***引起的所述环境中的位移量。
22.根据权利要求15所述的数据处理单元,其中,所述叠加部件还适合于实时地创建所述合成图像。
23.根据权利要求15所述的数据处理单元,其中,所述环境模型包括使用所述环境的所述机械特性将力变量和运动变量相关的线性方程或非线性方程。
24.根据权利要求15所述的数据处理单元,其中,所述叠加部件还适合于应用算法,以使用所述环境模型和所述工具-环境相互作用数据来估计所述机械特性。
25.根据权利要求15所述的数据处理单元,其中,所述机械特性图包括3-D机械特性图。
26.根据权利要求15所述的数据处理单元,其中,所述环境包括组织或者器官的至少之一。
27.根据权利要求15所述的数据处理单元,其中,所述机械特性包括硬度。
28.一种数据处理方法,所述方法包括:
根据对环境的区域的触诊,确定工具-环境相互作用数据;
基于所述工具-环境相互作用数据计算所述环境的区域的机械特性估计;
接收环境的立体图像;
基于所述环境的所述立体图像确定所述环境的轮廓;
生成合成图像,其包括叠加在所述环境上的所述机械特性估计的机械特性图,使得所述机械特性图对应于所述环境的所述轮廓;以及
在视觉显示器上输出所述合成图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10668308P | 2008-10-20 | 2008-10-20 | |
US61/106,683 | 2008-10-20 | ||
PCT/US2009/061297 WO2010048160A2 (en) | 2008-10-20 | 2009-10-20 | Environment property estimation and graphical display |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102238916A CN102238916A (zh) | 2011-11-09 |
CN102238916B true CN102238916B (zh) | 2013-12-04 |
Family
ID=42119935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801465037A Active CN102238916B (zh) | 2008-10-20 | 2009-10-20 | 环境特性估计和图形显示 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8700123B2 (zh) |
EP (1) | EP2355711B1 (zh) |
JP (1) | JP5762962B2 (zh) |
KR (1) | KR101713676B1 (zh) |
CN (1) | CN102238916B (zh) |
WO (1) | WO2010048160A2 (zh) |
Families Citing this family (127)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11259870B2 (en) | 2005-06-06 | 2022-03-01 | Intuitive Surgical Operations, Inc. | Interactive user interfaces for minimally invasive telesurgical systems |
CN101193603B (zh) | 2005-06-06 | 2010-11-03 | 直观外科手术公司 | 腹腔镜的超声机器人外科手术*** |
EP1901884B1 (en) * | 2005-06-30 | 2019-02-13 | Intuitive Surgical Operations Inc. | Indicator for tool state communication in multi-arm telesurgery |
US8219178B2 (en) | 2007-02-16 | 2012-07-10 | Catholic Healthcare West | Method and system for performing invasive medical procedures using a surgical robot |
US10893912B2 (en) | 2006-02-16 | 2021-01-19 | Globus Medical Inc. | Surgical tool systems and methods |
US10357184B2 (en) | 2012-06-21 | 2019-07-23 | Globus Medical, Inc. | Surgical tool systems and method |
US10653497B2 (en) | 2006-02-16 | 2020-05-19 | Globus Medical, Inc. | Surgical tool systems and methods |
US8332072B1 (en) | 2008-08-22 | 2012-12-11 | Titan Medical Inc. | Robotic hand controller |
US10532466B2 (en) * | 2008-08-22 | 2020-01-14 | Titan Medical Inc. | Robotic hand controller |
KR101662323B1 (ko) * | 2010-05-28 | 2016-10-04 | 가천의과학대학교 산학협력단 | 의료 영상 장치용 3축 움직임 추적 장치 및 이를 이용한 의료 영상 보정 방법 |
US8672837B2 (en) | 2010-06-24 | 2014-03-18 | Hansen Medical, Inc. | Methods and devices for controlling a shapeable medical device |
WO2012131660A1 (en) | 2011-04-01 | 2012-10-04 | Ecole Polytechnique Federale De Lausanne (Epfl) | Robotic system for spinal and other surgeries |
US9259289B2 (en) | 2011-05-13 | 2016-02-16 | Intuitive Surgical Operations, Inc. | Estimation of a position and orientation of a frame used in controlling movement of a tool |
KR101800189B1 (ko) | 2012-04-30 | 2017-11-23 | 삼성전자주식회사 | 수술 로봇의 힘 제어 장치 및 방법 |
US11395706B2 (en) | 2012-06-21 | 2022-07-26 | Globus Medical Inc. | Surgical robot platform |
US10231791B2 (en) | 2012-06-21 | 2019-03-19 | Globus Medical, Inc. | Infrared signal based position recognition system for use with a robot-assisted surgery |
US11864745B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical, Inc. | Surgical robotic system with retractor |
US10350013B2 (en) | 2012-06-21 | 2019-07-16 | Globus Medical, Inc. | Surgical tool systems and methods |
US11298196B2 (en) | 2012-06-21 | 2022-04-12 | Globus Medical Inc. | Surgical robotic automation with tracking markers and controlled tool advancement |
US11317971B2 (en) | 2012-06-21 | 2022-05-03 | Globus Medical, Inc. | Systems and methods related to robotic guidance in surgery |
US11857266B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | System for a surveillance marker in robotic-assisted surgery |
US11607149B2 (en) | 2012-06-21 | 2023-03-21 | Globus Medical Inc. | Surgical tool systems and method |
US10624710B2 (en) | 2012-06-21 | 2020-04-21 | Globus Medical, Inc. | System and method for measuring depth of instrumentation |
US11116576B2 (en) | 2012-06-21 | 2021-09-14 | Globus Medical Inc. | Dynamic reference arrays and methods of use |
US11399900B2 (en) | 2012-06-21 | 2022-08-02 | Globus Medical, Inc. | Robotic systems providing co-registration using natural fiducials and related methods |
US11253327B2 (en) | 2012-06-21 | 2022-02-22 | Globus Medical, Inc. | Systems and methods for automatically changing an end-effector on a surgical robot |
US11793570B2 (en) | 2012-06-21 | 2023-10-24 | Globus Medical Inc. | Surgical robotic automation with tracking markers |
US10136954B2 (en) | 2012-06-21 | 2018-11-27 | Globus Medical, Inc. | Surgical tool systems and method |
US12004905B2 (en) | 2012-06-21 | 2024-06-11 | Globus Medical, Inc. | Medical imaging systems using robotic actuators and related methods |
WO2013192598A1 (en) | 2012-06-21 | 2013-12-27 | Excelsius Surgical, L.L.C. | Surgical robot platform |
US11857149B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | Surgical robotic systems with target trajectory deviation monitoring and related methods |
US10758315B2 (en) | 2012-06-21 | 2020-09-01 | Globus Medical Inc. | Method and system for improving 2D-3D registration convergence |
US11045267B2 (en) | 2012-06-21 | 2021-06-29 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
US11864839B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical Inc. | Methods of adjusting a virtual implant and related surgical navigation systems |
US11974822B2 (en) | 2012-06-21 | 2024-05-07 | Globus Medical Inc. | Method for a surveillance marker in robotic-assisted surgery |
US9057600B2 (en) | 2013-03-13 | 2015-06-16 | Hansen Medical, Inc. | Reducing incremental measurement sensor error |
US9014851B2 (en) | 2013-03-15 | 2015-04-21 | Hansen Medical, Inc. | Systems and methods for tracking robotically controlled medical instruments |
US20140323904A1 (en) * | 2013-04-30 | 2014-10-30 | Elwha Llc | Stabilized device for remote palpation of tissue |
US11020016B2 (en) | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
KR101483428B1 (ko) * | 2013-09-30 | 2015-01-19 | 건국대학교 산학협력단 | 레이저 빔을 이용하여 촉감을 제공할 수 있는 수술용 로봇 장치 |
US9283048B2 (en) | 2013-10-04 | 2016-03-15 | KB Medical SA | Apparatus and systems for precise guidance of surgical tools |
WO2015107099A1 (en) | 2014-01-15 | 2015-07-23 | KB Medical SA | Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery |
US10039605B2 (en) | 2014-02-11 | 2018-08-07 | Globus Medical, Inc. | Sterile handle for controlling a robotic surgical system from a sterile field |
US10004562B2 (en) | 2014-04-24 | 2018-06-26 | Globus Medical, Inc. | Surgical instrument holder for use with a robotic surgical system |
WO2016008880A1 (en) | 2014-07-14 | 2016-01-21 | KB Medical SA | Anti-skid surgical instrument for use in preparing holes in bone tissue |
US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
EP3258872B1 (en) | 2015-02-18 | 2023-04-26 | KB Medical SA | Systems for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique |
US9622831B2 (en) * | 2015-05-20 | 2017-04-18 | Siemens Healthcare Gmbh | Method and apparatus to provide updated patient images during robotic surgery |
US10376335B2 (en) * | 2015-05-20 | 2019-08-13 | Siemens Healthcare Gmbh | Method and apparatus to provide updated patient images during robotic surgery |
US10646298B2 (en) | 2015-07-31 | 2020-05-12 | Globus Medical, Inc. | Robot arm and methods of use |
US10058394B2 (en) | 2015-07-31 | 2018-08-28 | Globus Medical, Inc. | Robot arm and methods of use |
US10080615B2 (en) | 2015-08-12 | 2018-09-25 | Globus Medical, Inc. | Devices and methods for temporary mounting of parts to bone |
US10687905B2 (en) | 2015-08-31 | 2020-06-23 | KB Medical SA | Robotic surgical systems and methods |
US10034716B2 (en) | 2015-09-14 | 2018-07-31 | Globus Medical, Inc. | Surgical robotic systems and methods thereof |
US9771092B2 (en) | 2015-10-13 | 2017-09-26 | Globus Medical, Inc. | Stabilizer wheel assembly and methods of use |
CN105662478B (zh) * | 2015-12-23 | 2019-01-25 | 电子科技大学 | 一种用于机器人辅助微创手术的触诊器械及使用方法 |
US10448910B2 (en) | 2016-02-03 | 2019-10-22 | Globus Medical, Inc. | Portable medical imaging system |
US10842453B2 (en) | 2016-02-03 | 2020-11-24 | Globus Medical, Inc. | Portable medical imaging system |
US10117632B2 (en) | 2016-02-03 | 2018-11-06 | Globus Medical, Inc. | Portable medical imaging system with beam scanning collimator |
US11058378B2 (en) | 2016-02-03 | 2021-07-13 | Globus Medical, Inc. | Portable medical imaging system |
US11883217B2 (en) | 2016-02-03 | 2024-01-30 | Globus Medical, Inc. | Portable medical imaging system and method |
US10866119B2 (en) | 2016-03-14 | 2020-12-15 | Globus Medical, Inc. | Metal detector for detecting insertion of a surgical device into a hollow tube |
EP3241518A3 (en) | 2016-04-11 | 2018-01-24 | Globus Medical, Inc | Surgical tool systems and methods |
US10390895B2 (en) | 2016-08-16 | 2019-08-27 | Ethicon Llc | Control of advancement rate and application force based on measured forces |
US10531929B2 (en) * | 2016-08-16 | 2020-01-14 | Ethicon Llc | Control of robotic arm motion based on sensed load on cutting tool |
US10918445B2 (en) | 2016-12-19 | 2021-02-16 | Ethicon Llc | Surgical system with augmented reality display |
EP3360502A3 (en) | 2017-01-18 | 2018-10-31 | KB Medical SA | Robotic navigation of robotic surgical systems |
US11071594B2 (en) | 2017-03-16 | 2021-07-27 | KB Medical SA | Robotic navigation of robotic surgical systems |
DE102017005581B4 (de) | 2017-06-13 | 2019-02-21 | Kuka Deutschland Gmbh | Steuern eines Roboters |
US10022192B1 (en) | 2017-06-23 | 2018-07-17 | Auris Health, Inc. | Automatically-initialized robotic systems for navigation of luminal networks |
US11135015B2 (en) | 2017-07-21 | 2021-10-05 | Globus Medical, Inc. | Robot surgical platform |
US11794338B2 (en) | 2017-11-09 | 2023-10-24 | Globus Medical Inc. | Robotic rod benders and related mechanical and motor housings |
US10898252B2 (en) | 2017-11-09 | 2021-01-26 | Globus Medical, Inc. | Surgical robotic systems for bending surgical rods, and related methods and devices |
US11357548B2 (en) | 2017-11-09 | 2022-06-14 | Globus Medical, Inc. | Robotic rod benders and related mechanical and motor housings |
US11134862B2 (en) | 2017-11-10 | 2021-10-05 | Globus Medical, Inc. | Methods of selecting surgical implants and related devices |
WO2019120481A1 (en) * | 2017-12-19 | 2019-06-27 | Abb Schweiz Ag | System and method for determining a transformation representation |
US20190254753A1 (en) | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
KR102500422B1 (ko) | 2018-03-28 | 2023-02-20 | 아우리스 헬스, 인코포레이티드 | 기구의 추정된 위치를 디스플레이하기 위한 시스템 및 방법 |
US10573023B2 (en) | 2018-04-09 | 2020-02-25 | Globus Medical, Inc. | Predictive visualization of medical imaging scanner component movement |
KR102455671B1 (ko) | 2018-05-31 | 2022-10-20 | 아우리스 헬스, 인코포레이티드 | 이미지-기반 기도 분석 및 매핑 |
US11337742B2 (en) | 2018-11-05 | 2022-05-24 | Globus Medical Inc | Compliant orthopedic driver |
US11278360B2 (en) | 2018-11-16 | 2022-03-22 | Globus Medical, Inc. | End-effectors for surgical robotic systems having sealed optical components |
US11744655B2 (en) | 2018-12-04 | 2023-09-05 | Globus Medical, Inc. | Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems |
US11602402B2 (en) | 2018-12-04 | 2023-03-14 | Globus Medical, Inc. | Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems |
US11918313B2 (en) | 2019-03-15 | 2024-03-05 | Globus Medical Inc. | Active end effectors for surgical robots |
US20200297357A1 (en) | 2019-03-22 | 2020-09-24 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US11419616B2 (en) | 2019-03-22 | 2022-08-23 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US11806084B2 (en) | 2019-03-22 | 2023-11-07 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices |
US11382549B2 (en) | 2019-03-22 | 2022-07-12 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices |
US11571265B2 (en) | 2019-03-22 | 2023-02-07 | Globus Medical Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US11317978B2 (en) | 2019-03-22 | 2022-05-03 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
CN110007601B (zh) * | 2019-05-06 | 2022-03-25 | 广东工业大学 | 一种双边遥操作***的控制装置和设备 |
US11045179B2 (en) | 2019-05-20 | 2021-06-29 | Global Medical Inc | Robot-mounted retractor system |
US11628023B2 (en) | 2019-07-10 | 2023-04-18 | Globus Medical, Inc. | Robotic navigational system for interbody implants |
KR20220058569A (ko) | 2019-08-30 | 2022-05-09 | 아우리스 헬스, 인코포레이티드 | 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법 |
CN114340540B (zh) | 2019-08-30 | 2023-07-04 | 奥瑞斯健康公司 | 器械图像可靠性***和方法 |
US11571171B2 (en) | 2019-09-24 | 2023-02-07 | Globus Medical, Inc. | Compound curve cable chain |
US11426178B2 (en) | 2019-09-27 | 2022-08-30 | Globus Medical Inc. | Systems and methods for navigating a pin guide driver |
US11864857B2 (en) | 2019-09-27 | 2024-01-09 | Globus Medical, Inc. | Surgical robot with passive end effector |
US11890066B2 (en) | 2019-09-30 | 2024-02-06 | Globus Medical, Inc | Surgical robot with passive end effector |
US11510684B2 (en) | 2019-10-14 | 2022-11-29 | Globus Medical, Inc. | Rotary motion passive end effector for surgical robots in orthopedic surgeries |
US11992373B2 (en) | 2019-12-10 | 2024-05-28 | Globus Medical, Inc | Augmented reality headset with varied opacity for navigated robotic surgery |
US11464581B2 (en) | 2020-01-28 | 2022-10-11 | Globus Medical, Inc. | Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums |
US11382699B2 (en) | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
US11207150B2 (en) | 2020-02-19 | 2021-12-28 | Globus Medical, Inc. | Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment |
RU2720830C1 (ru) * | 2020-03-19 | 2020-05-13 | Ассистирующие Хирургические Технологии (Аст), Лтд | Ассистирующий хирургический комплекс |
US11253216B2 (en) | 2020-04-28 | 2022-02-22 | Globus Medical Inc. | Fixtures for fluoroscopic imaging systems and related navigation systems and methods |
US11607277B2 (en) | 2020-04-29 | 2023-03-21 | Globus Medical, Inc. | Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery |
US11153555B1 (en) | 2020-05-08 | 2021-10-19 | Globus Medical Inc. | Extended reality headset camera system for computer assisted navigation in surgery |
US11382700B2 (en) | 2020-05-08 | 2022-07-12 | Globus Medical Inc. | Extended reality headset tool tracking and control |
US11510750B2 (en) | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
CN111745643A (zh) * | 2020-05-28 | 2020-10-09 | 西华大学 | 主机器人和从机器人遥操作***位置控制方法 |
US11317973B2 (en) | 2020-06-09 | 2022-05-03 | Globus Medical, Inc. | Camera tracking bar for computer assisted navigation during surgery |
US11382713B2 (en) | 2020-06-16 | 2022-07-12 | Globus Medical, Inc. | Navigated surgical system with eye to XR headset display calibration |
US11877807B2 (en) | 2020-07-10 | 2024-01-23 | Globus Medical, Inc | Instruments for navigated orthopedic surgeries |
US11793588B2 (en) | 2020-07-23 | 2023-10-24 | Globus Medical, Inc. | Sterile draping of robotic arms |
US11737831B2 (en) | 2020-09-02 | 2023-08-29 | Globus Medical Inc. | Surgical object tracking template generation for computer assisted navigation during surgical procedure |
US11523785B2 (en) | 2020-09-24 | 2022-12-13 | Globus Medical, Inc. | Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement |
US11911112B2 (en) | 2020-10-27 | 2024-02-27 | Globus Medical, Inc. | Robotic navigational system |
US11941814B2 (en) | 2020-11-04 | 2024-03-26 | Globus Medical Inc. | Auto segmentation using 2-D images taken during 3-D imaging spin |
US11717350B2 (en) | 2020-11-24 | 2023-08-08 | Globus Medical Inc. | Methods for robotic assistance and navigation in spinal surgery and related systems |
DE202021102512U1 (de) | 2021-05-07 | 2022-05-10 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad, Verwendung eines robotischen Telemanipulationssystems, autonomes medizinisches Robotersystem |
US11857273B2 (en) | 2021-07-06 | 2024-01-02 | Globus Medical, Inc. | Ultrasonic robotic surgical navigation |
US11439444B1 (en) | 2021-07-22 | 2022-09-13 | Globus Medical, Inc. | Screw tower and rod reduction tool |
US11911115B2 (en) | 2021-12-20 | 2024-02-27 | Globus Medical Inc. | Flat panel registration fixture and method of using same |
CN115005998B (zh) * | 2022-08-08 | 2022-10-04 | 科弛医疗科技(北京)有限公司 | 一种手术机器人***及其机械臂防干涉调整方法 |
CN116572249B (zh) * | 2023-06-07 | 2024-01-02 | 哈尔滨理工大学 | 一种基于三模态切换机制的柔性机械臂遥操作控制方法 |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4144877A (en) | 1976-08-12 | 1979-03-20 | Yeda Research And Development Co. Ltd. | Instrument for viscoelastic measurement |
US4250894A (en) | 1978-11-14 | 1981-02-17 | Yeda Research & Development Co., Ltd. | Instrument for viscoelastic measurement |
IL69471A (en) | 1983-08-12 | 1987-07-31 | Benjamin Gavish | Method and device for non-invasively monitoring the instantaneous fluctuations in the viscoelastic properties of a soft tissue |
US4802487A (en) | 1987-03-26 | 1989-02-07 | Washington Research Foundation | Endoscopically deliverable ultrasound imaging system |
YU47190B (sh) | 1988-02-19 | 1995-01-31 | Institut Za Opštu I Fizičku Hemiju | Uredjaj za neinvazivno akustičko ispitivanje elastičnosti mekih bioloških materijala |
US5107837A (en) | 1989-11-17 | 1992-04-28 | Board Of Regents, University Of Texas | Method and apparatus for measurement and imaging of tissue compressibility or compliance |
US5293870A (en) | 1989-11-17 | 1994-03-15 | Board Of Regents The University Of Texas System | Method and apparatus for elastographic measurement and imaging |
US5099848A (en) | 1990-11-02 | 1992-03-31 | University Of Rochester | Method and apparatus for breast imaging and tumor detection using modal vibration analysis |
EP0515091B1 (en) | 1991-05-21 | 1997-01-02 | Jack Fisher | System and method for the measurement of mechanical properties of elastic materials |
US5860934A (en) | 1992-12-21 | 1999-01-19 | Artann Corporation | Method and device for mechanical imaging of breast |
US5678565A (en) | 1992-12-21 | 1997-10-21 | Artann Corporation | Ultrasonic elasticity imaging method and device |
US5524636A (en) | 1992-12-21 | 1996-06-11 | Artann Corporation Dba Artann Laboratories | Method and apparatus for elasticity imaging |
JP3539645B2 (ja) * | 1995-02-16 | 2004-07-07 | 株式会社日立製作所 | 遠隔手術支援装置 |
US5814038A (en) | 1995-06-07 | 1998-09-29 | Sri International | Surgical manipulator for a telerobotic system |
US5833634A (en) | 1995-11-09 | 1998-11-10 | Uromed Corporation | Tissue examination |
US5916160A (en) | 1996-04-09 | 1999-06-29 | Arcan; Mircea | Real-time imaging contact gauge and visual feedback interactive apparatus including same |
US5839441A (en) | 1996-06-03 | 1998-11-24 | The Trustees Of The University Of Pennsylvania | Marking tumors and solid objects in the body with ultrasound |
US5851180A (en) | 1996-07-12 | 1998-12-22 | United States Surgical Corporation | Traction-inducing compression assembly for enhanced tissue imaging |
US5989199A (en) | 1996-11-27 | 1999-11-23 | Assurance Medical, Inc. | Tissue examination |
EP0908137A1 (en) | 1997-10-06 | 1999-04-14 | Technologiestichting STW | A method and apparatus for making an image of a lumen or other body cavity and its surrounding tissue |
US6063031A (en) | 1997-10-14 | 2000-05-16 | Assurance Medical, Inc. | Diagnosis and treatment of tissue with instruments |
US6351549B1 (en) | 1997-10-24 | 2002-02-26 | Ultratouch Corporation | Detection head for an apparatus for detecting very small breast anomalies |
US6192143B1 (en) | 1997-10-24 | 2001-02-20 | Ultratouch Corporation | Apparatus for detecting very small breast anomalies |
US6270459B1 (en) | 1998-05-26 | 2001-08-07 | The Board Of Regents Of The University Of Texas System | Method for estimating and imaging of transverse displacements, transverse strains and strain ratios |
EP1105044A1 (en) * | 1998-07-21 | 2001-06-13 | Acoustic Sciences Associates | Synthetic structural imaging and volume estimation of biological tissue organs |
US8229549B2 (en) * | 2004-07-09 | 2012-07-24 | Tyco Healthcare Group Lp | Surgical imaging device |
US6352507B1 (en) | 1999-08-23 | 2002-03-05 | G.E. Vingmed Ultrasound As | Method and apparatus for providing real-time calculation and display of tissue deformation in ultrasound imaging |
AU2626401A (en) | 2000-01-03 | 2001-07-16 | Johns Hopkins University, The | Surgical devices and methods of use thereof for enhanced tactile perception |
US6511427B1 (en) | 2000-03-10 | 2003-01-28 | Acuson Corporation | System and method for assessing body-tissue properties using a medical ultrasound transducer probe with a body-tissue parameter measurement mechanism |
US6468231B2 (en) | 2000-03-31 | 2002-10-22 | Artann Laboratories | Self-palpation device for examination of breast |
US6371912B1 (en) | 2000-04-05 | 2002-04-16 | Duke University | Method and apparatus for the identification and characterization of regions of altered stiffness |
US6514204B2 (en) | 2000-07-20 | 2003-02-04 | Riverside Research Institute | Methods for estimating tissue strain |
US6508768B1 (en) | 2000-11-22 | 2003-01-21 | University Of Kansas Medical Center | Ultrasonic elasticity imaging |
US6569108B2 (en) | 2001-03-28 | 2003-05-27 | Profile, Llc | Real time mechanical imaging of the prostate |
US6758815B2 (en) | 2001-10-17 | 2004-07-06 | Richard Bruce Bernardi | Apparatus and method for indicating mechanical stiffness properties of body tissue |
JP2003252242A (ja) * | 2002-02-26 | 2003-09-10 | Denso Corp | 車両のフロントエンド構造 |
US7166075B2 (en) | 2002-03-08 | 2007-01-23 | Wisconsin Alumni Research Foundation | Elastographic imaging of in vivo soft tissue |
JP3932482B2 (ja) * | 2002-10-18 | 2007-06-20 | 株式会社日立メディコ | 超音波診断装置 |
US8079950B2 (en) * | 2005-09-29 | 2011-12-20 | Intuitive Surgical Operations, Inc. | Autofocus and/or autoscaling in telesurgery |
US8213041B2 (en) | 2006-09-25 | 2012-07-03 | Kyocera Mita Corporation | Image forming apparatus provided with an image filing function for saving files in an organized manner |
JP2008134373A (ja) | 2006-11-28 | 2008-06-12 | Mitsubishi Precision Co Ltd | 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ |
-
2009
- 2009-10-20 WO PCT/US2009/061297 patent/WO2010048160A2/en active Application Filing
- 2009-10-20 KR KR1020117011478A patent/KR101713676B1/ko active IP Right Grant
- 2009-10-20 US US13/124,350 patent/US8700123B2/en active Active
- 2009-10-20 EP EP09822545.1A patent/EP2355711B1/en active Active
- 2009-10-20 CN CN2009801465037A patent/CN102238916B/zh active Active
- 2009-10-20 JP JP2011532328A patent/JP5762962B2/ja active Active
-
2014
- 2014-04-09 US US14/248,794 patent/US9867668B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN102238916A (zh) | 2011-11-09 |
US8700123B2 (en) | 2014-04-15 |
EP2355711B1 (en) | 2019-09-11 |
US20110201885A1 (en) | 2011-08-18 |
JP5762962B2 (ja) | 2015-08-12 |
US9867668B2 (en) | 2018-01-16 |
US20140222025A1 (en) | 2014-08-07 |
EP2355711A2 (en) | 2011-08-17 |
JP2012506260A (ja) | 2012-03-15 |
WO2010048160A3 (en) | 2010-08-05 |
KR101713676B1 (ko) | 2017-03-08 |
EP2355711A4 (en) | 2012-04-25 |
WO2010048160A2 (en) | 2010-04-29 |
KR20110075025A (ko) | 2011-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102238916B (zh) | 环境特性估计和图形显示 | |
Yamamoto et al. | Tissue property estimation and graphical display for teleoperated robot-assisted surgery | |
EP1033564B1 (en) | Method and system for wear testing a seat by simulating human seating activity and robotic human body simulator for use therein | |
US11998289B2 (en) | Method and system for autonomous therapy | |
Chua et al. | Toward force estimation in robot-assisted surgery using deep learning with vision and robot state | |
Talasaz et al. | Haptics-enabled teleoperation for robot-assisted tumor localization | |
WO2013174801A2 (en) | System and method for estimating the spatial position of a tool within an object | |
Chalasani et al. | Concurrent nonparametric estimation of organ geometry and tissue stiffness using continuous adaptive palpation | |
Kennedy et al. | A novel approach to robotic cardiac surgery using haptics and vision | |
Mohareri et al. | Bimanual telerobotic surgery with asymmetric force feedback: A daVinci® surgical system implementation | |
Li et al. | A novel tumor localization method using haptic palpation based on soft tissue probing data | |
Talasaz et al. | Remote palpation to localize tumors in robot-assisted minimally invasive approach | |
Trejos et al. | Design of a sensorized instrument for skills assessment and training in minimally invasive surgery | |
Takács et al. | The other end of human–robot interaction: Models for safe and efficient tool–tissue interactions | |
Yasin et al. | Evaluation of hybrid control and palpation assistance for situational awareness in telemanipulated task execution | |
Pérez et al. | Force feedback algorithms for master slave surgical systems | |
Guo et al. | Deformation of the catheter and 3D blood vessel model for a VR-based catheter system | |
Hu et al. | Coordinate Calibration of a Dual-Arm Robot System by Visual Tool Tracking | |
US20240013901A1 (en) | Systems and methods for planning a medical environment | |
US20240033005A1 (en) | Systems and methods for generating virtual reality guidance | |
Taner | Development and experimental verification of the stiffness matrix of the HIPHAD haptic device | |
Hu et al. | Occlusion-Robust Autonomous Robotic Manipulation of Human Soft Tissues With 3D Surface Feedback | |
Timofeev et al. | Analysis, processing and transfer of dynamic images in virtual reality models | |
Li | Haptic Feedback of Rigid Tool/Soft Object Interaction in Medical Training and Robot-Assisted Minimally Invasive Surgery | |
Nourbakhsh et al. | 6R Robots; How to Guide and Test them by Vision? |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |