CN118251168A - 具有多个固定放大倍数的立体成像设备 - Google Patents
具有多个固定放大倍数的立体成像设备 Download PDFInfo
- Publication number
- CN118251168A CN118251168A CN202280074025.9A CN202280074025A CN118251168A CN 118251168 A CN118251168 A CN 118251168A CN 202280074025 A CN202280074025 A CN 202280074025A CN 118251168 A CN118251168 A CN 118251168A
- Authority
- CN
- China
- Prior art keywords
- stereoscopic
- video data
- lens group
- stereoscopic video
- barrel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims description 60
- 238000012800 visualization Methods 0.000 description 51
- 238000001356 surgical procedure Methods 0.000 description 16
- 230000010365 information processing Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000002406 microsurgery Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 241000282461 Canis lupus Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002682 general surgery Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000002278 reconstructive surgery Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
- A61B3/132—Ophthalmic microscopes in binocular arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0012—Surgical microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/02—Objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Microscoopes, Condenser (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本公开提供了用于显示目标手术部位的立体视频数据的技术和设备。示例性眼科成像设备包括被配置为接收来自目标手术部位的光的第一立体透镜组和第二立体透镜组。在一些实施例中,该第一立体透镜组至少包括第一固定焦距透镜,该第一固定焦距透镜被配置为将所接收到的光根据第一固定放大倍数进行放大。在一些实施例中,该第二立体透镜组至少包括第二固定焦距透镜,该第二固定焦距透镜被配置为将所接收到的光根据与该第一固定放大倍数不同的第二固定放大倍数进行放大。该眼科成像设备还包括第一多个图像传感器和第二多个图像传感器,这些图像传感器被配置为接收光并生成第一图像数据和第二图像数据。该第一和第二图像数据可以被转换为第一和第二立体视频数据以显示在显示监视器上。
Description
背景技术
手术是一门艺术。有成就的艺术家创作的艺术品远远超出了普通人的能力。艺术家使用画笔将多罐涂料转换为生动的图像,这些图像引起了观众强烈而独特的情感。艺术家将普通的文字写在纸上,并将其变成戏剧性的且令人振奋的表演。艺术家掌握乐器使它们发出优美的音乐。类似地,外科医生使用看似普通的手术刀、镊子和探针,创造改变生命的生物学奇迹。
像艺术家一样,外科医生也有他们自己的方法和偏好。有抱负的艺术家被教导他们的工艺基础知识。初学者经常遵循规定的方法。随着他们获得经验、信心和知识,他们发展出他们自己的独特技艺以反映出他们自己和他们的个人环境。类似地,医学生被教导手术例程的基础知识。他们关于这些方法上经过严格测试。随着这些学生通过实习和专业实践取得进步,他们会基于他们认为的应该完成手术的最好方式来发展基础知识的衍生(仍在医学标准之内)。例如,考虑由不同的知名外科医生执行的相同医疗例程。事件的顺序、起搏、工作人员的安排、工具的放置以及对成像设备的使用在各外科医生之间基于他们的偏好而有所不同。甚至切口的大小和形状对外科医生来说也可能是独一无二的。
外科医生的艺术般的独特性和成就使他们会对改变或更改他们的方法的手术工具非常谨慎。工具应是外科医生的延伸,能同时操作和/或协调同步地操作。决定例程流程或改变外科医生节奏的手术工具常常会被丢弃或被修改以使符合要求。
在示例中,考虑了显微手术可视化,其中,某些手术例程涉及的患者结构对于人类来说太小以至于无法用肉眼轻易地看见。对于这些显微手术例程,需要放大以充分观察微观结构。外科医生通常需要可视化工具,这些工具是他们眼睛的自然延伸。的确,显微手术可视化的早期工作包括将放大透镜附接到头戴式光学接目镜(称为手术放大镜)上。第一副是在1876年开发的。如今外科医生仍在使用大幅改进版本的手术放大镜(某些包括光学变焦和集成光源)。图1示出了具有光源102和放大透镜104a-b的一副手术放大镜100的图。手术放大镜能沿用150年可以归因于它们实际上是外科医生眼睛的延伸。
尽管手术放大镜被长时间使用,但它们并不完美。带有放大透镜和光源的放大镜(比如图1的手术放大镜100)具有大得多的重量。即使在外科医生的面部前施加很小的重量,也可能增加不适感和疲劳感,尤其是在持续很久的手术中。手术放大镜100还包括连接到远处电源的电缆106。电缆有效地起到了链条的作用,从而限制了外科医生在其手术执行期间的移动性。
另一个显微手术可视化工具是手术显微镜,也称为手术显微镜。手术显微镜的大范围商业发展始于1950年代,目的是替代手术放大镜。手术显微镜包括光路、透镜和聚焦元件,与手术放大镜相比,这些手术显微镜提供了更大的放大率。较大的光学元件阵列(以及所产生的重量)意味着必须将手术显微镜与外科医生分离。虽然这种分离为外科医生提供了更多的操纵空间,但手术显微镜的体积使其占用了患者上方相当大的手术空间,从而减小了手术台的大小。
图2示出了现有技术的手术显微镜200的图。可以想象,该手术显微镜的大小和在手术区域内的存在使其容易被碰到。为了在显微镜头部201处提供稳定性和刚性,显微镜被连接到相对较大的伸缩臂202和204或其他类似的支撑结构。大的伸缩臂202和204占用了额外的手术空间,并降低了外科医生和工作人员的可操纵性。总的来说,图2所示的手术显微镜200可能重达350千克(“kg”)。
为了使用手术显微镜200观察目标手术部位,外科医生直接透过目镜206进行观察。为了减轻外科医生背上的压力,通常将目镜206沿着外科医生的自然视线定位,使用伸缩臂202来调整高度。然而,外科医生并不是仅通过观察目标手术部位来进行手术。目镜206必须被定位成使得外科医生位于到患者的工作距离的臂长内。这种精确定位对于确保手术显微镜200成为外科医生的延伸而不是阻碍是至关重要的,尤其是在长时间段使用时。
像任何复杂的器械一样,使用手术显微镜需要外科医生花费数十至数百小时才能感到舒适。如图2所示,手术显微镜200的设计需要从外科医生到目标手术部位的大致90°角的光路。例如,需要从目标手术部位到显微镜头部201的完全竖直的光路。这意味着每次显微手术例程都必须将显微镜头部201定位在患者的正上方。另外,外科医生必须几乎水平地(或者向下某个微小的角度)向目镜206里看。外科医生的自然倾向是将他的视线引导至其在手术部位处的手。一些外科医生甚至想将其头部移近手术部位,以更精确地控制其手的移动。遗憾的是,手术显微镜200没有给予外科医生这种灵活性。相反,手术显微镜200无情地决定了外科医生在其手术执行期间必须将其眼睛放在目镜206上并且将其头部保持在臂长处,同时还要占用患者上方的宝贵手术空间。外科医生甚至不能简单地低头看着患者,因为显微镜头部201挡住了外科医生的视线。
更糟糕的是,有些手术显微镜(比如手术显微镜200所示)包括用于辅助手术人员(例如,助理外科医生、护士或其他临床工作人员)的第二副目镜208。第二副目镜208通常与目镜206成直角定位。目镜206与目镜208之间的接近决定了助手必须紧靠着外科医生站立(或坐着),这进一步限制了移动。对于一些喜欢有一定空间进行手术的外科医生来说,这可能会是令人厌烦的。尽管具有放大的益处,但是手术显微镜(如手术显微镜200)并不是外科医生的自然延伸。相反,它们是手术室里的专横决定者。因此,本领域需要改进的手术显微镜。
发明内容
本公开的多个方面提供了一种眼科成像设备。在一些实施例中,该眼科成像设备包括被配置为接收来自目标手术部位的光的第一立体透镜组、和被配置为接收来自该目标手术部位的额外的光的第二立体透镜组。另外,在一些实施例中,该眼科成像设备包括第一多个图像传感器,其被配置为接收穿过该第一立体透镜组之后的光。在一些实施例中,该第一多个图像传感器包括第一左图像传感器和第一右图像传感器,该第一左图像传感器被配置为基于从该第一立体透镜组接收到的光来生成第一左图像数据,该第一右图像传感器被配置为基于从该第一立体透镜组接收到的光来生成第一右图像数据。另外,在一些实施例中,该眼科成像设备包括第二多个图像传感器,其被配置为接收穿过该第二立体透镜组之后的光。在一些实施例中,该第二多个图像传感器包括第二左图像传感器和第二右图像传感器,该第二左图像传感器被配置为基于从该第二立体透镜组接收到的额外的光来生成第二左图像数据,该第二右图像传感器被配置为基于从该第二立体透镜组接收到的额外的光来生成第二右图像数据。另外,在一些实施例中,该眼科成像设备包括处理器,该处理器通信地联接至该第一多个图像传感器和该第二多个图像传感器。在一些实施例中,该处理器被配置为将该第一左图像数据和该第一右图像数据转换为第一立体视频数据以显示在显示监视器上。另外,在一些实施例中,该处理器被配置为将该第二左图像数据和该第二右图像数据转换为第二立体视频数据以显示在该显示监视器上。
本公开的各方面提供了一种使用眼科成像设备来同时显示目标手术部位的不同立体视频数据的方法。该方法可以包括:使用该眼科成像设备的第一立体透镜组来接收来自目标手术部位的光;使用该眼科成像设备的第二立体透镜组来接收来自该目标手术部位的额外的光;分别基于使用该第一立体透镜组接收到的光和使用该第一立体透镜组接收到的额外的光来生成第一图像数据和第二图像数据;将该第一图像数据转换为第一立体视频数据并将该第二图像数据转换为第二立体视频数据;以及将该第一立体视频数据和该第二立体视频数据显示在显示监视器上。
通过以下结合附图对实施本公开的最佳模式的详细描述,本公开的上述特征和优点以及其他可能的特征和优点将显现。
附图说明
本文描述的附图仅出于说明性目的,本质上是示意性的,并且旨在是示例性的而不限制本公开的范围。
图1示出了一副现有技术手术放大镜的图。
图2示出了现有技术手术显微镜的图。
图3示出了立体可视化相机的立体图。
图4示出了展示示例立体可视化相机内的光学元件的图。
图5示出了包括立体可视化相机的显微手术环境的图。
图6A至图6C示出了成像设备的不同视图,该成像设备包括多个立体透镜组,每个立体透镜组与不同的固定放大倍数相关联。
图7示出了示例成像设备的用于获取并处理图像数据的模块的图。
图8示出了立体图像数据的不同显示配置。
图9示出了用于同时显示目标手术部位的不同立体视频数据的示例方法900。
以上概述并不旨在呈现本主题公开的每个可能的实施例或每个方面。相反,以上概述旨在举例说明本文公开的一些新颖方面和特征。通过以下结合附图和所附权利要求对代表性实施例和本主题公开的实施模式的详细描述,本主题公开的上述特征和优点以及其他特征和优点将变得清楚。
具体实施方式
本公开总体上涉及一种成像设备和平台。在一些情况下,成像设备可以被称为数字立体显微镜(“DSM”)。示例成像设备和平台被配置为将显微镜光学元件和视频传感器集成到比现有技术显微镜(比如图1的手术放大镜100和图2的手术显微镜200)显著更小、更轻且更容易操纵的自含式头部单元或壳体中。示例相机被配置为将立体视频数据传输至/显示在手术环境内的一个或多个电视监视器、显示监视器、投影仪、全息装置、智能眼镜、虚拟现实装置或其他视觉显示装置上。
监视器或其他视觉显示装置可以定位在手术环境中,以便在对患者进行手术时容易地处于外科医生的视线内。这种灵活性使外科医生能够基于个人偏好或***台)使外科医生和手术团队能够对患者进行复杂的显微手术例程,而不受移动性的支配或限制。相应地,示例立体可视化平台作为外科医生的眼睛的延伸,使外科医生能够进行杰作般的显微手术而无需应对由先前已知的可视化***引起的压力、限制和局限。
本公开的多个方面提供了实现与目标手术部位的不同视野和放大倍数相关联的不同立体视频数据的显示的技术。例如,某些手术显微镜(比如图3中所展示和下文所描述的立体可视化相机300)通过使用沿着导轨向前和向后移动的多个变焦透镜来实现目标手术部位的不同视野和放大倍数。
在某些情况下,移动变焦透镜是重且昂贵的,并且包括易于出现聚焦问题的敏感光学器件,这使得立体可视化相机的制造更加困难且更加昂贵。另外,使变焦透镜移动的部件(例如马达、导轨等)易于磨损和断裂,从而可能导致昂贵的维修费用。此外,外科医生可能一次只能观察目标手术部位的一个视野/放大倍数,并且可能必须暂停手术以切换视野/放大倍数(例如,等待变焦透镜移动),从而导致手术的延迟并减慢工作流程。
相应地,本公开的多个方面提供了一种眼科成像设备,该眼科成像设备包括多个立体透镜组,每个立体透镜组与不同的固定放大倍数相关联。这些不同的固定放大倍数中的每一个可以与目标手术部位的不同视野相关联,这些视野可以同时在显示监视器上显示给外科医生。通过提供与不同放大倍数相关联的多个透镜组并同时显示对应的视野,外科医生不需要暂停手术来改变放大倍数/视野。此外,由于放大倍数是固定的,因此立体成像装置可以不需要移动的部件,从而避免了复杂且昂贵的制造和维修。
本文的公开总体上涉及显微手术。示例立体可视化相机可以用于几乎任何显微手术例程中,包括例如颅脑手术、脑部手术、神经手术、脊柱手术、眼科手术、角膜移植、矫形手术、耳鼻喉手术、牙手术、整形和重建手术、或普通手术。
本公开在此还涉及目标手术部位、场景或视野。如本文中所使用的,目标手术部位或视野包括示例立体可视化相机正在记录或以其他方式成像的物体(或物体的一部分)。通常,目标手术部位、场景或视野距示例立体可视化相机的主物镜组件为工作距离,并且与示例立体可视化相机对准。目标手术部位可以包括患者的生物组织、骨骼、肌肉、皮肤或其组合。在这些实例中,通过具有与患者解剖学结构进展相对应的深度分量,目标手术部位可以是三维的。目标手术部位还可以包括用于示例立体可视化相机的校准或验证的一个或多个模板。这些模板可以是二维的、比如在纸(或塑料片材)上的图形设计,或者可以是三维的、比如以接近患者在某个区域中的解剖学结构。
在全文中还提及了x方向、y方向、z方向和倾斜方向。z方向沿着从示例立体可视化相机到目标手术部位的轴线,并且一般是指深度。x方向和y方向在入射到z方向的平面内并且包括目标手术部位的平面。x方向沿着与y方向的轴线成90°的轴线。沿x方向和/或y方向的移动是指平面内移动,并且可以指示例立体可视化相机的移动、示例立体可视化相机内的光学元件的移动和/或目标手术部位的移动。
示例立体可视化相机
图3展示了立体可视化相机300的立体图。如图3所示,立体可视化相机300包括壳体302,该壳体被配置为封闭光学元件、透镜马达(例如,致动器)和信号处理电路。图4示出了立体可视化相机300的光学元件的示例布置和定位。在一些情况下,立体可视化相机300的光学元件的布置和定位形成两条平行光路以生成左视图和右视图。这些平行光路对应于人类的视觉***,使得如在立体显示器上显示的左视图和右视图看起来相隔一段距离,该距离产生了例如大约6度的会聚角,这个会聚角与成年人的眼睛观察大致4英尺远的物体时的会聚角相当,从而产生立体视觉。在一些实施例中,由左视图和右视图生成的图像数据在(多个)显示监视器上组合在一起以生成目标手术部位或场景的立体图像。
与单视视图相比,立体视图更接近地模仿了人类的视觉***。立体视图提供深度感知、距离感知和相对大小感知,以向外科医生提供目标手术部位的真实视图。对于比如视网膜手术之类的例程,立体视图是有用的,因为手术中的移动和力如此之小以至于外科医生无法感觉到它们。提供立体视图有助于外科医生的大脑放大触觉感受,此时大脑感觉到甚至微小的运动、同时感知到深度。
图4示出了示例立体可视化相机300的侧视图,其中壳体302是透明的以显露光学元件。图4中所示的光学元件可以是左光路的一部分并且可以生成左视图。应了解的是,立体可视化相机300中的右光路中的光学元件的布置和定位(例如,生成右视图)通常可以与左光路相同。
示例立体可视化相机300被配置为在目标手术部位400上方的工作距离406处获取目标手术部位400的图像(也称为场景或视野)。目标手术部位400包括患者身上的解剖学位置。目标手术部位400还可以包括实验室生物样本、校准载玻片/模板等。来自目标手术部位400的图像在立体可视化相机300处经由主物镜组件402被接收,该主物镜组件包括工作距离前透镜407和工作距离后透镜404。
为了照亮目标手术部位400,示例立体可视化相机300包括一个或多个光源,比如近红外(“NIR”)光源408b和近紫外(“NUV”)光源408c。在其他示例中,立体可视化相机300可以包括额外的或更少的(或不包括)光源。例如,可以省略NIR光源和NUV光源。示例光源408被配置为产生被投射至目标手术部位400的光。所产生的光与目标场景相互作用并反射离开目标场景,其中一些光被反射到主物镜组件402。其他示例可以包括外部光源或来自环境的环境光。
来自光源408的光通过主物镜组件的投射提供了基于工作距离406和/或焦平面来改变被照亮的视野的好处。由于光穿过主物镜组件402,因此光被投射的角度基于工作距离406而变化,并且对应于角度视野。相应地,此配置确保了无论工作距离或放大率如何,光源408都可以恰当地照亮视野。
另外,如图4所展示的,立体可视化相机300包括偏转元件412。在一些情况下,偏转元件412可以被配置为将特定波长的光从NUV光源408c穿过主物镜组件402传输至目标手术部位400。偏转元件412还可以被配置为将从目标手术部位400接收到的光反射至下游光学元件(包括用于变焦和记录的前透镜组414)。在一些实施例中,偏转元件412可以过滤从目标手术部位400穿过主物镜组件402接收到的光,使得特定波长的光到达前透镜组414。
偏转元件412可以包括任何类型的反射镜或透镜以沿指定方向反射光。在示例中,偏转元件412包括二向色镜或滤光片,该二向色镜或滤光片在不同波长下具有不同的反射和透射特性。图4的立体可视化相机300包括单一偏转元件412,该偏转元件对右光路和左光路均提供光。在其他示例中,立体可视化相机300可以包括针对右光路和左光路中的每一个的单独的偏转元件。进一步地,可以为NUV光源408c提供单独的偏转元件。
图4的示例立体可视化相机300包括一个或多个变焦透镜,以用于改变目标手术部位400的焦距和视角从而提供变焦放大率。在图4所展示的示例中,变焦透镜包括前透镜组414、变焦透镜组件416和镜筒组418。在一些情况下,变焦透镜可以包括(多个)额外的透镜以进一步提供放大率和/或图像分辨率。
前透镜组414包括针对右光路的右前透镜和针对左光路的左前透镜。左前透镜和右前透镜可以各自包括正会聚透镜以将来自偏转元件412的光引导至变焦透镜组件416中的相应透镜。相应地,左前透镜和右前透镜的侧向位置限定了从主物镜组件402和偏转元件412被传播至变焦透镜组件416的光束。
示例变焦透镜组件416形成无焦点变焦***,该无焦点变焦***用于通过改变传播至镜筒组418的光束的大小来改变视野(例如,线性视野)的大小。变焦透镜组件416包括具有右前变焦透镜和左前变焦透镜的前变焦透镜组424。变焦透镜组件416还包括具有右后变焦透镜和左后变焦透镜的后变焦透镜组430。
基于前变焦透镜组424中的前变焦透镜、后变焦透镜组430中的后变焦透镜与镜筒组418之间的距离来确定针对左光路和右光路中的每一个的图像束的大小。通常,随着后变焦透镜组430中的后变焦透镜朝向镜筒组418(沿着相应的光路)移动,光路的大小减小,从而减小放大率。另外,随着后变焦透镜组430中的后变焦透镜朝向镜筒组418移动,前变焦透镜组424中的前变焦透镜也可以朝向(或背离)镜筒组418移动(比如以抛物弧形),以维持焦平面在目标手术部位400上的位置,从而维持焦点。
前变焦透镜组424中的前变焦透镜可以包含在第一载体内,而后变焦透镜组430中的后变焦透镜包含在第二载体内。每个载体可以沿着光路在轨道(或导轨)上移动,使得可以均匀地调整(例如,增大或减小)左右放大率。总之,前透镜组414、变焦透镜组件416和镜筒组418被配置为实现比如在5X至大约20X之间的光学变焦、比如在具有受衍射限制的分辨率的变焦水平上。
在光来自目标手术部位400之后,右光路和左光路中的每一个中的光可以穿过一个或多个光学滤光片440(或滤光片组件)以选择性地透射期望波长的光。然后,右光路和左光路中的每一个中的光可以穿过最终光学元件组442,该最终光学元件组被配置为将从光学滤光片440接收到的光聚焦到光学图像传感器444上。
如图所示,图4的立体可视化相机300包括光学图像传感器444,该光学图像传感器可以被配置为获取和/或记录从最终光学元件组442接收到的入射光。光学图像传感器444包括右光学图像传感器,其被配置为记录沿着右光路传播的光并生成与右光路相关联的右图像数据。另外,光学图像传感器444还包括左光学图像传感器,其被配置为记录沿着左光路传播的光并生成与左光路相关联的左图像数据。在创建右图像数据和左图像数据之后,一个或多个处理器可以同步并组合左图像数据和右图像数据以生成立体图像。另外,该一个或多个处理器可以被配置为将多个立体图像转换为立体视频数据,以在显示监视器(比如立体显示器)上向立体可视化相机300的用户显示。
在标题为“STEREOSCOPIC VISUALIZATION CAMERA AND PLATFORM[立体可视化相机和平台]”的美国专利号11,058,513中可以找到立体可视化相机300的其他方面,该专利的全部内容通过援引并入本文。
图5示出了在显微手术环境500内使用的立体可视化相机300的图。在一些实施例中,图5的显微手术环境500可以用于眼科手术例程。如图所展示的,立体可视化相机300(尤其是当与多自由度臂结合使用时)的小占地面积和可操纵性使得能够相对于患者502灵活地定位。从立体可视化相机300的角度来看,患者502的一部分包括目标手术部位400。外科医生504可以将立体可视化相机300定位成几乎任何取向,同时在(以仰卧位躺着的)患者502上方留出足够的手术空间。相应地,立体可视化相机300具有最低程度的侵入性(或不具有侵入性)以使外科医生504能够在不受干扰或阻碍的情况下进行改变生命的显微手术例程。
在图5中,立体可视化相机300连接至机械臂506(例如,也称为“机器人臂”)。机械臂506可以包括带有机电制动器的一个或多个旋转或可延伸的接头,以有助于容易地将立体可视化相机300重新定位。为了移动立体可视化相机300,外科医生504或助手508致动机械臂506的一个或多个接头上的制动释放器。在将立体可视化相机300移动至期望的位置之后,可以接合制动器以将机械臂506的接头锁定在位。
立体可视化相机300的重要特征是它不包括目镜。这意味着立体可视化相机300不必与外科医生504的眼睛对准。这种自由度使得立体可视化相机300能够被定位并定向在期望的位置,这在现有的已知手术显微镜中是不可行或不可能的。换言之,外科医生504可以在例如用于进行显微手术的最佳视图下、而不是仅限于由手术显微镜的目镜所指示的适当视图下执行该例程。
如图5所示,立体可视化相机300经由机械臂506连接至具有显示监视器512和514的推车510(统称为立体可视化平台516)。在所展示的配置中,立体可视化平台516是独立式的并且可以被移动到显微手术环境500中的任何期望位置,包括在手术室之间。集成式立体可视化平台516使立体可视化相机300能够按需移动和使用,而无需花费时间通过连接显示监视器512和514来配置***。
显示监视器512和514可以包括任何类型的显示器,包括高清电视、超高清电视、智能眼镜、投影仪、一个或多个计算机屏幕、膝上型计算机、平板计算机和/或智能电话。显示监视器512和514可以连接至机械臂以实现类似于立体可视化相机300的灵活定位。在一些实例中,显示监视器512和514中的一个或多个可以包括触摸屏,以使操作者能够将命令发送至立体可视化相机300和/或调整显示器的设置。
在一些实施例中,推车510可以包括计算机520。在这些实施例中,计算机520可以控制连接至立体可视化相机300的机器人式机械臂。另外或替代性地,计算机520可以处理来自立体可视化相机300的视频(或立体视频)信号(例如,图像或帧流),以在显示监视器512和514上显示。例如,计算机520可以将来自立体可视化相机300的左视频信号与右视频信号进行组合或交织以创建用于显示目标手术部位的立体图像的立体信号。计算机520还可以用于将视频和/或立体视频信号存储到视频文件中(存储到存储器中),从而可以记载手术执行并进行回放。另外,计算机520还可以将控制信号发送至立体可视化相机300以选择设置和/或执行校准。
与具有多个固定放大倍数的立体成像设备相关的方面
数字立体显微镜(比如立体可视化相机300)在进行眼科手术时特别有用。典型地,在比如立体可视化相机300等手术显微镜中,通过将手术显微镜设计成具有移动变焦透镜组(比如在图4中所展示的立体可视化相机300的变焦透镜组件416中的前变焦透镜和后变焦透镜)来实现多个变焦或放大倍数。例如,随着变焦透镜组件416中的前变焦透镜和后变焦透镜沿着导轨向前和向后移动,从目标手术部位400穿过这些透镜的光聚焦在不同的距离处,从而实现不同的变焦或放大倍数。然而,移动变焦透镜是笨重且昂贵的,并且包括易于出现聚焦问题的敏感物体,这使得立体可视化相机300的制造更加困难且更加昂贵。另外,使变焦透镜移动的部件(例如马达、导轨等)易于磨损和断裂,从而可能导致昂贵的维修费用。
此外,移动变焦透镜在任何给定时间点仅能够产生一个放大倍数。因此,在任何给定时间点仅可以向外科医生(例如,图5中的外科医生504)显示目标手术部位400的一个视野。这可能是有问题的,因为在手术期间,外科医生在不同的变焦/放大倍数之间改变以完成各种任务。例如,当需要在执行困难的手术移动时看到目标手术部位的微小细节时,可以使用较大的变焦/较大的放大率(例如,获得目标手术部位400的窄视野)。相反,例如在器械***/更换期间,当需要目标手术部位400的“更大图片”视图时,可以使用较低的变焦/较小的放大率。然而,为了改变变焦/放大倍数,外科医生必须在手术期间暂停并等待移动透镜被调整至恰当的变焦/放大倍数,从而导致手术延迟并减慢工作流程。
因此,本公开的某些方面提供了一种眼科成像设备,该眼科成像设备包括多个立体透镜组,每个立体透镜组与不同的固定放大倍数相关联。这些不同的固定放大倍数中的每一个可以与目标手术部位的不同视野相关联,这些视野可以同时在显示监视器上显示给外科医生。例如,在一些实施例中,该眼科成像设备可以包括与第一固定放大倍数和第一视野(比如,示出了目标手术部位的微小细节的窄视野)相关联的第一立体透镜组。另外,眼科成像设备可以包括与第二固定放大倍数和第二视野(比如,示出了目标手术部位的“更大图片”的广视野)相关联的第二立体透镜组。
相应地,目标手术部位的这些不同视野可以在显示监视器上同时显示给外科医生。在一些实施例中,这些不同的视野可以使用画中画(PIP)配置来显示或并排地显示。通过提供与不同的固定放大倍数相关联的多个透镜组并同时显示对应的视野,外科医生不需要暂停手术来改变放大倍数/视野。此外,由于放大倍数是固定的,因此立体成像装置可以不需要移动的部件,从而避免了复杂且昂贵的制造和维修。
应理解的是,具有固定放大倍数的立体透镜组是指被设计为一定的放大倍数或焦距同时包括允许对所设计的放大倍数进行微调以进行精细聚焦的部件的立体透镜组。相应地,虽然第一和第二立体透镜组中的每一个被设计为不同的固定放大倍数,但是第一和第二立体透镜组可以各自包括允许对固定放大倍数进行微调以实现精细聚焦的某些部件。
图6A、图6B、和图6C分别展示了成像设备600的立体图、左侧视图和右侧视图,该成像设备包括多个立体透镜组,每个立体透镜组与不同的固定放大倍数相关联。在一些实施例中,成像设备600可以在显微手术环境(比如,显微手术环境500)中实施。更具体地,在一些实施例中,成像设备600被配置为替换显微手术环境500中的立体可视化相机300。
如图所展示的,成像设备600包括被配置为封闭光学元件和信号处理电路的壳体601。另外,如图所展示的,成像设备600包括被配置为接收来自目标手术部位603的光的第一立体透镜组,该目标手术部位可以是图4中所展示的目标手术部位400的示例。在一些实施例中,目标手术部位603可以与患者的眼睛相关联。在一些实施例中,接收到的光可以由光源610产生。例如,光源610可以被配置为将光发射到目标手术部位603上。在一些实施例中,光源610可以是图4中所展示的光源408A-408C中的一个或多个的示例。
如图所展示的,第一立体透镜组可以至少包括第一左镜筒602A和第一右镜筒602B。如图所示,第一左镜筒602A和第一右镜筒602B限定平行的相应第一左光路和右光路,比如第一左光路612A和第一右光路612B。第一左镜筒602A和第一右镜筒602B被配置为从目标手术部位603的稍微不同的视点接收光,从而提供目标手术部位603的立体视图。
另外,如图所展示的,成像设备600还包括第二立体透镜组,该第二立体透镜组被配置为接收由光源610产生的来自目标手术部位的额外的光。例如,第二立体透镜组可以包括第二左镜筒604A和第二右镜筒604B。如图所示,第二左镜筒604A和第二右镜筒604B限定平行的相应第二左光路和右光路,比如第二左光路614A和第二右光路614B。类似于第一左镜筒602A和第一右镜筒602B,第二左镜筒604A和第二右镜筒604B被配置为以略微不同的角度来接收来自目标手术部位603的光,从而提供目标手术部位603的另一立体视图。
另外,在一些实施例中,第一透镜组的第一左镜筒602A和第一右镜筒602B包括第一组固定焦距透镜,其被配置为将从目标手术部位603接收到的光根据第一固定放大倍数进行放大。更具体地,如图所示,第一左镜筒602A包括第一固定焦距左透镜606A,并且第一右镜筒602B包括第一固定焦距右透镜606B。固定焦距透镜606A和606B中的每一个被配置为将从目标手术部位603接收到的光根据第一固定放大倍数进行放大。在一些实施例中,第一固定放大倍数可以取决于与固定焦距透镜606A和606B相关联的焦距、并且可以提供目标手术部位603的第一视野。例如,在一些实施例中,固定焦距透镜606A和606B的第一固定放大倍数可以提供示出目标手术部位603的微小细节的窄视野。由于固定焦距透镜606A和606B与固定放大倍数相关联,因此成像设备600可以不需要移动的部件(例如,马达、导轨等)来获得目标手术部位的窄视野。应理解的是,虽然固定焦距透镜606A和606B被设计为第一固定放大倍数或焦距,但是第一左镜筒602A和第一右镜筒602B可以各自包括允许对第一固定放大倍数进行微调以实现精细聚焦的某些部件。
另外,在一些实施例中,第二透镜组的第二左镜筒604A和第二右镜筒604B包括第二组固定焦距透镜,其被配置为将从目标手术部位603接收到的额外的光根据与第一固定放大倍数不同的第二固定放大倍数进行放大。更具体地,如图所示,第二左镜筒604A包括第二固定焦距左透镜608A,并且第二右镜筒604B包括第二固定焦距右透镜608B。固定焦距透镜608A和608B中的每一个被配置为将从目标手术部位603接收到的光根据第二固定放大倍数进行放大。在一些实施例中,第二固定放大倍数可以取决于与固定焦距透镜608A和608B相关联的焦距、并且可以提供目标手术部位603的第二视野。例如,在一些实施例中,固定焦距透镜608A和608B的第二固定放大倍数可以提供示出目标手术部位603的更大/更宽细节的“更大图片”或宽视野。由于固定焦距透镜608A和608B与固定放大倍数相关联,因此成像设备600可以不需要移动的部件(例如,马达、导轨等)来获得目标手术部位的“更大图片”或宽视野。应理解的是,虽然固定焦距透镜608A和608B被设计为第二固定放大倍数,但是第二左镜筒604A和第二右镜筒604B可以各自包括允许对第二固定放大倍数进行微调以实现精细聚焦的某些部件。
另外,成像设备600可以包括第一多个二向色镜和第二多个二向色镜。如图6B中所展示的,该第一多个二向色镜可以包括与第一左镜筒602A相关联的第一左二向色镜616A。另外,如图6C中所展示的,该第一多个二向色镜可以包括与第一右镜筒602B相关联的第一右二向色镜616B。另外,如图6B中所展示的,该第二多个二向色镜可以包括与第二左镜筒604A相关联的第二左二向色镜618A。另外,如图6C中所展示的,该第二多个二向色镜可以包括与第二右镜筒604B相关联的第二右二向色镜618B。
在一些实施例中,该第一多个二向色镜被配置为将从第一左镜筒602A和第一右镜筒602B接收到的光引导至成像设备600的第一多个图像传感器。例如,该第一多个图像传感器可以包括与第一左镜筒602A相关联的第一左图像传感器620A、以及与第一右镜筒602B相关联的第一右图像传感器620B。相应地,第一左二向色镜616A和第一右二向色镜616B可以被配置为将接收到的光沿着平行的第一左光路和右光路(例如,沿着第一左光路612A和第一右光路612B)分别引导至到第一左图像传感器620A和第一右图像传感器620B。
此外,该第二多个二向色镜被配置为将从第二左镜筒604A和第二右镜筒604B接收到的额外的光引导至成像设备600的第二多个图像传感器。例如,该第二多个图像传感器可以包括与第二左镜筒604A相关联的第二左图像传感器622A、以及与第二右镜筒604B相关联的第二右图像传感器622B。相应地,第二左二向色镜618A和第二右二向色镜618B可以被配置为将接收到的额外的光沿着平行的第二左光路和右光路(例如,沿着第二左光路614A和第二右光路614B)分别引导至到第二左图像传感器622A和第二右图像传感器622B。
根据各方面,该第一多个图像传感器(例如,第一左图像传感器620A和第一右图像传感器620B)可以被配置为接收穿过第一立体透镜组并分别被第一左二向色镜616A和第一右二向色镜616B引导之后的光。此外,该第一多个图像传感器中的每个图像传感器(例如,第一左图像传感器620A和第一右图像传感器620B)可以被配置为基于从第一立体透镜组接收到的光来生成第一图像数据。例如,第一左图像传感器620A可以被配置为基于从第一左镜筒602A接收到的光来生成第一左图像数据,并且第一右图像传感器620B可以被配置为基于从第一右镜筒602B接收到的光来生成第一右图像数据。在一些实施例中,第一图像数据(例如,第一左图像数据和第一右图像数据)可以提供目标手术部位603的第一视野的图像,比如上文所描述的显示出目标手术部位603的微小细节的窄视野。
类似地,该第二多个图像传感器(例如,第二左图像传感器622A和第二右图像传感器622B)可以被配置为接收穿过第二立体透镜组并分别被第二左二向色镜618A和第二右二向色镜618B引导之后的额外的光。此外,该第二多个图像传感器中的每个图像传感器(例如,第二左图像传感器622A和第二右图像传感器622B)可以被配置为基于从第二立体透镜组接收到的额外的光来生成第二图像数据。例如,第二左图像传感器622A可以被配置为基于从第二左镜筒604A接收到的额外的光来生成第二左图像数据,并且第二右图像传感器622B可以被配置为基于从第二右镜筒604B接收到的额外的光来生成第二右图像数据。在一些实施例中,第二图像数据(例如,第二左图像数据和第二右图像数据)可以提供目标手术部位603的第二视野的图像,比如上文所描述的目标手术部位603的“更大图片”或宽视野。
如下文将更详细地解释的,来自对应的左图像传感器和右图像传感器的图像数据可以被成像设备600的一个或多个处理器转换为立体视频数据以显示在显示监视器上。例如,图7示出了根据本公开的示例实施例的示例成像设备600的用于获取和处理图像数据的模块的图。应了解的是,模块展示了由某些硬件、控制器、处理器、驱动器和/或接口执行的操作、方法、算法、例程、和/或步骤。在其他实施例中,模块可以被组合、被进一步划分和/或被移除。另外,一个或多个模块(或模块的一部分)可以设置在成像设备600的外部,比如在远程服务器、计算机和/或分布式计算环境中。
在图7所展示的实施例中,光学元件702可以包括第一左镜筒602A、第一右镜筒602B、第二左镜筒604A、第二右镜筒604B、第一固定焦距左透镜606A、第一固定焦距右透镜606B、第二固定焦距左透镜608A、第二固定焦距右透镜608B、光源610、第一左二向色镜616A、第一右二向色镜616B、第二左二向色镜618A、第二右二向色镜618B、第一左图像传感器620A、第一右图像传感器620B、第二左图像传感器622A、以及第二右图像传感器622B。光学元件702(具体地,左图像传感器620A、622A和右图像传感器620B、622B)通信地联接至图像捕捉模块704以及马达与照明模块706。图像捕捉模块704通信地联接至信息处理模块708,该信息处理模块可以通信地联接至位于外部的用户输入装置710和一个或多个显示监视器712。在一些实施例中,该一个或多个显示监视器可以是图5中所展示的显示监视器512和/或514的示例。
示例图像捕捉模块704被配置为从左图像传感器620A和右图像传感器620B、622A和622B接收图像数据。例如,图像捕捉模块704可以被配置为从第一左图像传感器620A接收第一左图像数据、从第一右图像传感器620B接收第一右图像数据、从第二左图像传感器622A接收第二左图像数据、以及从第二右图像传感器622B接收第二右图像数据。图像捕捉模块704还可以指定图像记录属性,比如用于捕捉图像数据的帧速率和曝光时间。
示例照明模块706被配置为控制光源610。例如,在一些实施例中,照明模块706可以包括一个或多个驱动器,用于控制光源610将光发射到目标手术部位603上。
示例信息处理模块708被配置为处理图像数据以便显示。例如,信息处理模块708可以提供对图像数据的颜色校正、从图像数据中滤除缺陷和/或渲染图像数据以用于立体显示。信息处理模块708还可以通过向图像捕捉模块704和/或马达与照明模块706提供指令以对光学元件进行指定的调整,来执行一个或多个校准例程从而对成像设备600进行校准。信息处理模块708可以进一步确定指令并将这些指令实时地提供给图像捕捉模块704和/或马达与照明模块706,以改善图像对准和/或减少假视差。
在一些实施例中,信息处理模块708可以包括通信地联接至该第一多个图像传感器(例如,第一左图像传感器620A和第一右图像传感器620B)和该第二多个图像传感器(例如,第二左图像传感器622A和第二右图像传感器622B)的一个或多个处理器。在一些实施例中,该一个或多个处理器可以被配置为将第一图像数据转换为第一立体视频数据以显示在一个或多个显示监视器712上。例如,在一些实施例中,该一个或多个处理器可以被配置为将由第一左图像传感器620A生成的第一左图像数据与由第一右图像传感器620B生成的第一右图像数据组合成第一立体视频数据。在一些实施例中,将第一图像数据转换为第一立体视频数据可以包括:将第一左图像数据和第一右图像数据的像素行交织。在一些实施例中,第一立体视频数据可以表示并示出目标手术部位603的窄视野,如上文关于第一图像数据所讨论的。
另外,信息处理模块708的该一个或多个处理器可以被配置为将第二图像数据转换为第二立体视频数据以显示在该一个或多个显示监视器712上。例如,在一些实施例中,该一个或多个处理器可以被配置为将由第二左图像传感器622A生成的第二左图像数据与由第二右图像传感器622B生成的第二右图像数据组合成第二立体视频数据。在一些实施例中,将第二图像数据转换为第二立体视频数据可以包括:将第二左图像数据和第二右图像数据的像素行交织。在一些实施例中,第二立体视频数据可以表示并示出目标手术部位603的“更大图片”或宽视野,如上文关于第二图像数据所讨论的。
在一些实施例中,信息处理模块708的该一个或多个处理器可以被配置为在该一个或多个显示监视器712上一次仅显示第一立体视频数据或第二立体视频数据之一。在其他实施例中,信息处理模块708的该一个或多个处理器可以被配置为在该一个或多个显示监视器712上同时显示第一立体视频数据和第二立体视频数据。例如,在一些实施例中,该一个或多个处理器可以在该一个或多个显示监视器712上并排地显示第一立体视频数据和第二立体视频数据。图8A中展示了这种并排显示的示例。例如,如图8A所示,该一个或多个处理器可以将第一立体视频数据802(例如,对应于目标手术部位603的“更大图片”或宽视野)与第二立体视频数据804(例如,对应于目标手术部位603的窄视野)并列显示。
在某些实施例中,该一个或多个处理器可以使用画中画配置在该一个或多个显示监视器712上显示第一立体视频数据和第二立体视频数据。图8B中展示了这种画中画配置的示例。例如,如图8B所示,该一个或多个处理器可以将第一立体视频数据802(例如,对应于目标手术部位603的“更大图片”或宽视野)横跨该一个或多个显示监视器的整个显示区域显示。另外,该一个或多个处理器可以将第二立体视频数据804(例如,对应于目标手术部位603的窄视野)显示在第一立体视频数据802内的帧中。
示例用户输入装置710可以包括计算机,该计算机提供用于改变成像设备600的操作的指令。用户输入装置710还可以包括用于选择成像设备600的参数和/或特征的控件。在一些实施例中,用户输入装置710可以被配置为允许成像设备600的用户在目标手术部位603的不同放大倍数与视野之间进行切换。例如,在一些实施例中,用户输入装置710可以允许成像设备600的用户在同固定焦距透镜606A和606B相关联的第一固定放大倍数(例如,目标手术部位603的窄视野)与同固定焦距透镜608A和608B相关联的第二固定放大倍数(例如,目标手术部位603的“更大图片”/宽视野)之间进行切换。
由于成像设备600的固定焦距透镜606A、606B、608A和608B没有移动的部件,因此目标手术部位603的不同视野(例如,第一立体视频数据中的窄视野和第二立体视频数据中的宽视野)可以互换并几乎立即在该一个或多个显示监视器712上显示。另外,在一些实施例中,用户输入装置710还可以被配置为允许成像设备600的用户在与第一立体视频数据和第二立体视频数据相关联的不同显示配置(比如图8A中所展示的并排配置与图8B中所展示的画中画配置)之间进行切换。
另外,在一些实施例中,用户输入装置710可以包括成像设备600上的按钮或脚踏板,以允许用户在不同的放大倍数和/或显示配置之间进行切换。在一些实施例中,用户输入装置710可以硬连线至信息处理模块708。另外或替代性地,用户输入装置710无线地或光学地通信联接至信息处理模块708。
虽然上文将成像设备600描述为包括第一立体透镜组和第二立体透镜组(每个立体透镜组与不同的固定放大倍数相关联),但是应理解的是,成像设备可以包括任意数量的立体透镜组(例如,三个或更多个),每个立体透镜组都与不同的固定放大倍数相关联。另外,在一些实施例中,第一立体透镜组可以包括固定焦距透镜并且与固定放大倍数相关联,而第二立体透镜组可以包括移动变焦透镜(例如,类似于立体可视化相机300的变焦透镜组件416中的前变焦透镜和后变焦透镜)并且与可调的放大倍数相关联。
图9展示了用于显示目标手术部位的不同立体视频数据的示例方法900。在一些实施例中,不同的立体视频数据可以与目标手术部位的不同视野和放大倍数相关联。在一些实施例中,方法900可以由以下各项来实施:成像设备(比如成像设备600)、或成像设备600中的一个或多个部件(比如光学元件702、图像捕捉模块704、照明模块706、信息处理模块708、用户输入装置710、和/或一个或多个显示监视器712)。
方法900从902开始,即,使用第一立体透镜组接收来自目标手术部位(例如,目标手术部位603)的光。第一立体透镜组可以包括一个或多个部件,比如图6A至图6C的第一左镜筒602A、第一右镜筒602B、第一固定焦距左透镜606A和/或第一固定焦距右透镜606B。在一些实施例中,从目标手术部位接收到的光是指从光源(例如,光源610)发射之后从目标手术部位反射的光的一部分。在一些实施例中,来自目标手术部位的光可以被第一多个图像传感器(比如第一左图像传感器620A和第一右图像传感器620B)接收。
方法900继续进行到904,即,使用第二立体透镜组接收来自目标手术部位的额外的光。第二立体透镜组可以包括一个或多个部件,比如第二左镜筒604A、第二右镜筒604B、第二固定焦距左透镜608A和/或第二固定焦距右透镜608B。在一些实施例中,来自目标手术部位的额外的光可以被第二多个图像传感器(比如第二左图像传感器622A和第二右图像传感器622B)接收。
过程900继续进行到906,即,分别基于使用第一立体透镜组接收到的光和使用第一立体透镜组接收到的额外的光来生成第一图像数据和第二图像数据。例如,在一些实施例中,该第一多个图像传感器(例如,第一左图像传感器620A和第一右图像传感器620B)可以用于基于使用第一立体透镜组接收到的光来生成第一图像数据。另外,该第二多个图像传感器(例如,第二左图像传感器622A和第二右图像传感器622B)可以用于基于使用第二立体透镜组接收到的额外的光来生成第一图像数据。
方法900继续进行到908,即,将第一图像数据转换为第一立体视频数据并将第二图像数据转换为第二立体视频数据。在一些实施例中,信息处理模块708的一个或多个处理器可以用于将第一图像数据转换为第一立体视频数据并将第二图像数据转换为第二立体视频数据。在一些实施例中,将第一图像数据转换为第一立体视频数据可以涉及将由第一左图像传感器620A生成的第一左图像数据的像素行与由第一右图像传感器620B生成的第一右图像数据交织。类似地,将第二图像数据转换为第二立体视频数据可以涉及将由第二左图像传感器622A生成的第二左图像数据的像素行与由第二右图像传感器622B生成的第二右图像数据交织。
方法900继续进行到910,即,将第一立体视频数据和第二立体视频数据显示在显示监视器(比如该一个或多个显示监视器712)上。在一些实施例中,将第一立体视频数据和第二立体视频数据显示在显示监视器上可以由信息处理模块708的该一个或多个处理器来进行。在一些实施例中,显示第一立体视频数据和第二立体视频数据可以包括:将第一立体视频数据和第二立体视频数据同时显示在显示监视器上。在一些实施例中,将第一立体视频数据和第二立体视频数据同时显示在显示监视器上可以包括:使用并排配置来显示第一立体视频数据和第二立体视频数据,如图8A中所展示的。在其他实施例中,将第一立体视频数据和第二立体视频数据同时显示在显示监视器上可以包括:使用画中画配置来同时显示第一立体视频数据和第二立体视频数据,如图8B中所展示的。
在一些实施例中,方法900可以进一步包括接收来自用户的输入,并且基于来自用户的输入从在显示监视器上显示第一立体视频数据切换到在显示监视器上显示第二立体视频数据。
附加考虑
如本文所用,关于项目列表中的“至少一个”的短语是指那些项目的任何组合,包括单个成员。例如,“a、b或c中的至少一个”旨在涵盖a、b、c、a-b、a-c、b-c和a-b-c以及与同一元素的倍数的任意组合(例如,a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c和c-c-c或a、b和c的任何其他顺序)。
提供前面的描述是为了使本领域的任何技术人员能够实践本文所描述的各种实施例。对这些实施例的各种修改对于本领域技术人员来说是显而易见的,并且本文所定义的一般原理可以应用于其他实施例。因此,权利要求不旨在限于本文所示的实施例,而是被赋予与权利要求的语言一致的全部范围。
在权利要求中,除非特别说明,否则对单数元件的引用并非旨在表示“一个且仅一个”,而是“一个或多个”。除非另外特别说明,否则术语“一些”是指一个或多个。本领域普通技术人员已知或以后将知道的在整个本公开所描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文,并且旨在由权利要求涵盖。此外,无论在权利要求中是否明确地叙述了这样的公开,本文所公开的内容都不旨在致力于公众。根据35U.S.C.§112(f)的规定,将不解释任何权利要求的元素,除非使用“用于……的装置”的短语明确地叙述这些元素,或者在方法权利要求的情况下,使用“用于……的步骤”的短语叙述这些元素。词语“示例性”在本文中用于表示“用作示例、实例或说明”。本文中被描述为“示例性”的任何方面不必解释为比其他方面优选或有利。
Claims (15)
1.一种眼科成像设备,包括:
第一立体透镜组,所述第一立体透镜组被配置为接收来自与患者眼睛相关联的目标手术部位的光;
第二立体透镜组,所述第二立体透镜组被配置为接收来自所述目标手术部位的额外的光;
第一多个图像传感器,所述第一多个图像传感器被配置为接收穿过所述第一立体透镜组之后的光,其中,所述第一多个图像传感器包括:
第一左图像传感器,所述第一左图像传感器被配置为基于从所述第一立体透镜组接收到的光来生成第一左图像数据;以及
第一右图像传感器,所述第一右图像传感器被配置为基于从所述第一立体透镜组接收到的光来生成第一右图像数据;
第二多个图像传感器,所述第二多个图像传感器被配置为接收穿过所述第二立体透镜组之后的额外的光,其中,所述第二多个图像传感器包括:
第二左图像传感器,所述第二左图像传感器被配置为基于从所述第二立体透镜组接收到的所述额外的光来生成第二左图像数据;以及
第二右图像传感器,所述第二右图像传感器被配置为基于从所述第二立体透镜组接收到的所述额外的光来生成第二右图像数据;以及
处理器,所述处理器通信地联接至所述第一多个图像传感器和所述第二多个图像传感器,其中,所述处理器被配置为:
将所述第一左图像数据和所述第一右图像数据转换为第一立体视频数据以显示在显示监视器上,以及
将所述第二左图像数据和所述第二右图像数据转换为第二立体视频数据以显示在所述显示监视器上。
2.如权利要求1所述的眼科成像设备,其中:所述第一立体透镜组至少包括第一固定焦距透镜,所述第一固定焦距透镜被配置为将所接收到的光根据第一固定放大倍数进行放大。
3.如权利要求2所述的眼科成像设备,其中:所述第二立体透镜组至少包括第二固定焦距透镜,所述第二固定角度透镜被配置为将所接收到的额外的光根据与所述第一固定放大倍数不同的第二固定放大倍数进行放大。
4.如权利要求1所述的眼科成像设备,其中:所述处理器进一步被配置为将所述第一立体视频数据与所述第二立体视频数据同时显示在所述显示监视器上。
5.如权利要求2所述的眼科成像设备,其中:所述处理器被配置为使用画中画配置将所述第一立体视频数据与所述第二立体视频数据同时显示在所述显示监视器上。
6.如权利要求1所述的眼科成像设备,其中:
所述第一立体透镜组至少包括限定了平行的相应第一左光路和右光路的第一左镜筒和第一右镜筒,
所述第一左镜筒和所述第一右镜筒中的每一个包括第一固定焦距透镜,所述第一固定焦距透镜被配置为将所接收到的光根据第一放大倍数进行放大,
所述第一左图像传感器被配置为接收来自所述第一左镜筒的光,并且
所述第一右图像传感器被配置为接收来自所述第一右镜筒的光。
7.如权利要求6所述的眼科成像设备,其中:
所述第二立体透镜组至少包括限定了平行的相应第二左光路和右光路的第二左镜筒和第二右镜筒,
所述第二左镜筒和所述第二右镜筒中的每一个包括第二固定焦距透镜,所述第二固定焦距透镜被配置为将所接收到的额外的光根据与所述第一放大倍数不同的第二放大倍数进行放大,
所述第二左图像传感器被配置为接收来自所述第二左镜筒的额外的光,并且
所述第二右图像传感器被配置为接收来自所述第二右镜筒的额外的光。
8.如权利要求7所述的眼科成像设备,进一步包括:
第一多个二向色镜,所述第一多个二向色镜被配置为将从所述第一左镜筒和所述第一右镜筒接收到的光分别沿着平行的所述第一左光路和所述第一右光路引导至所述第一左图像传感器和所述第一右图像传感器;以及
第二多个二向色镜,所述第二多个二向色镜被配置为将从所述第二左镜筒和所述第二右镜筒接收到的额外的光分别沿着平行的所述第二左光路和所述第二右光路引导至所述第二左图像传感器和所述第二右图像传感器。
9.如权利要求1所述的眼科成像设备,进一步包括光源,所述光源被配置为将光发射到所述目标手术部位并产生所接收到的光和所接收到的额外的光。
10.一种使用眼科成像设备来同时显示目标手术部位的两个立体图像的方法,包括:
使用所述眼科成像设备的第一立体透镜组来接收来自目标手术部位的光;
使用所述眼科成像设备的第二立体透镜组来接收来自所述目标手术部位的额外的光;
分别基于使用所述第一立体透镜组接收到的光和使用所述第一立体透镜组接收到的额外的光来生成第一图像数据和第二图像数据;
将所述第一图像数据转换为第一立体视频数据并将所述第二图像数据转换为第二立体视频数据;以及
将所述第一立体视频数据和所述第二立体视频数据显示在显示监视器上。
11.如权利要求10所述的方法,其中,将所述第一立体视频数据和所述第二立体视频数据显示在显示监视器上包括:将所述第一立体视频数据和所述第二立体视频数据同时显示在显示监视器上。
12.如权利要求11所述的方法,其中,将所述第一立体视频数据和所述第二立体视频数据同时显示在显示监视器上包括:使用画中画配置将所述第一立体视频数据和所述第二立体视频数据同时显示在所述显示监视器上。
13.如权利要求11所述的方法,其中,将所述第一立体视频数据和所述第二立体视频数据同时显示在显示监视器上包括:使用并排配置将所述第一立体视频数据和所述第二立体视频数据同时显示在所述显示监视器上。
14.如权利要求10所述的方法,进一步包括:
接收来自用户的输入;以及
基于来自所述用户的输入,从在所述显示监视器上显示所述第一立体视频数据切换到在所述显示监视器上显示所述第二立体视频数据。
15.如权利要求10所述的方法,其中:
所述眼科成像设备的第一立体透镜组至少包括第一透镜,所述第一透镜被配置为将所接收到的光根据第一固定放大倍数进行放大,并且
所述第二立体透镜组至少包括第二透镜,所述第二透镜被配置为将所接收到的额外的光根据与所述第一固定放大倍数不同的第二固定放大倍数进行放大。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163277382P | 2021-11-09 | 2021-11-09 | |
US63/277,382 | 2021-11-09 | ||
PCT/IB2022/059635 WO2023084335A1 (en) | 2021-11-09 | 2022-10-07 | Stereoscopic imaging apparatus with multiple fixed magnification levels |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118251168A true CN118251168A (zh) | 2024-06-25 |
Family
ID=83995583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280074025.9A Pending CN118251168A (zh) | 2021-11-09 | 2022-10-07 | 具有多个固定放大倍数的立体成像设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230179755A1 (zh) |
CN (1) | CN118251168A (zh) |
AU (1) | AU2022387887A1 (zh) |
CA (1) | CA3233469A1 (zh) |
WO (1) | WO2023084335A1 (zh) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5002376A (en) * | 1989-05-15 | 1991-03-26 | Edward Weck Incorporated | Dual stereomicroscope |
JP2001208979A (ja) * | 2000-01-27 | 2001-08-03 | Mitaka Koki Co Ltd | 立体顕微鏡 |
US8581961B2 (en) * | 2011-03-31 | 2013-11-12 | Vangogh Imaging, Inc. | Stereoscopic panoramic video capture system using surface identification and distance registration technique |
US10659763B2 (en) * | 2012-10-09 | 2020-05-19 | Cameron Pace Group Llc | Stereo camera system with wide and narrow interocular distance cameras |
US20220031422A1 (en) * | 2015-11-03 | 2022-02-03 | Synaptive Medical Inc. | System and methods using a videoscope with independent-zoom for enabling shared-mode focusing |
US10426339B2 (en) * | 2016-01-13 | 2019-10-01 | Novartis Ag | Apparatuses and methods for parameter adjustment in surgical procedures |
US10299880B2 (en) | 2017-04-24 | 2019-05-28 | Truevision Systems, Inc. | Stereoscopic visualization camera and platform |
US11281888B2 (en) * | 2017-04-26 | 2022-03-22 | Mashgin Inc. | Separation of objects in images from three-dimensional cameras |
US20180368656A1 (en) * | 2017-05-24 | 2018-12-27 | Camplex, Inc. | Surgical visualization systems and displays |
JP6770500B2 (ja) * | 2017-11-09 | 2020-10-14 | 株式会社モリタ製作所 | 口腔内観察装置、観察ユニット及び観察方法 |
US10957064B2 (en) * | 2017-12-29 | 2021-03-23 | PlusAI Corp | Method and system for multiple stereo based depth estimation and collision warning/avoidance utilizing the same |
CN118251578A (zh) * | 2021-11-09 | 2024-06-25 | 爱尔康公司 | 具有多个立体相机的成像设备 |
-
2022
- 2022-10-07 AU AU2022387887A patent/AU2022387887A1/en active Pending
- 2022-10-07 CN CN202280074025.9A patent/CN118251168A/zh active Pending
- 2022-10-07 US US18/045,025 patent/US20230179755A1/en active Pending
- 2022-10-07 CA CA3233469A patent/CA3233469A1/en active Pending
- 2022-10-07 WO PCT/IB2022/059635 patent/WO2023084335A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023084335A1 (en) | 2023-05-19 |
CA3233469A1 (en) | 2023-05-19 |
AU2022387887A1 (en) | 2024-04-04 |
US20230179755A1 (en) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7225300B2 (ja) | 立体視覚化カメラ及びプラットフォーム | |
TWI734106B (zh) | 立體視覺化攝影機及整合機器人平台 | |
US20210169606A1 (en) | Surgical visualization systems and displays | |
US11571272B2 (en) | Stereoscopic camera with fluorescence visualization | |
US9766441B2 (en) | Surgical stereo vision systems and methods for microsurgery | |
JP6521982B2 (ja) | 手術可視化システム及びディスプレイ | |
US11317794B2 (en) | Observation device, observation unit, and observation method | |
RU2273871C2 (ru) | Оптическое устройство в виде бинокулярной лупы с автоматическим фокусирующим устройством | |
US20200030054A1 (en) | Observation system for dental and medical treatment | |
JP5571390B2 (ja) | 画像化装置及び画像化方法 | |
US20230141727A1 (en) | Imaging apparatus with multiple stereoscopic cameras | |
CN118251168A (zh) | 具有多个固定放大倍数的立体成像设备 | |
JP6793623B2 (ja) | 観察器具、観察装置、観察ユニット及び診療ユニット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |