CN111278384A - 利用跟踪辅助摄像机对手术部位进行功能成像 - Google Patents

利用跟踪辅助摄像机对手术部位进行功能成像 Download PDF

Info

Publication number
CN111278384A
CN111278384A CN201880069513.4A CN201880069513A CN111278384A CN 111278384 A CN111278384 A CN 111278384A CN 201880069513 A CN201880069513 A CN 201880069513A CN 111278384 A CN111278384 A CN 111278384A
Authority
CN
China
Prior art keywords
imager
image
optical
surgical site
functional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880069513.4A
Other languages
English (en)
Inventor
德怀特·梅格兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111278384A publication Critical patent/CN111278384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238—Type of minimally invasive operation
    • A61B2017/00283—Type of minimally invasive operation with a device releasably connected to an inner wall of the abdomen during surgery, e.g. an illumination source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)

Abstract

一种手术成像***包括摄像机、第一成像器和处理单元。所述摄像机被配置成沿着第一光学路径捕获手术部位的光学图像。所述第一成像器被配置成沿着与所述第一光学路径分离的第二路径捕获所述手术部位的第一功能图像。所述处理单元被配置成根据捕获的第一功能图像和捕获的光学图像生成所述手术部位的组合视图，并且将所述组合视图传输到显示器。

Description

利用跟踪辅助摄像机对手术部位进行功能成像
背景技术
在手术过程期间，摄像机可以用来可视化手术部位。具体地说，在包括机器人手术的微创手术(MIS)中，可以使用专门的光学摄像机允许外科医生来可视化手术部位。
为了理解在手术部位处的、不容易观察得到的组织的功能方面，例如，存在于次表面组织中的血液流动或某些组织发生癌变，已经开发了这些专门的摄像机和专门的成像协议。当这些专门的成像技术与典型的基于白光的内窥镜结合使用时，在微创或机器人手术中，使用专门地构造的内窥镜，该内窥镜可以允许可见光以及功能成像两者导出的数据以从相同的视点被记录。这种类型的内窥镜通常相当昂贵。
因此，需要开发允许用于手术部位的光学和功能成像的***，该***可以与现有的基于白光的内窥镜一起使用，而不需要专门地构造的内窥镜。
将期望开发和使用能够容易地定位在体内的独立摄像机，以提供这种附加的功能成像信息，并且然后将该附加的功能成像信息覆盖在现有的主要的内窥镜图像上，从而允许扩展当前内窥镜的能力，而不需要专门地构造的内窥镜。
发明内容
在本公开的方面中，手术成像***包括摄像机、第一成像器和处理单元。所述摄像机被配置成沿着第一光学路径捕获手术部位的光学图像。所述第一成像器被配置成沿着与所述第一光学路径分离的第二路径捕获所述手术部位的第一功能图像。所述处理单元被配置成根据捕获的第一功能图像和捕获的光学图像生成所述手术部位的组合视图，并且将所述组合视图传输到显示器。
在各方面中，该***包括显示器，该显示器被配置成接收捕获的第一功能图像和光学图像的组合视图，并显示该组合视图。该***可以包括内窥镜，该内窥镜被配置成穿过开口以进入手术部位。摄像机可以被安置在内窥镜内。第一成像器可以可释放地联接到内窥镜的外部表面。第一成像器可以包括沿着内窥镜的外部表面延伸以将第一成像器联接到处理单元的引线。引线可以被配置成向第一成像器供电和/或被配置成传输捕获的第一功能图像到处理单元。内窥镜可以包括开关，该开关可在第一位置和第二位置之间移动，在第一位置中，仅光学图像被传输到显示器，并且在第二位置中，组合视图被传输到显示器。
在一些方面中，***包括第二成像器，该第二成像器被配置成沿着与第一光学路径和第二光学路径分离的第三路径捕获手术部位的第二功能图像。处理单元可以被配置成接收捕获的第二功能图像并将捕获的第二功能图像与捕获的光学图像组合，并被配置成传输组合视图到显示器。处理单元可以被配置成将捕获的第一功能图和第二功能图像与捕获的光学图像组合，并将组合的视图传输到显示器。
在某些方面中，处理单元被配置成从由摄像机捕获的光学图像确定摄像机的姿态，并且从由第一成像器捕获的第一功能图像确定第一成像器的姿态。处理单元可以被配置成基于第一成像器相对于摄像机的姿态的姿态生成组合视图。
在本公开的另一方面中，利用处理单元在显示器上显示手术部位的视图的方法包括：沿着第一光学路径从摄像机接收手术部位的光学图像；沿着与第一光学路径分离的第二光学路径从第一成像器接收手术部位的第一功能图像；将手术部位的第一功能图像和光学图像组合成组合视图；以及将组合视图传输到显示器。
在各方面中，组合第一功能图像和光学图像包括在第一功能图像和光学图像中的每一个中定位公共物体，以将第一功能图像定位在光学图像之上。附加地或替代性地，该方法可以包括接收摄像机的姿态和接收第一成像器的姿态，并且组合第一功能图像和光学图像可以包括基于第一成像器相对于摄像机的姿态的姿态将第一功能图像定位在光学图像之上。
在一些方面中，该方法包括沿着与第一光学路径和第二光学路径分离的第三光学路径从第二成像器接收手术部位的第二功能图像。将手术部位的第一功能图像和光学图像组合成组合视图进一步包括将第二功能图像与第一功能图像和光学图像组合。该方法可以包括利用第二成像器延伸摄像机的视场。
在本公开的另一方面中，在显示器上的可视化手术部位的方法包括：将摄像机定位在手术部位内，以沿着第一光学路径捕获光学图像；将第一成像器定位在手术部位内，以沿着与第一光学路径分离的第二路径捕获第一功能图像；以及在显示器上查看光学图像覆盖的第一功能图像的组合视图。
在各方面中，该方法包括利用手术器械将第一成像器定位在手术部位内。定位第一成像器可以包括将第一成像器定位在支撑摄像机的内窥镜的外部表面上。该方法可以包括在查看组合视图之前启动开关以激活组合视图。
下面参考附图更详细地描述本公开的示范性实施例的进一步细节和方面。
附图说明
下文参考附图描述的本公开的各个方面，该附图被并入并构成本说明书的一部分，其中：
图1是根据本公开的手术成像***的透视图，包括光学成像***、处理单元、功能成像***和显示器；
图2是图1中所示细节区域的剖视图，绘示了患者体腔内的在图1中所示的光学成像***的摄像机和在图1中所示的功能成像***的成像器；和
图3是根据本公开的利用处理单元在显示器上显示功能图像和光学图像的组合视图的方法的流程图。
具体实施方式
现在参考附图详细描述本公开的实施例，其中在几个视图的每个中，相同的附图标记表示相同或相应的元件。如本文所使用，术语“临床医生”是指医生、护士或任何其它护理提供者，并且可以包括支持人员。在整个说明书中，术语“近端”是指设备或其的部件最靠近临床医生的部分，术语“远端”是指设备或其的部件最远离临床医生的部分。此外，如本文所使用术语“姿态”被理解为意味着物体在空间中的位置和取向。
本公开总体上涉及手术***，该手术***包括捕捉手术部位的光学图像的摄像机和捕捉手术部位的功能图像的一个或多个独立的功能成像器。功能图像可以被覆盖或被涂覆在光学图像之上，以便利用显示器上的光学图像同时被查看。功能成像器可以被安置在从摄像机分离的手术部位内，使得功能成像器沿着从摄像机分离的成像路径被安置。手术***可以包括处理单元，其使用功能成像器相对于摄像机的姿态以将功能图像数据与光学图像组合。处理单元使用摄像机和成像器的视场内的物体，例如组织结构或手术器械，以将功能图像与光学图像组合。
现在参考图1，根据本公开提供的手术***1包括光学成像***10和功能成像***30。光学成像***10包括处理单元11、显示器18和内窥镜20。如图所示，手术***1是腹腔镜手术***；然而，手术***1可以是内窥镜手术***、开放式手术***或机器人手术***。对于合适的机器人手术***的详细描述，可以参考美国专利第8,828,023号，其全部内容通过引用并入本文。
在附加的参考图2，光学成像***10被配置成提供患者“P”体腔内的手术部位“S”的光学视图或图像，并被配置成传输光学图像到显示器18。光学成像***10的内窥镜20包括摄像机22，以在手术过程期间捕获手术部位“S”的光学图像，如下文详述。
内窥镜20通过开口(自然开口或者切口)***，以将摄像机22定位在邻近手术部位“S”体腔内，以允许摄像机22来捕获手术部位“S”的光学图像。摄像机22将捕获的光学图像传输到处理单元22。处理单元11从摄像机22接收手术部位“S”的光学图像或数据，并在显示器18上显示光学图像，使得临床医生可以可视化手术部位“S”。内窥镜20和/或摄像机22包括传感器25(图2)，该传感器在手术部位“S”的光学图像被捕获时捕获摄像机22的姿态。传感器25与处理单元11通信，使得处理单元11从传感器25接收摄像机22的姿态，并将摄像机22的姿态与被摄像机22捕获的光学图像关联。
继续参考图1和2，功能成像***30包括控制单元31和一个或多个功能成像器，例如成像器36。控制单元31可以与处理单元11集成或分离。功能成像***30可以包括探针34，其通过开口被***以将成像器36支撑在患者“P”的体腔内，以将成像器36定位邻近手术部位“S”。成像器36还可以利用手术器械(例如手术器械90)被定位在手术部位“S”内。成像器36捕获手术部位“S”的功能图像，其可以包括但不限于光学图像、IR图像、X射线图像、荧光图像、光声图像、多光谱/超光谱、超声波或Cerenikov辐射。功能图像可以提供利用内窥镜20的摄像机22不能观察到的信息，例如，次表面组织、癌组织中的血液流量，或者摄像机22的视场以外的光学图像。成像器36将功能图像传输到控制单元31。探针34和/或成像器36包括传感器35，其在手术部位“S”的功能图像被捕获时捕获成像器36的姿态，并将成像器36的姿态传输到控制单元31。具体地，传感器35可以使用成像器36的视场内的物体来捕获成像器36的姿态。
当功能图像从传感器35被捕获时，控制单元31从成像器36接收功能图像和成像器36的姿态，并从图像和姿态生成功能图像数据。控制单元31将功能图像数据传输到处理单元11，该处理单元从控制单元31接收功能图像数据，并将从摄像机22的光学图像与功能图像数据组合。在一些实施例中，成像器36和/或传感器35与处理单元11直接通信，使得控制单元31可能是不必要的。
为了将来自成像器36的功能图像数据与来自摄像机22的光学图像组合，处理单元11分析光学图像和功能图像，以将功能图像与光学图像对准。处理单元11可以定位光学图像和功能图像内的手术部位“S”内的公共结构，以将功能图像与光学图像对准。具体地，处理单元11可以从光学图像内的公共结构的位置识别摄像机22的光学路径，并且从功能图像内的公共结构的位置识别成像器36的光学路径。在识别出光学路径的情况下，处理单元11转化成像器36的光学路径以与摄像机22的光学路径对准，以利用光学图像覆盖功能图像。例如，手术器械可以在功能图像中和在光学图像中被捕获，使得手术器械可以用于识别功能图像的光学路径并将其与光学图像对准。附加地或替代性地，手术部位“S”内的结构(例如器官、植入物等)可以以类似于手术器械的方式被使用。应当理解地是，功能图像和光学图像经历空间操作，以将二维图像组合成三维信息的合成。
摄像机22的姿态和成像器36的姿态还可以用于将功能图像与光学图像对准，与手术部位“S”内的公共结构组合或分离。当功能图像被与光学图像对准时，处理单元11可以在显示器18上利用功能图像数据覆盖或涂覆光学图像，使得临床医生可以在显示器18上与光学图像同时查看功能图像数据。内窥镜20可以包括选择器或开关21，该选择器或开关允许临床医生利用手术部位“S”的光学图像选择性地查看功能图像数据。
继续参考图2，功能成像***30可以包括功能成像器46，该功能成像器完全或基本上完全安置在邻近手术部位“S”的患者“P”的体腔内。类似于功能成像器36，功能成像器46可以包括传感器45，以在功能成像器46捕获手术部位“S”的功能图像时捕获成像器46的姿态。功能成像器46和传感器45分别向控制单元31传输功能图像和成像器46的姿态。控制单元31将功能图像与成像器46的姿态组合，以生成功能图像数据，该功能图像数据被传输到处理单元11。
成像器46可以磁性地联接到安置在体腔外部的患者“P”的表面上的基底44。沿着患者“P”的表面操纵基底44可以在患者“P”的体腔内移动成像器46。此外，成像器46和/或传感器45可以将数据传输到基底44，使得基底44将数据中继到控制单元31。
处理单元11可以将来自成像器46的功能图像数据与来自摄像机36的功能图像数据组合，并同时地将两组功能图像数据与来自摄像机22的光学图像两组覆盖。附加地或替代性地，处理单元11可以允许临床医生选择哪个功能图像数据(如果有的话)以覆盖来自摄像机22的光学图像。功能成像***30可以围绕手术部位“S”移动功能成像器46，以在手术部位“S”内的多个位置处记录信息，使得在手术过程期间功能图像数据可以被“涂覆”在光学图像之上。
仍然参考图2，功能成像***30可以包括可释放地联接到内窥镜20的壁或安置在该内窥镜壁内的成像器56。成像器56类似于上面详述的成像器36，从而，为了简洁起见，将不详细描述成像器56和成像器36之间的相似性。在手术过程期间，成像器56可以延伸出内窥镜20，或者通过手术器械(例如手术器械90)放置在内窥镜20上。成像器56可以包括传感器55，或者内窥镜20的传感器25可以在从成像器56的功能图像被捕获时捕获成像器56的姿态。成像器56可以包括沿着内窥镜20延伸的引线57，以将成像器56电连接到处理单元11。引线57可以向成像器56递送电力，并将来自成像器56的数据传输到处理单元11或控制单元31。
如上所述，成像器(例如成像器36、46、56)可以捕获手术部位“S”的光学图像，包括摄像机22的视场以外的数据。处理单元11可以将来自成像器36、46、56的光学图像与来自摄像机22的光学图像组合，用于在显示器18上查看，使得临床医生可以可视化手术部位“S”的延伸视场，超出了单独使用摄像机22可能的。此外，当使用多种成像器时，成像器中的一个(例如成像器56)可以提供光学图像，而其它成像器(例如成像器36、46)可以提供功能图像，该功能图像可以被摄像机22的光学图像和来自其它成像器(例如成像器56)两者的光学图像覆盖。
成像器(例如成像器36、46、56)可以与处理单元11和/或控制单元31无线通信。无线通信可以是射频、光学、WIFI、
Figure BDA0002465179600000072
(用于在短距离之上(使用短长度无线电波)从固定和移动设备交换数据的开放式无线协议)、
Figure BDA0002465179600000071
(基于无线个人区域网(WPANs)的IEEE802.15.4-2003标准的使用小型低功率数字无线电的一套高级通信协议说明书)、超宽带无线电(UWB)等。
参考图3，参考图1和图2的手术***1，根据本公开描述了在利用处理单元的显示器上显示功能图像和光学图像的组合视图的方法100。最初，处理单元11从摄像机22接收光学图像(步骤110)，并且可以在光学图像被捕获时接收摄像机22的姿态(步骤112)。处理单元1也从成像器36接收功能图像(步骤120)，并且可以在功能成像器被捕获时接收成像器36的姿态(步骤122)。应当理解地是，步骤110、112、120和122可以并行或串行发生。
随着处理单元11接收光学图像和功能图像，处理单元11将功能图像与光学图像组合(步骤130)。如上所详述，处理单元11可以在光学图像和功能图像中识别或定位公共物体，以识别成像器36相对于摄像机22的姿态的光学路径或姿态(步骤132)。处理单元11然后可以将功能图像转化到摄像机22的光学路径，使得功能图像覆盖光学图像。附加地或替代性地，处理单元11可以使用在上述步骤112、122中接收的摄像机22的姿态和成像器36的姿态以将功能图像转化到摄像机22的光学路径(步骤134)。在一些实施例中，处理单元11执行步骤134，并通过随后执行步骤132来微调转化。
在组合功能图像和光学图像之后，处理单元11将组合视图传输到显示器18，用于被临床医生可视化。应当理解地是，组合视图基本上是实时传输的，以增加临床医生在手术过程期间的情境认知。
应当理解地是，与利用具有集成在一起的光学和功能摄像机的单个专门的内窥镜相比，利用与内窥镜组合的独立功能摄像机利用减少的成本增加了手术部位的可视化。此外，通过允许多种功能成像器安置在手术部位内，临床医生可以延伸手术部位的视场。进一步，每个功能成像器可以提供手术部位的功能视图，该手术部位的功能视图可以选择性地被具有内窥镜提供的光学图像覆盖，在手术过程期间向临床医生提供更大的可视化灵活性。通过增加可视化，延伸手术部位的视场，并提供可视化更大灵活性，手术结果可以被改进，手术时间可以被减少，和/或手术过程成本可以被减少。
虽然在附图中已经示出了本公开的几个实施例，但是并不意图将本公开限制于此，因为意图是本公开同在本领域所允许的范围中是一样广泛的，并且说明书同样被阅读。上述实施例的任何组合也是可预见的，并且在所附权利要求的范围内。因此，上述描述不应被解释为限制性的，而仅仅是特定实施例的示例。本领域技术人员将在其所附权利要求的范围内设想其它修改。

Claims (19)

1.一种手术成像***，其包含：
摄像机，其被配置成沿着第一光学路径捕获手术部位的光学图像；
第一成像器，其被配置成沿着与所述第一光学路径分离的第二路径捕获所述手术部位的第一功能图像；以及
处理单元，其被配置成根据捕获的第一功能图像和捕获的光学图像生成所述手术部位的组合视图，并且将所述组合视图传输到显示器。
2.根据权利要求1所述的***，其进一步包含被配置成接收所述捕获的第一功能图像和所述捕获的光学图像的所述组合视图并且显示所述组合视图的显示器。
3.根据权利要求1所述的***，其进一步包含被配置成穿过开口以进入手术部位的内窥镜。
4.根据权利要求3所述的***，其中所述摄像机安置在所述内窥镜内。
5.根据权利要求3所述的***，其中所述第一成像器可释放地联接到所述内窥镜的外部表面。
6.根据权利要求3所述的***，其中所述第一成像器包括沿着所述内窥镜的外部表面延伸以将所述第一成像器联接到所述处理单元的引线，所述引线被配置成进行向所述第一成像器供电或向所述处理单元传输捕获的第一功能图像中的至少一个。
7.根据权利要求1所述的***，其进一步包含第二成像器，所述第二成像器被配置成沿着与所述第一光学路径和所述第二路径分离的第三路径捕获所述手术部位的第二功能图像，所述处理单元被配置成接收捕获的第二功能图像并且将所述捕获的第二功能图像与所述捕获的光学图像组合，并且将组合视图传输到显示器。
8.根据权利要求7所述的***，其中所述处理单元被配置成将所述捕获的第一功能图像和所述捕获的第二功能图像与所述捕获的光学图像组合，并且将组合视图传输到显示器。
9.根据权利要求1所述的***，其中所述处理单元被配置成根据由所述摄像机捕获的所述光学图像来确定所述摄像机的姿态，并且根据由所述第一成像器捕获的所述第一功能图像来确定所述第一成像器的姿态，并且其中所述处理单元被配置成基于相对于所述摄像机的所述姿态的所述第一成像器的所述姿态来生成所述组合视图。
10.一种利用处理单元在显示器上显示手术部位的视图的方法，所述方法包含：
沿着第一光学路径从摄像机接收手术部位的光学图像；
沿着与所述第一光学路径分离的第二路径从第一成像器接收所述手术部位的第一功能图像；
将所述手术部位的所述第一功能图像和所述光学图像组合成组合视图；以及
将所述组合视图传输到显示器。
11.根据权利要求10所述的方法，其中组合所述第一功能图像和所述光学图像包括在所述第一功能图像和所述光学图像中的每一个中定位公共物体，以将所述第一功能图像定位在所述光学图像之上。
12.根据权利要求10所述的方法，其进一步包含接收所述摄像机的姿态和接收所述第一成像器的姿态，其中组合所述第一功能图像和所述光学图像包括基于相对于所述摄像机的所述姿态的所述第一成像器的所述姿态将所述第一功能图像定位在所述光学图像之上。
13.根据权利要求10所述的方法，其进一步包含沿着与所述第一光学路径和所述第二路径分离的第三路径从第二成像器接收所述手术部位的第二功能图像。
14.根据权利要求13所述的方法，其中将所述手术部位的所述第一功能图像和所述光学图像组合成所述组合视图进一步包括将所述第二功能图像与所述第一功能图像以及所述光学图像组合。
15.根据权利要求13所述的方法，其进一步包含利用所述第二成像器延伸所述摄像机的视场。
16.一种在显示器上可视化手术部位的方法，所述方法包含：
将摄像机定位在手术部位内，以沿着第一光学路径捕获光学图像；
将第一成像器定位在所述手术部位内，以沿着与所述第一光学路径分离的第二路径捕获第一功能图像；以及
在显示器上查看所述第一功能图像覆盖所述光学图像的组合视图。
17.根据权利要求16所述的方法，其进一步包含利用手术器械将所述第一成像器定位在所述手术部位内。
18.根据权利要求17所述的方法，其中定位所述第一成像器包括将所述第一成像器定位在支撑所述摄像机的内窥镜的外部表面上。
19.根据权利要求16所述的方法，其进一步包含在查看所述组合视图之前启动开关以激活所述组合视图。
CN201880069513.4A 2017-09-08 2018-09-06 利用跟踪辅助摄像机对手术部位进行功能成像 Pending CN111278384A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762556009P 2017-09-08 2017-09-08
US62/556,009 2017-09-08
PCT/US2018/049655 WO2019051019A1 (en) 2017-09-08 2018-09-06 FUNCTIONAL IMAGING OF OPERATIVE FIELD WITH AN AUXILIARY CAMERA FOLLOWED

Publications (1)

Publication Number Publication Date
CN111278384A true CN111278384A (zh) 2020-06-12

Family

ID=65635155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069513.4A Pending CN111278384A (zh) 2017-09-08 2018-09-06 利用跟踪辅助摄像机对手术部位进行功能成像

Country Status (5)

Country Link
US (1) US20200281685A1 (zh)
EP (1) EP3678583A4 (zh)
JP (1) JP2020533067A (zh)
CN (1) CN111278384A (zh)
WO (1) WO2019051019A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112450995B (zh) * 2020-10-28 2022-05-10 杭州无创光电有限公司 一种态势模拟内窥镜***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2452649A1 (en) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
US20140051986A1 (en) * 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and Methods for Registration of Multiple Vision Systems
US20150238073A1 (en) * 2012-06-27 2015-08-27 Camplex, Inc. Surgical visualization systems
US20170071456A1 (en) * 2015-06-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6368331B1 (en) * 1999-02-22 2002-04-09 Vtarget Ltd. Method and system for guiding a diagnostic or therapeutic instrument towards a target region inside the patient's body
GB0613576D0 (en) * 2006-07-10 2006-08-16 Leuven K U Res & Dev Endoscopic vision system
JP2009072368A (ja) * 2007-09-20 2009-04-09 Olympus Medical Systems Corp 医療装置
US20140187857A1 (en) * 2012-02-06 2014-07-03 Vantage Surgical Systems Inc. Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery
JP2016525378A (ja) * 2013-05-06 2016-08-25 エンドチョイス インコーポレイテッドＥｎｄｏｃｈｏｉｃｅ， Ｉｎｃ． マルチビュー素子内視鏡で使用するための画像撮像アセンブリ
US20140343358A1 (en) * 2013-05-17 2014-11-20 Avantis Medical Systems, Inc. Secondary imaging endoscopic device
CN105358072B (zh) * 2014-04-22 2018-11-09 香港生物医学工程有限公司 单进入通道外科机器人装置和***以及配置单进入通道外科机器人装置和***的方法
US10701339B2 (en) * 2014-09-18 2020-06-30 Sony Corporation Image processing device and image processing method
CN114652441A (zh) * 2016-02-12 2022-06-24 直观外科手术操作公司 图像引导外科手术中的姿势估计以及透视成像***的校准的***和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2452649A1 (en) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
US20150238073A1 (en) * 2012-06-27 2015-08-27 Camplex, Inc. Surgical visualization systems
US20140051986A1 (en) * 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and Methods for Registration of Multiple Vision Systems
US20170071456A1 (en) * 2015-06-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal

Also Published As

Publication number Publication date
WO2019051019A1 (en) 2019-03-14
EP3678583A4 (en) 2021-02-17
JP2020533067A (ja) 2020-11-19
EP3678583A1 (en) 2020-07-15
US20200281685A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
US10912447B2 (en) Laparoscope system
US11123150B2 (en) Information processing apparatus, assistance system, and information processing method
US9717399B2 (en) Endoscope with multifunctional extendible arms and endoscopic instrument with integrated image capture for use therewith
US20110218400A1 (en) Surgical instrument with integrated wireless camera
US20230210347A1 (en) Surgery system, control method, surgical apparatus, and program
EP3733047A1 (en) Surgical system, image processing device, and image processing method
JP2020022563A (ja) 医療用観察装置
AU2012202237B2 (en) Pivoting three-dimensional video endoscope
US20170296036A1 (en) Endoscope with multidirectional extendible arms and tool with integrated image capture for use therewith
EP2522271B1 (en) Twin camera endoscope
CN111278384A (zh) 利用跟踪辅助摄像机对手术部位进行功能成像
JP6629047B2 (ja) 画像合成装置および画像合成装置の作動方法
EP2363077A1 (en) Surgical instrument with integrated wireless camera
EP3848895A1 (en) Medical system, information processing device, and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200612

WD01 Invention patent application deemed withdrawn after publication