CN112753208A - 用于图像捕获设备的相机外校准参数 - Google Patents

用于图像捕获设备的相机外校准参数 Download PDF

Info

Publication number
CN112753208A
CN112753208A CN201980063343.3A CN201980063343A CN112753208A CN 112753208 A CN112753208 A CN 112753208A CN 201980063343 A CN201980063343 A CN 201980063343A CN 112753208 A CN112753208 A CN 112753208A
Authority
CN
China
Prior art keywords
image
calibration
capture device
image capture
calibration data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980063343.3A
Other languages
English (en)
Inventor
J·霍尔德曼
B·D·霍夫曼
D·C·里欧
I·E·麦克道尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN112753208A publication Critical patent/CN112753208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00082—Adjusting or controlling
    • H04N1/00087—Setting or calibrating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40062—Discrimination between different image types, e.g. two-tone, continuous tone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

一种外科手术***包括网络可访问数据库，其被配置为存储用于内窥镜图像捕获设备的校准数据。外科手术***还包括图像处理器，其被配置为可通信地耦合到内窥镜图像捕获设备，以在外科手术或诊断例程期间接收外科手术部位的图像数据。图像处理器被配置为经由网络连接从网络可访问数据库检索校准数据。图像处理器还被配置为基于检索到的校准数据来处理接收到的图像。外科手术***还包括用户控制***，其耦合到图像处理器并且被配置为从图像处理器接收经处理的图像。用户控制***包括显示器，其被配置为显示经处理的图像。校准数据在数据库上定期或动态更新，以考虑外科手术***的改变或新校准方法。

Description

用于图像捕获设备的相机外校准参数
相关申请的交叉引用
本申请要求2018年8月24日提交的美国临时专利申请序列号62/722,314的权益，其公开内容明确地通过引用并入本文。
背景技术
图像捕获设备通常在现场使用之前经过工厂校准。在校准过程期间，捕获测试图案的一个或多个图像，并将其用作生成用于图像捕获设备的校准数据的参考。例如，一个或多个变换用于调整从图像捕获设备捕获的图像以与测试图案的已知图像对准。校准过程可以校准捕获的图像以校正图像捕获设备中的颜色、光学、对准或其它图像传感器引起的或光学引起的误差或变动。校准过程生成校准数据集，该校准数据集与图像捕获设备一起存储，并应用于校正由使用中的图像捕获设备捕获的图像。
发明内容
本公开的第一方面包括一种***，该***包括网络可访问数据库，其被配置为存储用于图像捕获设备的校准数据。该***还包括控制器***，其包括图像处理器，该图像处理器被配置为接收由图像捕获设备捕获的图像。图像处理器还被配置为经由网络连接从网络可访问数据库检索校准数据。图像处理器还被配置为基于检索到的校准数据来处理接收到的图像。
在本公开的第一方面的一些实施方式中，该***还包括工具，该工具包括图像捕获设备并且电耦合到控制器***。该工具具有唯一标识符。
在本公开的第一方面的一些实施方式中，基于唯一标识符，在网络可访问数据库中用图像捕获设备对校准数据进行索引。
在本公开的第一方面的一些实施方式中，唯一标识符由工具维持，并且其中图像处理器还被配置为从工具获得唯一标识符。
在本公开的第一方面的一些实施方式中，唯一标识符由工具维持在该工具的存储器设备上或在该工具的表面上的视觉指示符上。
在本公开的第一方面的一些实施方式中，图像处理器还包括光学扫描仪，该光学扫描仪被配置为从工具的表面读取视觉指示符以从工具获得唯一标识符。
在本公开的第一方面的一些实施方式中，光学扫描仪是相机或条形码读取器。
在本公开的第一方面的一些实施方式中，视觉指示符被印刷、粘附、标记、压印或戳印在工具的表面上。
在本公开的第一方面的一些实施方式中，视觉指示符是字母数字序列号、编码唯一标识符的线性条形码、编码唯一标识符的二维条形码或用唯一标识符编码的图像。
在本公开的第一方面的一些实施方式中，工具包括内窥镜，并且图像捕获设备包括一对图像传感器，其被配置为在外科手术例程(procedure)期间捕获外科手术部位的立体图像数据。
在本公开的第一方面的一些实施方式中，校准数据包括用于处理接收到的图像以基于下列项中的一个或多个来校正接收到的图像的数据：由被配置为对由接收到的图像捕获的场景进行照明的照明器发射的光的颜色、由图像捕获设备捕获的校准图像、由图像捕获设备的光学***引入的光学畸变、立体图像校准或颜色空间映射。
在本公开的第一方面的一些实施方式中，***还包括与网络可访问数据库通信的校准处理器。校准处理器被配置为接收由图像捕获设备捕获的校准图像并基于将校准算法应用于一个或多个校准图像来生成校准数据。
在本公开的第一方面的一些实施方式中，校准图像与校准数据一起存储在网络可访问数据库中。
在本公开的第一方面的一些实施方式中，校准处理器被配置为在从控制器***接收到对校准数据的请求之后生成校准数据。
在本公开的第一方面的一些实施方式中，校准数据不同于用于图像捕获设备的先前校准数据集，其中先前校准数据集是由校准处理器基于将不同的校准算法应用于一个或多个校准图像来生成的。
在本公开的第一方面的一些实施方式中，基于要使用图像捕获设备的例程的类型或基于控制器***的配置来选择校准算法。
在本公开的第一方面的一些实施方式中，生成校准数据以增强对于要使用图像捕获设备的例程的类型而言重要的图像特征。
在本公开的第一方面的一些实施方式中，图像特征是聚焦水平、锐度(sharpness)、颜色保真度或颜色准确度中的一个或多个。
在本公开的第一方面的一些实施方式中，校准数据还不利地影响第二图像特征。
在本公开的第一方面的一些实施方式中，控制器***的配置包括由控制器***提供的照明源、图像处理器的类型或控制器***的软件发行版本中的一个或多个。
在本公开的第一方面的一些实施方式中，校准处理器还被配置为在例程期间从控制器***检索由图像捕获设备捕获的操作图像，并基于操作图像来调整校准数据。
在本公开的第一方面的一些实施方式中，操作图像的照度值与基于距操作图像中捕获的对象的已知距离和输出到照明源的已知功率而确定的期望照度值进行比较，该照明源对操作图像中捕获的对象进行照明。
在本公开的第一方面的一些实施方式中，操作图像的颜色空间与图像捕获设备的预期颜色空间进行比较，以确定颜色空间的中心是否偏离预期颜色空间的中心。
在本公开的第一方面的一些实施方式中，评估操作图像的立体对准以识别与对应的操作图像的未对准。
在本公开的第一方面的一些实施方式中，校准处理器还被配置为接收与先前校准数据集相比评估校准数据的用户反馈调查。
在本公开的第一方面的一些实施方式中，控制器***还包括校准高速缓存存储器，其被配置为存储从网络可访问数据库检索到的校准数据。
在本公开的第一方面的一些实施方式中，控制器***还被配置为存储已知已经被运送到与控制器***的位置相关联的位置的图像捕获设备的校准数据。
在本公开的第一方面的一些实施方式中，控制器***还被配置为存储预定数量的先前使用的图像捕获设备的校准数据。
在本公开的第一方面的一些实施方式中，控制器***还被配置为存储用于图像捕获设备的类型的默认校准数据。
在本公开的第一方面的一些实施方式中，控制器***还被配置为在从网络可访问数据库检索校准数据之前，将用于图像捕获设备的高速缓存的校准数据集与存储在网络可访问数据库上的校准数据进行比较。
本公开的第二方面包括一种方法，该方法包括将用于图像捕获设备的校准数据存储在网络可访问数据库中。该方法还包括由控制器***经由网络连接从网络可访问数据库检索校准数据。该方法还包括由控制器***接收由图像捕获设备捕获的图像。该方法还包括由控制器***的图像处理器基于检索到的校准数据来处理接收到的图像。
本公开的第三方面包括一种外科手术***，其包括网络可访问数据库，其被配置为存储用于内窥镜图像捕获设备的校准数据。外科手术***还包括图像处理器，该图像处理器被配置为可通信地耦合到内窥镜图像捕获设备，以在外科手术例程期间接收外科手术部位的图像数据。图像处理器被配置为经由网络连接从网络可访问数据库检索校准数据。图像处理器还被配置为基于检索到的校准数据来处理接收到的图像。外科手术***还包括用户控制***，该用户控制***耦合到图像处理器并且被配置为从图像处理器接收经处理的图像。用户控制***包括被配置为显示经处理的图像的显示器。
在本公开的第三方面的一些实施方式中，外科手术***还包括操纵器***，该操纵器***包括操纵器臂，该操纵器臂被配置为附接到内窥镜图像捕获设备，并且被配置为在外科手术例程期间物理地更改内窥镜图像捕获设备的姿势。
在本公开的第三方面的一些实施方式中，用户控制***还包括操纵用户界面。在启动操纵用户界面后，用户控制***被配置为向操纵器***发出命令以改变内窥镜图像捕获设备的姿势。
本公开的第四方面包括一种处理由内窥镜图像捕获设备捕获的外科手术例程的图像的方法。该方法包括由图像处理器接收由内窥镜图像捕获设备捕获的图像。该方法还包括由图像处理器从网络可访问数据库检索用于内窥镜图像捕获设备的校准数据。该方法还包括由图像处理器基于检索到的校准数据来处理从内窥镜图像捕获设备接收的图像。该方法还包括由图像处理器将经处理的图像传输到用户控制***。该方法还包括在用户控制***上将经处理的图像显示在显示器上。
通过以下具体实施方式结合附图和权利要求，将更清楚地理解这些和其它特征。
附图说明
为了更完整地理解本公开，现在结合附图和具体实施方式参考以下简要描述，其中相似的附图标记表示相似的部分。
图1是微创远程操作外科手术***的平面图。
图2是用户控制***的透视图。
图3是电子推车的透视图。
图4是远程操作外科手术***的示意图。
图5是内窥镜图像捕获设备的透视图。
图6是图像捕获设备校准工具的示意图。
图7是示出获得用于图像捕获设备的校准数据的示例过程的流程图。
图8是示出响应于请求而发送校准数据的示例过程的流程图。
图9是示出基于由图像捕获设备捕获的现场图像来确定改变的校准参数或维护状况的示例过程的流程图。
图10A至图10D是从经处理的现场图像生成的色度图，其示出图像捕获设备的颜色空间的中心的偏移。
图11是示出进行校准参数调查的示例过程的流程图。
图12示出示例性计算机***。
具体实施方式
首先应该理解的是，尽管以下示出一个或多个实施例的说明性实施方式，但是所公开的***和方法可以使用任何数量的技术来实现，无论该技术是否是当前已知的或存在的。本公开绝不应该限于以下所示的说明性实施方式、附图和技术，而是可以在所附权利要求书及其等同物的全部范围内进行修改。短语“和/或”的使用指示可以使用选项列表中的任何一个或任何组合。例如，“A、B和/或C”表示“A”、或“B”、或“C”、或“A和B”、或“A和C”、或“B和C”、或“A、B和C”。
参考一个实施例、实施方式或应用详细描述的元件，只要可行，就可以被包括在未具体示出或描述它的其它实施例、实施方式或应用中。例如，如果参考一个实施例详细描述了一个元件，而没有参考第二实施例描述描述该元件，则在第二实施例中仍然可以请求保护包括该元件。因此，为了避免在以下描述中不必要的重复，除非另外具体说明，否则与一个实施例、实施方式或应用相关联示出和描述的一个或多个元件可以结合到其它实施例、实施方式或方面中，除非一个或多个元件将使一个实施例或实施方式失去功能，或者除非两个或多个元件提供冲突的功能。
主要根据使用达芬奇外科手术***(da
Figure BDA0002993557450000061
Surgical System)(具体地说，型号为IS4000，以da
Figure BDA0002993557450000062
XiTM HDTM外科手术***销售)的实施方式描述本发明的各个方面，该***由加利福尼亚州桑尼维尔(Sunnyvale,California)的直观外科手术操作公司(Intuitive Surgical,Inc.)出售。然而，本领域技术人员将理解，可以以各种方式来体现和实现本文公开的发明方面，包括机器人以及(如果适用)非机器人实施例和实施方式。达芬奇外科手术***(例如，型号为IS4000 da
Figure BDA0002993557450000064
XiTM HDTM外科手术***/型号为IS3000da
Figure BDA0002993557450000063
外科手术***)的实施方式仅仅是示例性的，并且不应被认为是对本文公开的发明方面的范围的限制。
根据各个方面，本公开描述了一种用于图像捕获设备的相机外校准的***和方法。校准数据通常被维持在图像捕获设备的只读存储器中，并且在图像捕获设备出厂后无法改变或更新。用于图像捕获设备的校准数据通常不考虑设备随时间的磨损。因此，随着时间推移，存储在图像捕获设备上的校准数据可能变得不那么准确，并且导致来自图像捕获设备的经处理的图像具有更多的误差。
例如，一种内窥镜图像捕获设备包括相机壳体，该相机壳体包括具有光纤束的柔性缆线。缆线包括被配置为将光纤束耦合到光源的连接器。相机壳体还包括只读存储器，该只读存储器存储用于内窥镜图像捕获设备的校准数据。相机壳体还包括刚性相机轴，该相机轴在远端具有相机端头。相机端头包括一个或多个图像传感器和相关联的光学***。相机轴还包括第二光纤束，该第二光纤束被配置为将从柔性缆线中的光纤束接收的光输送到相机端头，以对由一个或多个图像传感器成像的场景(诸如诊断或外科手术例程)进行照明。由相机端头中的一个或多个图像传感器捕获的图像经由有线或无线电连接输送到相机壳体，并且进而经由柔性缆线中的有线或无线电连接输送到连接器。
一种控制器***包括被配置为接受连接器的插座。控制器***包括光源，该光源耦合到插座并且被配置为向柔性缆线中的光纤束供应光。控制器***还包括图像处理器，该图像处理器耦合到插座并且被配置为接收经由柔性缆线中的电连接输送的图像。图像处理器被配置为在将连接器***插座后从相机壳体中的只读存储器读取校准数据。图像处理器基于读取的校准数据处理接收到的图像，以生成一个或多个经处理的图像。当使用内窥镜图像捕获设备时，柔性缆线中的光纤束的光学传输属性可能随时间改变。此外，由于在医疗例程中使用，因此相机端头可能随时间而磨损。因此，至少内窥镜图像捕获设备的光学属性将随时间改变，从而导致校准数据并未针对内窥镜图像捕获设备的当前状况进行优化。
另外，内窥镜图像捕获设备可以在不同的时间耦合到不同的控制器***，其中控制器***中的一个或多个可以具有不同的配置。不同的控制器***可以具有不同的***配置，诸如不同的图像处理器、视觉***或其它硬件变动、不同的软件发行版本和/或具有不同光谱响应的不同光源。因此，校准数据可能没有针对内窥镜图像捕获设备当前耦合到的特定控制器***进行优化。
而且，用于从捕获的测试图案生成校准数据的变换的进展不能追溯地应用于现有的外科手术内窥镜图像捕获设备。因此，根据当前的知识和技术，可能无法优化存储在外科手术内窥镜图像捕获设备上的校准数据。
在本公开的各种实施方式中，将校准数据移动到相机外并由控制器***从中央校准服务器获得。在将诸如内窥镜图像捕获设备的图像捕获设备连接到控制器***后，控制器***获得图像捕获设备的唯一标识符。尽管本文针对内窥镜图像捕获设备描述了各种示例，但是本公开不限于此，而是旨在涵盖耦合到控制器***的任何设备，该控制器***具有对应的校准数据以控制该设备的操作或处理从该设备接收的数据。同样地，本公开旨在涵盖耦合到控制器***以处理由图像捕获设备捕获的图像的任何图像捕获设备。例如，本公开可以等同地应用于管道镜或其它此类检查相机。
唯一标识符可以被维持在图像捕获设备的存储器中。可替代地，耦合到控制器***的读取器从图像捕获设备读取唯一标识符。例如，读取器可以是射频标识符(RFID)、低功耗蓝牙(
Figure BDA0002993557450000071
low energy,BLE)、
Figure BDA0002993557450000072
或其它无线标志读取器，并且唯一标识符可以以无线标志存储，例如RFID、BLE、
Figure BDA0002993557450000073
或其它无线标志。
在另一个示例中，唯一标识符作为光学可读标签提供在图像捕获设备的壳体上。标签可以包括加密或非加密格式的字母数字串、符号或代码。标签可以被压印、胶合、粘附、印刷或以其它方式粘贴到图像捕获设备的壳体。可以从耦合到控制器***或以其它方式与之通信的相机、条形码读取器或其它光学扫描仪读取唯一标识符。
使用获得的图像捕获设备的唯一标识符，控制器***从中央校准服务器获得用于图像捕获设备的校准数据。控制器***然后基于检索到的校准数据来处理从图像捕获设备接收的图像。在一些实施方式中，唯一标识符是医疗设备的通用唯一标识符(UUID)。
通过从图像捕获设备卸载校准数据，可以减少图像捕获设备的存储器需求，从而导致更便宜的图像捕获设备。例如，新生产的图像捕获设备可以省略只读校准存储器，或者减小只读存储器的大小以仅存储图像捕获设备的唯一标识符。
可以在中央校准服务器处周期性地或动态地生成校准数据。因此，可以基于要执行的例程的类型，基于当前的仪器配置和/或基于对校准方法的改进来改变用于计算一个或多个校准参数的方法。此外，从中央校准服务器获得校准数据延长了现场现有仪器的寿命和/或功能，否则其可能存储过时的校准数据或未针对特定例程优化的校准数据。
由于控制器***与中央校准服务器定期通信，因此可以启用附加功能。例如，从图像捕获设备捕获的图像可以被周期性地传送到中央校准服务器。可以对这些现场图像进行处理，以识别随时间推移对用于特定图像捕获设备的校准数据的改进，或者标示图像捕获设备进行维护。例如，由于柔性缆线中的光纤束的磨损，现场捕获的图像可能随着随时间推移而展现出捕获的图像中的光谱衰减。可以通过对校准数据的调整或对提供给图像捕获设备的光源的调整来校正光谱衰减。同样地，可以通过对校准数据的调整或对提供给图像捕获设备的光源的调整来校正一个或多个图像传感器的颜色空间随时间推移的偏移。另外，可以识别并标示立体图像中的对准问题以进行维护。
作为另一示例，可以对具有不同校准数据集的图像捕获设备的终端用户进行偏好研究。例如，可以在不同校准数据集中使用不同的颜色映射或畸变校正，并且可以获得来自终端用户的反馈以告知优化的校准数据集。可以添加附加控件，以防止控制器***与未登记的图像捕获设备一起使用，便于对图像捕获设备进行召回控制，并在需要翻新之前限制图像捕获设备的总使用次数。
现在参考附图，其中贯穿若干视图，相同的附图标记表示相同的部分。图1是微创远程操作外科手术***10的平面图，其通常用于对躺在移动手术台14上的患者12执行微创诊断或外科手术例程。该***包括用户控制***16，诸如在例程期间由外科医生18使用的移动外科医生的控制台。一个或多个助手20也可以参与例程。微创远程操作外科手术***10还包括操纵***22(诸如移动患者侧推车)和移动电子推车24。在一些实施例中，台14、用户控制***16、操纵***22和电子推车24安装有轮子以提供移动性。
操纵***22或其它这样的操纵***包括多个分段的机械支撑臂72，每个机械支撑臂72的一个端部可旋转地安装到竖直支撑结构74，并且另一端安装可移除地耦合的外科手术器械26。在一些实施例中，每个机械支撑臂72包括第一节段72-1、第二节段72-2和第三节段72-3。在为例程设置期间，至少一个支撑臂72的多个节段被移动以定位外科手术器械以***在患者12的身体中的微创切口内。
在例程期间，在将器械***患者体腔内的同时，外科医生18通过用户控制***16观察外科手术部位。外科手术部位的图像可以通过内窥镜28(诸如立体内窥镜)获得，该内窥镜可以由操纵***22操纵以使内窥镜28定向。位于电子推车24上的(一个或多个)计算机处理器可以用于处理外科手术部位的图像，以随后通过用户控制***16显示给外科医生18。(一个或多个)计算机处理器在本文中可以可替代地称为图像处理器或视频处理器。
也可以在电子推车24上提供一个或多个照明源或照明器，以提供由内窥镜28用于对外科手术部位进行照明的光。照明器可以包括白色光源、彩色光源(例如，红色、绿色、蓝色、青色、品红色、黄色等)、红外光源、激光光源或任何其它类型的光源或它们的组合。在外科手术或诊断例程中的不同时间点可以使用不同的照明器。例如，可以诸如通过用户控制***16上的选择来控制电子推车24，以在第一时间提供来自一个或多个照明器中的第一集合的光并且在第二时间提供来自一个或多个照明器中的第二集合的光。
一次使用的外科手术器械26的数量通常将取决于诊断或外科手术例程和手术室内的空间限制以及其它因素。如果有必要在例程期间改变正在使用的一个或多个外科手术器械26，则助手20可以从操纵***22移除外科手术器械26，并且将其替换为来自手术室中的托盘30的另一外科手术器械26。
图2是用户控制***16的透视图。用户控制***16包括具有左眼显示器32和右眼显示器34的显示区域31，用于向外科医生18呈现能够进行深度感知的外科手术部位的协调立体视图。
控制台16还包括一个或多个控制输入36。响应于外科医生18对一个或多个控制输入36的操纵，在操纵***22(图1所示)上安装使用的一个或多个外科手术器械移动。控制输入36可以提供与其相关联的外科手术器械26(图1所示)相同的机械自由度，以为外科医生18提供远程呈现，或者控制输入36与器械26成一体的感知，从而使外科医生具有直接控制器械26的强烈意识。为此，可以采用位置、力和触觉反馈传感器(未示出)，以通过控制输入36将位置、力和触觉感觉从外科手术器械26传输回外科医生的手。可以利用高度调整杆38来调整控制输入36的高度。
用户控制***16通常与患者位于同一房间内，以使外科医生可以直接监视例程，如果必要则可以亲自在场，并且直接与患者侧助手通话，而不是通过电话或其它通信介质。但是，外科医生可以位于与患者不同的房间、完全不同的建筑物或其它远程位置，从而允许进行远程外科手术例程。
图3是电子推车24的透视图。电子推车24可以与内窥镜28耦合，并且包括计算机处理器，以处理捕获的图像以用于后续显示，诸如在控制***16上或位于本地和/或远程的另一个合适的显示器上显示给外科医生。例如，如果使用立体内窥镜，则电子推车24上的计算机处理器可以处理捕获的图像，以向外科医生呈现外科手术部位的协调立体图像。这样的协调可以包括相对图像之间的对准，并且可以包括调整立体内窥镜的立体工作距离。
作为另一个示例，图像处理可以包括使用先前或动态确定的相机校准参数来补偿图像捕获设备的成像误差，诸如光学像差。校准数据可以由电子推车24从中央校准服务器获得，如下面更详细地讨论的。
因为校准数据是从中央校准服务器而不是从图像捕获设备本身获得的，所以新校准数据可以与现有的图像捕获设备一起使用，这些现有的图像捕获设备可以将当前的校准数据存储在图像捕获设备的本地存储器上。因此，可以通过远程获得用于现有图像捕获设备的校准数据来延长现有图像捕获设备的使用寿命或功能性。同样地，可以减少新图像捕获设备的存储器需求，从而导致较便宜的图像捕获设备。例如，新生产的图像捕获设备可以省略用于存储校准数据的存储器，或者减小存储器的大小以仅存储图像捕获设备的唯一标识符。另外，可以基于要执行的例程的类型，基于当前仪器配置和/或基于对校准方法的改进来改变用于计算一个或多个校准参数的方法。
电子推车24还可以将获得的校准数据维持在本地高速缓存中。除了将获得的校准数据维持在本地高速缓存中之外，电子推车24还可以维持用于预期与电子推车24一起使用的一个或多个图像捕获设备的校准数据。例如，在与电子推车24一起的位置处订购、交付或接收了新图像捕获设备之后，电子推车24可以获得或接收用于新图像捕获设备的校准数据。在一些实施方式中，中央校准服务器可以推送用于新图像捕获设备的校准数据，以将其维持在电子推车24的本地高速缓存上。电子推车24的本地高速缓存还可以维持默认校准数据集，以在与中央校准服务器的连接有限或没有连接时使用。
可选地，电子推车24中的仪器可以被集成到用户控制***16或操纵***22中，或者可以被分布在手术室中的各种其它位置。更一般地，电子推车24或具有来自电子推车24的集成仪器的用户控制***16在本文中可以被称为控制器***，该控制器***用于获得校准数据并且基于检索到的校准数据处理来自图像捕获设备的图像。
图4示意性地示出远程操作外科手术***50(诸如图1的微创远程操作外科手术***10)。在微创外科手术例程期间，外科医生可以使用用户控制***52(诸如图1中的用户控制***16)来控制操纵***54(诸如图1中的操纵***22)。操纵***54可以使用图像捕获设备(诸如立体内窥镜)来捕获外科手术部位的图像并且将捕获的图像输出到位于电子推车56(诸如图1中的电子推车24)上的计算机处理器。该计算机处理器通常包括一个或多个数据处理板，用于执行存储在该计算机处理器的非易失性存储器设备中的计算机可读代码。与电子推车24一样，电子推车56还包括一个或多个照明源，用于向图像捕获设备供应光。电子推车56还可以类似于电子推车24那样包括校准高速缓存，以用于维持校准数据的本地高速缓存。
在一方面，计算机处理器可以在任何后续显示之前以各种方式处理捕获的图像。例如，在经由用户控制***52将经处理的图像显示给外科医生之前，计算机处理器可以使用先前或动态确定的相机校准参数来补偿图像捕获设备的成像误差。附加地或替代地，捕获的图像可以通过位于电子推车56外部的计算机处理器进行图像处理。在一方面，远程操作外科手术***50包括类似于位于电子推车56上的计算机处理器的可选计算机处理器58(如虚线所示)，并且操纵***54将捕获的图像输出到计算机处理器58以在用户控制***52上显示之前进行图像处理。在另一方面，在用户控制***52上显示之前，捕获的图像首先由电子推车56上的计算机处理器进行图像处理，然后由计算机处理器58进行附加图像处理。在一些实施方式中，电子推车56和/或计算机处理器58统称为控制器***，用于获得校准数据并且基于检索到的校准数据处理来自图像捕获设备的图像。在一些实施方式中，控制器***还从一个或多个照明源向图像捕获设备供应光。
远程操作外科手术***50可以包括可选的显示器60，如虚线所示。显示器60与位于电子推车56上的计算机处理器和计算机处理器58耦合，由这些计算机处理器处理的捕获的图像除了显示在用户控制***52的显示器上之外，还可以显示在显示器60上。在各种实施方式中，显示器60可以位于电子推车56上，诸如电子推车24上的显示器25。在一些实施方式中，显示器60可以与用户控制***52和电子推车58分离。
图5是内窥镜图像捕获设备500的透视图。内窥镜图像捕获设备500包括连接器502、柔性缆线506、相机壳体508、刚性相机轴512和相机端头514。连接器502包括光学端口504和电端口(未示出)。连接器502的尺寸和形状设计成要***电子推车56上的插座，诸如***电子推车24的插座27或其它配合接受器中。光学端口504被配置为接收由电子推车24供应给插座27的光。
柔性缆线506耦合在连接器502和相机壳体508之间。柔性缆线506包括光纤束，该光纤束被配置为将从连接器502的光学端口504接收的光输送到相机壳体508。柔性缆线506还包括电连接，该电连接被配置为在连接器502的电端口与相机壳体508之间提供电通信。电连接可以是有线或无线连接。在一些实施方式中，有线连接是电线、梯形线、双绞线、通用串行总线(USB)缆线、以太网缆线或其它有线通信线。
相机壳体508从柔性缆线506接收光纤束的远端。相机壳体508还接收刚性相机轴512的近端。刚性相机轴512的远端包括具有一个或多个图像传感器和相关联的光学***的相机端头514。例如，相机端头514可以包括具有相应的光学组件的两个图像传感器，以用于捕获场景(诸如外科手术或诊断例程)的立体图像。刚性相机轴512还可以包括第二光纤束，该第二光纤束被配置为将在相机壳体508处从柔性缆线中的光纤束接收的光输送至相机端头514，以对由一个或多个图像传感器成像的场景进行照明。
刚性相机轴512还可以包括第二电连接，该第二电连接被配置为在相机端头514的一个或多个图像传感器与相机壳体508之间提供电通信。由相机端头514中的一个或多个图像传感器捕获的图像经由刚性相机轴512中的电连接被输送到相机壳体508。电连接可以是有线或无线连接。在一些实施方式中，有线连接是电线、梯形线、双绞线、通用串行总线(USB)缆线、以太网缆线或其它有线通信线。
相机壳体508还可以包括一个或多个相机控制单元(未示出)，其被配置为供电并提供控制信号以捕获来自相机端头514中一个或多个图像传感器的图像。例如，当相机端头514包括用于捕获立体图像的两个图像传感器时，相机壳体508可以具有用于控制两个图像传感器中的每个的相应的相机控制单元。一个或多个相机控制单元还被配置为将捕获的图像传送到连接器502的电端口，以由电子推车56和/或计算机处理器58进行处理。
相机壳体508还可以包括用于显示内窥镜图像捕获设备500的一个或多个操作控制的显示器510。
相机壳体508还可以包括只读存储器(未示出)，该只读存储器存储内窥镜图像捕获设备500的唯一标识符。在一些实施方式中，唯一标识符是医疗设备的通用唯一标识符(UUID)。只读存储器不存储用于内窥镜图像捕获设备500的校准数据。相比于在先前内窥镜图像捕获设备中使用的附加地存储校准数据的只读存储器，该只读存储器更小且更便宜。
在一些实施方式中，可以完全省略相机壳体508中的只读存储器。替代地，安装在相机壳体508上或之中的无线识别标志或相机壳体508的外表面上的光学可读标签可以提供内窥镜图像捕获设备500的唯一标识符。例如，无线识别标志可以是RFID、BLE、
Figure BDA0002993557450000131
或其它无线标志。标签可以包括加密或非加密格式的字母数字串、符号或代码。标签可以被压印、胶合、粘贴、印刷或以其它方式粘贴到相机壳体508。
当光学可读标签用于在相机壳体508上提供唯一标识符时，耦合到控制器***或以其它方式与控制器***通信的光学扫描仪用于读取标签以获得唯一标识符。光学扫描仪可以是相机、条形码读取器或其它光学扫描仪。例如，操纵***54、电子推车56和/或计算机处理器58中的任何一个都可以包括光学扫描仪，该光学扫描仪被配置为读取相机壳体508上的标签以获得内窥镜图像捕获设备500的唯一标识符。
在一个实施方式中，操纵***54包括相机(未示出)，该相机被配置为当内窥镜图像捕获设备500安装在操纵***54上时捕获内窥镜图像捕获设备500的相机壳体508的图像。电子推车56和/或计算机处理器58处理由操纵***54上的相机捕获的图像，以识别捕获的图像中的唯一标识符。
在另一实施方式中，电子推车24的插座27或其它配合接受器包括光学扫描仪。连接器502或光学端口504的表面包括光学可读标签，并且被配置为在连接器502***插座27中时处于光学扫描仪的视场中或以其它方式面向光学扫描仪。电子推车24的光学扫描仪被配置为在将连接器502***插座27中之后读取标签以获得内窥镜图像捕获设备500的唯一标识符。因此，除了将连接器502***插座27中之外，不需要用户执行任何附加动作来扫描唯一标识符。一些用户可能试图“欺骗”电子推车24，其中针对未授权的工具或内窥镜图像捕获设备500扫描光学可读标签的照片或其它副本。通过在插座27中具有光学扫描仪，由于难以将光学可读标签的副本和连接器502两者同时提供给插座27，因此欺骗电子推车24变得更加困难。
在进一步的实施方式中，电子推车24在除了插座27或其它配合接受器中的其它位置处包括光学扫描仪。例如，光学扫描仪可以位于电子推车24的与插座27相邻的表面上，或者位于耦合到电子推车24的手持式扫描仪设备中。光学扫描仪还可以位于电子推车24以外的其它设备上，诸如如上所述的操纵***54和/或计算机处理器58。通过将光学扫描仪定位在插座27之外的位置，可以在使用内窥镜图像捕获设备500或其它工具或者将其***插座27中之前检索用于内窥镜图像捕获设备500或其它工具的对应的校准数据集。以此方式，在光学扫描仪扫描光学可读标签后，检索到对应的校准数据集，而无需算作使用内窥镜图像捕获设备500或其它工具。此外，在使用内窥镜图像捕获设备500或其它工具或已经将其***插座27的同时，可以扫描附加内窥镜图像捕获设备500或其它工具以检索对应的校准数据集。
图6是图像捕获设备校准工具600的示意图。图像捕获设备校准工具600包括与中央校准服务器602进行数据通信的第一远程操作外科手术***604和第二远程操作外科手术***606。远程操作外科手术***604、606类似于图4所示和上面所述的远程操作外科手术***50。在一些实施方式中，远程操作外科手术***604、606具有相同的***配置。在一些实施方式中，远程操作外科手术***604、606具有不同的***配置。例如，远程操作外科手术***604、606可以在图像处理器、视觉***或其它硬件***、软件发行版本和/或具有不同光谱响应的光源中的一个或多个方面上具有差异。本公开考虑了影响图像捕获设备的校准的其它差异。
尽管在图6中仅示出两个远程操作外科手术***604、606，但更多或更少的***可以与中央校准服务器602进行数据通信。在一些实施方式中，远程操作外科手术***604、606可以位于相同或不同的医疗保健提供商位置。例如，第一远程操作外科手术***604可以位于第一医疗保健提供商位置，并且第二远程操作外科手术***606可以位于第二医疗保健提供商位置。
中央校准服务器602包括存储校准记录的一个或多个数据库或与之通信。每个校准记录针对对应的图像捕获设备的唯一标识符进行索引。校准记录包括一个或多个校准数据集和测试图案图像集。可以针对不同的例程或控制器***配置优化不同的校准数据集。每个校准数据集包括用于基于光学畸变、颜色映射校正、对场景照明的光的颜色和/或立体图像对准中的一个或多个来调整捕获的图像的校准参数。可以使用其它校准参数。例如，校准参数可以包括图像传感器特性，诸如，死像素或残留像素、裁剪区域、模拟增益、数字增益或其它此类图像传感器特性。
在一些实施方式中，不同的校准参数集可以在特定例程期间提高感兴趣区域的性能，同时可能地降低其它功能区域的性能。例如，如果特定例程需要非常精细的特写图像，则可以针对使用校准数据处理的图像的锐度来优化该例程的校准数据集的校准参数。针对图像的锐度的这种优化可能以颜色准确度或保真度为代价。类似地，可以通过校准数据集来扩展能力较低的图像捕获设备的功能，该校准数据集在特定区域中提高能力较低的图像捕获设备的性能。具有特定性能增强的校准数据集的使用可以基于对特定例程的要求、终端用户(例如，外科医生)的偏好或任何其它基础。
测试图案图像集包括在校准环境中(诸如在对应的图像捕获设备的工厂校准时)由对应的图像捕获设备捕获的图像。测试图案图像集中的每个图像可以捕获不同的测试图案和/或不同的照亮状况。在一些实施方式中，可以捕获测试图案图像的子集，以针对特定例程、特定照亮状况或特定控制器***配置来校准图像捕获设备。
中央校准服务器602还包括校准处理器或与校准处理器通信。校准处理器被配置为从测试图案图像集中的一个或多个图像生成校准数据集。校准处理器可以响应于来自控制器***的对校准数据的请求(诸如来自远程操作外科手术***604、606之一中的电子推车56或处理器58的请求)动态地生成校准数据集。
替代地或附加地，校准处理器可以响应于校准状况的改变而生成校准数据集。例如，校准状况的改变可以基于远程操作外科手术***604、606之一的***配置的改变或者用于生成校准数据所使用的变换的改变。
***配置的改变可以包括控制器***中的图像处理器、视觉***或其它硬件组件、软件发行版本和/或光源中的一个或多个的改变。***配置的改变可以是由远程操作外科手术***604、606之一的升级或维护引起的。***配置的改变也可以是由于将图像捕获设备连接到不同的控制器***而引起的。
例如，图像捕获设备可以最初以第一***配置连接到第一电子推车56，并且针对第一***配置提供第一校准数据集。在稍后的时间，图像捕获设备可以以不同于第一***配置的第二***配置连接到第二电子推车56。与第一***配置相比，第二***配置可以具有不同的图像处理器、视觉***或其它硬件组件、不同的软件发行版本和/或不同的光源。因此，校准处理器可以生成针对第二***配置优化的用于图像捕获设备的第二校准数据集。
作为处理来自控制器***的对校准数据的请求的一部分，校准处理器可以识别控制器***的***配置的改变。例如，来自控制器***的请求可以包括关于控制器***的当前***配置的信息。可替代地，在实现控制器***的***配置改变后，可以从控制器***向中央校准服务器602发送通知。
其它校准事件也可以触发校准处理器生成校准数据集。例如，在新图像捕获设备在远程操作外科手术***604、606之一的健康护理提供商位置被订购、交付或接收时，中央校准服务器602可以接收校准事件。例如，在远程操作外科手术***604的第一医疗保健提供商位置处订购、交付或接收了新图像捕获设备之后，中央校准服务器接收新图像捕获设备的校准通知。校准处理器生成用于与电子推车56和/或处理器58一起使用的用于新图像捕获设备的校准数据集。中央校准服务器602可以将新生成的校准数据集传递或以其它方式推送到第一远程操作外科手术***604中的电子推车56和/或处理器58。
图7是示出获得用于图像捕获设备的校准数据的示例过程700的流程图。过程700由诸如电子推车56和/或处理器58的控制器***执行。远程操作外科手术***的其它组件或***可以执行过程700。为了简单起见，下面将过程700描述为由电子推车56执行，但是其不对本公开的精神或范围进行限制。
在702处，电子推车56获得图像捕获设备的唯一标识符。例如，在将内窥镜图像捕获设备500的连接器502***电子推车56的插座27中之后，电子推车56获得内窥镜图像捕获设备500的唯一标识符。如上所述，可以通过电子推车56或与电子推车56通信的外部读取器读取存储器、无线标志或光学标签来获得唯一标识符。
在704处，电子推车56对照获得的唯一标识符针对用于图像捕获设备的校准数据来检查本地校准高速缓存。在706处，如果在高速缓存中维持了用于图像捕获设备的校准数据的本地副本，则电子推车56向中央校准服务器602发送请求以验证校准数据的高速缓存的版本是最新的。
例如，电子推车56可以从中央校准服务器602请求校准数据的当前版本的散列(hash)。电子推车56还可以确定或读取校准数据的本地副本的散列，以与从中央校准服务器602接收的散列进行比较。替代地，电子推车56可以将校准数据的本地副本的散列发送到中央校准服务器602，并且接收由中央校准服务器602执行的比较的结果。
在708处，电子推车56确定校准数据的本地副本是否是最新的。例如，基于本地副本的散列与从中央校准服务器602接收的散列的比较的结果，或基于接收到的中央校准服务器602执行的比较的结果。
在710处，如果电子推车56确定校准数据的本地副本是最新的，则使用校准数据的本地副本来处理从图像捕获设备接收的图像。
否则，在712处，电子推车56基于获得的图像捕获设备的唯一标识符，向中央校准服务器602发送对校准数据的请求。同样地，如果在704处确定高速缓存中不存在校准数据的本地副本，则电子推车56基于获得的图像捕获设备的唯一标识符向中央校准服务器602发送对校准数据的请求。
在714处，电子推车56接收所请求的校准数据。在716处，电子推车56使用接收到的校准数据来处理从图像捕获设备接收的图像。在718处，将接收到的校准数据存储在本地校准高速缓存中，并针对图像捕获设备的唯一标识符进行索引。
过程700的一个或多个特征可以是可选的或以不同的顺序执行。例如，如果电子推车56不具有本地校准高速缓存，则可以省略在704-710处执行的特征。作为另一示例，可以在716处执行的特征之前执行在718处执行的特征。本公开预期了过程700的其它添加或变动。
图8是示出响应于请求而发送校准数据的示例过程800的流程图。过程800由中央校准服务器602和/或与中央校准服务器602通信的一个或多个处理器执行。为了简单起见，过程800在下面被描述为由中央校准服务器602执行，但是其不对本公开的精神或范围进行限制。
在802处，中央校准服务器602从诸如电子推车56和/或处理器58的控制器***接收对校准数据的请求。该请求包括图像捕获设备的唯一标识符。该请求可以附加地包括关于控制器***、控制器***的配置或要用控制器***执行的例程的信息。
在804处，使用接收到的唯一标识符，中央校准服务器602从中央校准服务器602上或与中央校准服务器602通信的数据库检索用于图像捕获设备的校准数据集。例如，中央校准服务器602对针对唯一标识符索引的一个或多个校准数据表执行查找操作。从请求接收的或由中央校准服务器602以其它方式获得的附加数据可以用于从多个校准数据集中检索特定的校准数据集。例如，在接收到图像捕获设备将用于特定例程的指示之后，中央校准服务器602可以检索针对特定例程的执行进行优化的校准数据集。
在806处，中央校准服务器602确定是否存在与图像捕获设备相关联的任何错误状况。例如，中央校准服务器602可以施加策略以防止将控制器***与未登记的图像捕获设备一起使用，在需要维护或翻新之前限制图像捕获设备的使用次数，或者将受到召回的图像捕获设备锁定。
在808处，如果存在错误状况，则中央校准服务器602用错误消息答复接收到的对校准数据的请求。例如，错误消息可以指示图像捕获设备与控制器***不兼容，指示需要对图像捕获设备进行维护或翻新，或者指示图像捕获设备受到召回。本公开考虑了其它错误状况和错误消息。
在810处，如果中央校准服务器602确定对于图像捕获设备不存在错误状况，则将具有检索到的校准数据集的答复发送至控制器***。
过程800的一个或多个特征可以是可选的或以不同的顺序执行。本公开预期了过程800的其它添加或变动。
图9是示出基于由图像捕获设备捕获的现场图像来确定改变的校准参数或维护状况的示例过程900的流程图。在使用中，控制器***(诸如电子设备推车56和/或处理器58)可以在例程期间将由图像捕获设备捕获的现场图像周期性地提供给中央校准服务器602。例如，控制器***可以针对在例程期间使用的每个照亮状况提供由图像捕获设备捕获的至少一个图像。可以使用其它数量的图像和向中央校准服务器602提供图像的频率。
在902处，中央校准服务器602从控制器***接收现场图像。现场图像可以与捕获现场图像的图像捕获设备的唯一标识符一起被接收。还可以提供关于控制器***的配置、当前照亮状况或用于捕获现场图像的状况的其它上下文信息的附加信息。
在904处，中央校准服务器602处理接收到的现场图像以评估图像捕获设备的一个或多个校准参数。例如，可以对多个接收到的现场图像进行处理以识别随时间推移的改变。例如，由于柔性缆线506中的光纤束的磨损，对现场图像的处理可以展现出随时间推移的捕获的图像的光谱衰减。同样地，对现场图像的处理可以展现出图像捕获设备中的一个或多个图像传感器随时间推移的颜色空间的偏移。另外，对现场图像的处理可以展现出立体图像中的对准问题。
在906处，中央校准服务器602基于对现场图像的处理来确定是否应当改变校准数据的一个或多个校准参数。如果是，则在908处，中央校准服务器602确定更新的校准参数并将其发送到控制器***。例如，更新的校准参数可以通过更新的校准数据来调整图像处理的亮度、颜色空间、对准或其它特征。中央校准服务器602还可发送用于控制器***或图像捕获设备的一个或多个更新的操作参数。例如，响应于检测到现场图像中的光谱衰减，中央校准服务器可以发送操作参数以增加由控制器***提供的光源的功率或增加图像捕获设备的图像传感器的增益。可以使用操作参数的其它变动。
在910处，中央校准服务器602将校准数据的更新的校准参数存储在与图像捕获设备相关联的校准记录中。例如，由中央校准服务器602维持的或与中央校准服务器602通信的一个或多个数据库上的与唯一标识符相关联的校准记录被更新。
如果在906处中央校准服务器602确定没有校准参数要改变，则在912处中央校准服务器602确定是否存在任何维护状况。例如，在检测到经处理的现场图像中的立体对准问题后，中央校准服务器可以确定图像捕获设备需要维护。本公开考虑了其它维护状况。
在914处，中央校准服务器602将维护消息发送到控制器***。例如，维护消息可以提供用于调整一个或多个操作参数、发送图像捕获设备以进行维护或翻新或者以其它方式提供需要维护的通知的指令。否则，如果中央校准服务器602确定不存在维护状况，则过程900在916处结束。
过程900的一个或多个特征可以是可选的或以不同的顺序执行。本公开预期了过程900的其它添加或变动。
图10A至图10D是从经处理的现场图像生成的色度图，示出图像捕获设备的颜色空间的中心的偏移。可以从由中央校准服务器602接收和处理的现场图像集中生成每个色度图。
例如，如图10A所示，在处理图像捕获设备的第一接收到的现场图像集后，中央校准服务器602生成第一色度图1002。色度图1002示出从第一接收到的现场图像集确定的第一颜色空间1004和第一颜色空间的中心1006。图10B示出第二色度图1008，在处理图像捕获设备的第二接收到的现场图像集后，中央校准服务器602生成该第二色度图1008。色度图1008示出从第二接收到的现场图像集确定的第二颜色空间1010和第二颜色空间的中心1012。图10C示出第三色度图1014，在处理图像捕获设备的第三接收到的现场图像集后，中央校准服务器602生成该第三色度图1014。色度图1014示出从第三接收到的现场图像集确定的第三颜色空间1016和第三颜色空间的中心1018。可以在不同时间接收第一接收到的图像集、第二接收到的图像集和第三接收到的图像集。
图10D示出色度图1020，其中第一颜色空间1004、第二颜色空间1010和第三颜色空间1016彼此重叠，并且示出第一颜色空间的中心1006、第二颜色空间的中心1012和第三颜色空间的中心1018的轨迹。如图10D所示，第一颜色空间的中心1006、第二颜色空间的中心1012和第三颜色空间的中心1018示出随时间推移图像捕获设备的颜色空间的偏移。如上所述，可以由中央校准服务器602基于图像捕获设备的颜色空间中的该检测到的偏移来生成更新的校准参数。
图11是示出进行校准参数调查的示例过程1100的流程图。在1102处，中央校准服务器602将第一校准参数集发送到第一控制器***，诸如第一远程操作外科手术***604的电子推车56和/或处理器58。在1104处，中央校准服务器602基于响应于第一校准参数集而提供的用户反馈从第一控制器***接收一个或多个调查结果。
在1106处，中央校准服务器602将第二校准参数集发送到第二控制器***，诸如第二远程操作外科手术***606的电子推车56和/或处理器58。在1108处，中央校准服务器602基于响应于第二校准参数集而提供的用户反馈从第二控制器***接收一个或多个调查结果。
在1110处，中央校准服务器602处理响应于第一校准参数集和第二校准参数集而接收的调查，并且基于接收到的调查来确定优化的校准参数集。例如，中央校准服务器602可以从第一校准参数集和第二校准参数集中从评价最高的校准参数中选择以确定优化的校准参数集。可以使用处理调查结果以确定优化的校准参数集的其它方法。
过程1100的一个或多个特征可以是可选的或以不同的顺序执行。例如，可以在1102-1104处执行的特征之前执行在1106-1108处执行的特征。本公开考虑了过程1100的其它添加或变动。
应当理解，本文关于各个附图所描述的逻辑操作可以被实现为(1)在计算设备(例如，在图12中描述的计算设备)上运行的计算机实现的动作或程序模块(即，软件)的序列，(2)计算设备内的互连机器逻辑电路或电路模块(即硬件)和/或(3)计算设备的软件和硬件的组合。因此，本文讨论的逻辑操作不限于硬件和软件的任何特定组合。实施方式是取决于计算设备的性能和其它要求的选择问题。因此，本文描述的逻辑操作被不同地称为操作、结构设备、动作或模块。这些操作、结构设备、动作和模块可以以软件、固件、专用数字逻辑及其任何组合来实现。还应当理解，可以执行比图中所示和本文描述的更多或更少的操作。这些操作也可以按照与本文所述顺序不同的顺序执行。
参考图12，示出可以在其上实现本发明的实施例的示例计算设备1200。例如，本文描述的位于电子推车56或电子推车24上的每个计算机处理器、计算机处理器58和中央校准服务器602可以各自实现为计算设备，诸如计算设备1200。应当理解，示例计算设备1200仅仅是可以在其上实现本发明的实施例的合适的计算环境的一个示例。可选地，计算设备1200可以是众所周知的计算***，包括但不限于个人计算机、服务器、手持式或膝上型设备、多处理器***、基于微处理器的***、网络个人计算机(PC)、小型计算机、大型计算机、嵌入式***和/或分布式计算环境(其包括上述任何多个***或设备)。分布式计算环境使连接到通信网络或其它数据传输介质的远程计算设备能够执行各种任务。在分布式计算环境中，程序模块、应用程序和其它数据可以存储在本地和/或远程计算机存储介质上。
在实施例中，计算设备1200可以包括彼此通信以协作执行任务的两个或更多个计算机。例如，但不作为限制，可以以允许并发和/或并行处理应用程序的指令的方式对应用程序进行分区。可替代地，可以以允许由两个或更多计算机对数据集的不同部分进行并发和/或并行处理的方式对由应用程序处理的数据进行分区。在实施例中，计算设备1200可以采用虚拟化软件来提供未直接绑定到计算设备1200中的多个计算机的多个服务器的功能。例如，虚拟化软件可以在四个物理计算机上提供二十个虚拟服务器。在实施例中，可以通过在云计算环境中执行一个应用程序和/或多个应用程序来提供上面公开的功能。云计算可以包括使用动态可扩展的计算资源经由网络连接来提供计算服务。云计算可以至少部分地由虚拟化软件支持。云计算环境可以由企业建立和/或可以根据需要从第三方提供商处雇用。一些云计算环境可以包括企业拥有和运营的云计算资源，以及从第三方提供商雇佣和/或租用的云计算资源。
在其最基本的配置中，计算设备1200通常包括至少一个处理单元1220和***存储器1230。取决于计算设备的确切配置和类型，***存储器1230可以是易失性的(诸如随机存取存储器(RAM))、非易失性的(诸如只读存储器(ROM)、闪存等)或二者的某种组合。这种最基本的配置在图12中由虚线1210示出。处理单元1220可以是执行对计算设备1200的操作必要的算术和逻辑运算的标准可编程处理器。虽然仅示出一个处理单元1220，但是可以存在多个处理器。因此，尽管指令可以被讨论为由处理器执行，但是指令可以由一个或多个处理器同时执行、串行地执行、或者以其它方式执行。计算设备1200还可以包括用于在计算设备1200的各个组件之间传送信息的总线或其它通信机构。
计算设备1200可以具有附加的特征/功能。例如，计算设备1200可以包括附加存储装置，例如可移除存储装置1240和不可移除存储装置1250，包括但不限于磁盘，或光盘，或磁带。计算设备1200还可以包含(一个或多个)网络连接1280，其允许该设备与其它设备进行通信，诸如通过本文所述的通信路径进行通信。(一个或多个)网络连接1280可以采取调制解调器、调制解调器组、以太网卡、通用串行总线(USB)接口卡、串行接口、令牌环卡、光纤分布式数据接口(FDDI)卡、无线局域网(WLAN)卡、无线电收发器卡(诸如码分多址(CDMA))、全球移动通信***(GSM)、长期演进(LTE)、全球微波访问互操作性(WiMAX)和/或其它空中接口协议无线电收发器卡和其它众所周知的网络设备。计算设备1200还可以具有(一个或多个)输入设备1270，诸如键盘、小键盘、开关、转盘、鼠标、跟踪球、触摸屏、语音识别器、读卡器、纸带读取器或其它众所周知的输入设备。也可以包括(一个或多个)输出设备1260，诸如印刷机、视频监视器、液晶显示器(LCD)、触摸屏显示器、显示器、扬声器等。附加设备可以连接到总线，以便于在计算设备1200的组件之间进行数据通信。所有这些设备在本领域中是众所周知的，并且在此无需详细讨论。
处理单元1220可以被配置为执行在有形计算机可读介质中编码的程序代码。有形计算机可读介质是指能够提供使计算设备1200(即，机器)以特定方式操作的数据的任何介质。可以利用各种计算机可读介质来向处理单元1220提供指令以供执行。示例有形计算机可读介质可以包括但不限于以任何用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的方法或技术实现的易失性介质、非易失性介质、可移除介质和不可移除介质。***存储器1230、可移除存储装置1240和不可移除存储装置1250都是有形计算机存储介质的示例。示例有形计算机可读记录介质包括但不限于集成电路(例如，现场可编程门阵列或专用IC)、硬盘、光盘、磁光盘、软盘、磁带、全息存储介质、固态设备、RAM、ROM、电可擦除程序只读存储器(EEPRQM)、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储装置、盒式磁带、磁带、磁盘存储装置或其它磁性存储设备。
对于电气工程和软件工程领域来说，至关重要的是，可以通过将可执行软件加载到计算机中来实现的功能可以通过众所周知的设计规则转为硬件实施方式。在软件中实现概念还是在硬件中实现概念之间的决策通常取决于设计的稳定性和要生产的单元数量，而不是从软件领域转换到硬件领域时所涉及的任何问题。通常，仍然经常更改的设计可以优选在软件中实现，因为重制硬件实施方式比重制软件设计更昂贵。通常，以大批量生产的稳定设计可以优选在硬件中实现，例如在专用集成电路(ASIC)中实现，因为对于大批量生产运行，硬件实施方式可以比软件实施方式便宜。通常，可以以软件形式开发和测试设计，然后通过众所周知的设计规则将其转变为专用集成电路中的等效硬件实施方式，该硬件实施方式对软件的指令进行硬连线。以与新ASIC控制的机器是特定机器或装置相同的方式，同样地，已被编程和/或加载了可执行指令的计算机也可以被视为特定机器或装置。
在示例实施方式中，处理单元1220可以执行存储在***存储器1230中的程序代码。例如，总线可以将数据携带到***存储器1230，处理单元1220从总线中接收并执行指令。由***存储器1230接收的数据可以可选地在处理单元1220执行之前或之后存储在可移除存储装置1240或不可移除存储装置1250上。
应当理解，本文描述的各种技术可以结合硬件或软件或者在适当的情况下结合其组合来实现。因此，当前公开的主题的方法和装置，或其某些方面或部分，可以采取体现在有形介质(诸如软盘、CD-ROM、硬盘驱动器或硬盘驱动器或者任何其它机器可读存储介质)中的程序代码(即指令)的形式，其中当程序代码被加载到诸如计算设备的机器中并由其执行时，该机器成为用于实践本公开主题的装置。在可编程计算机上执行程序代码的情况下，计算设备通常包括处理器、可由处理器读取的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。一个或多个程序可以例如通过使用应用程序编程接口(API)、可重用控件等来实现或利用结合当前公开的主题描述的过程。可以以高级程序或面向对象的编程语言来实现这样的程序，以与计算机***进行通信。然而，(一个或多个)程序可以按期望以汇编或机器语言来实现。在任何情况下，语言可以是编译的或解释的语言，并且可以与硬件实施方式相结合。
本文中可以参考方法、***、装置和计算机程序产品的框图和流程图来描述方法和***的实施例。应当理解，框图和流程图的每个框以及框图和流程图中的框的组合分别可以通过计算机程序指令来实现。这些计算机程序指令可以被加载到通用计算机、专用计算机或其它可编程数据处理装置上以产生机器，从而使得在计算机或其它可编程数据处理装置上执行的指令创建用于实现在一个或多个流程图框中指定的功能的构件。
这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指导计算机或其它可编程数据处理装置以特定方式工作，从而使得存储在计算机可读存储器中的指令产生包括计算机可读指令在内的制品，用于实现一个或多个流程图框中指定的功能。也可以将计算机程序指令加载到计算机或其它可编程数据处理装置上，以使一系列操作步骤在计算机或其它可编程装置上执行，以产生计算机实现的过程，从而使指令在计算机上执行或其它可编程装置提供用于实现在一个或多个流程图框中指定的功能的步骤。
因此，框图和流程图的框支持用于执行指定功能的构件的组合、用于执行指定功能的步骤的组合以及用于执行指定功能的程序指令构件。还应当理解，框图和流程图的每个框以及框图和流程图的各个框的组合，可以由执行指定功能或步骤的基于专用硬件的计算机***或专用硬件和计算机指令的组合来实现。
尽管在本公开中已经提供了几个实施例，但是应当理解，在不脱离本公开的精神或范围的情况下，可以以许多其它特定形式来体现所公开的***和方法。本示例被认为是说明性的而不是限制性的，并且本发明的意图不限于在本文给出的细节。例如，各种元件或组件可以被组合或集成在另一个***中，或者某些特征可以被省略或不被实现。
此外，在不脱离本公开的范围的情况下，在各种实施例中以离散或分开的方式描述和示出的技术、***、子***和方法可以与其他***、模块、技术或方法组合或集成。示出或讨论为彼此直接耦合或通信的其他项目可以通过某种接口、设备或中间组件以电、机械或其他方式间接耦合或通信。改变、替换和变更的其它示例可以由本领域技术人员确定，并且可以在不脱离本文公开的精神和范围的情况下做出。

Claims (36)

1.一种***，包括：
网络可访问数据库，其被配置为存储用于图像捕获设备的校准数据；以及
控制器***，其包括：图像处理器，所述图像处理器被配置为接收由所述图像捕获设备捕获的图像；所述图像处理器还被配置为经由网络连接从所述网络可访问数据库检索所述校准数据；并且所述图像处理器还被配置为基于检索到的校准数据来处理接收到的图像。
2.根据权利要求1所述的***，还包括：
工具，其包括图像捕获设备并且电耦合到所述控制器***，其中所述工具具有唯一标识符。
3.根据权利要求2所述的***，其中基于所述唯一标识符，在所述网络可访问数据库中用所述图像捕获设备对所述校准数据进行索引。
4.根据权利要求3所述的***，其中所述唯一标识符由所述工具维持，并且其中所述图像处理器还被配置为从所述工具获得所述唯一标识符。
5.根据权利要求4所述的***，其中所述唯一标识符由所述工具维持在所述工具的存储器设备上、在所述工具的无线标志上、或在所述工具的表面上的视觉指示符上。
6.根据权利要求5所述的***，其中所述图像处理器还包括光学扫描仪，所述光学扫描仪被配置为从所述工具的所述表面读取所述视觉指示符，以从所述工具获得所述唯一标识符。
7.根据权利要求6所述的***，其中所述光学扫描仪位于被配置为将所述工具耦合到所述控制器***的配合接受器中。
8.根据权利要求6所述的***，其中所述光学扫描仪是相机或条形码读取器。
9.根据权利要求5至8中任一项所述的***，其中所述视觉指示符被印刷、粘附、标记、压印或戳印在所述工具的所述表面上。
10.根据权利要求5至8中任一项所述的***，其中所述视觉指示符是字母数字序列号、编码所述唯一标识符的线性条形码、编码所述唯一标识符的二维条形码，或用所述唯一标识符编码的图像。
11.根据权利要求2至8中任一项所述的***，其中所述工具包括内窥镜，并且所述图像捕获设备包括一对图像传感器，所述一对图像传感器被配置为在外科手术例程期间捕获外科手术部位的立体图像数据。
12.根据权利要求1至8中任一项所述的***，其中所述校准数据包括用于处理所述接收到的图像以基于下列项中的一个或多个来校正所述接收到的图像的数据：由被配置为对由所述接收到的图像捕获的场景进行照明的照明器发射的光的颜色、由所述图像捕获设备捕获的校准图像、由所述图像捕获设备的光学***引入的光学畸变、立体图像校准、颜色空间映射或所述图像捕获设备的图像传感器特性。
13.根据权利要求1至8中任一项所述的***，还包括：
校准处理器，其与所述网络可访问数据库通信，所述校准处理器被配置为接收由所述图像捕获设备捕获的校准图像，并基于将校准算法应用于一个或多个所述校准图像来生成所述校准数据。
14.根据权利要求13所述的***，其中所述校准图像与所述校准数据一起存储在所述网络可访问数据库中。
15.根据权利要求13所述的***，其中所述校准处理器被配置为在从所述控制器***接收到对所述校准数据的请求之后，生成所述校准数据。
16.根据权利要求13所述的***，其中所述校准数据不同于用于所述图像捕获设备的先前校准数据集，其中所述先前校准数据集是由所述校准处理器基于将不同的校准算法应用于一个或多个所述校准图像来生成的。
17.根据权利要求13所述的***，其中基于要使用所述图像捕获设备的例程的类型或者基于所述控制器***的配置来选择所述校准算法。
18.根据权利要求17所述的***，其中生成所述校准数据以增强对于要使用所述图像捕获设备的例程的类型而言重要的图像特征。
19.根据权利要求18所述的***，其中所述图像特征是聚焦水平、锐度、颜色保真度或颜色准确度中的一个或多个。
20.根据权利要求18所述的***，其中所述校准数据还不利地影响第二图像特征。
21.根据权利要求17所述的***，其中所述控制器***的配置包括由所述控制器***提供的照明源、所述图像处理器的类型或所述控制器***的软件发行版本中的一个或多个。
22.根据权利要求17所述的***，其中所述校准处理器还被配置为在所述例程期间从所述控制器***检索由所述图像捕获设备捕获的操作图像，并且基于所述操作图像来调整所述校准数据。
23.根据权利要求22所述的***，其中所述操作图像的照度值与基于距所述操作图像中捕获的对象的已知距离和输出到照明源的已知功率而确定的预期照度值进行比较，所述照明源对所述操作图像中捕获的所述对象进行照明。
24.根据权利要求22所述的***，其中所述操作图像的颜色空间与所述图像捕获设备的预期颜色空间进行比较，以确定所述颜色空间的中心是否偏离所述预期颜色空间的中心。
25.根据权利要求22所述的***，其中评估所述操作图像的立体对准以识别与对应的操作图像的未对准。
26.根据权利要求16所述的***，其中所述校准处理器还被配置为接收与所述先前校准数据集相比评估所述校准数据的用户反馈调查。
27.根据权利要求1至8中任一项所述的***，其中所述控制器***还包括校准高速缓存存储器，其被配置为存储从所述网络可访问数据库检索到的所述校准数据。
28.根据权利要求27所述的***，其中所述控制器***还被配置为存储已知已经被运送到与所述控制器***的位置相关联的位置的图像捕获设备的校准数据。
29.根据权利要求27所述的***，其中所述控制器***还被配置为存储预定数量的先前使用的图像捕获设备的校准数据。
30.根据权利要求27所述的***，其中所述控制器***还被配置为存储用于所述图像捕获设备的类型的默认校准数据。
31.根据权利要求27所述的***，其中所述控制器***还被配置为在从所述网络可访问数据库检索所述校准数据之前，将用于所述图像捕获设备的高速缓存的校准数据集与存储在所述网络可访问数据库上的所述校准数据进行比较。
32.一种方法，包括：
将用于图像捕获设备的校准数据存储在网络可访问数据库中；
由控制器***经由网络连接从所述网络可访问数据库检索所述校准数据；
由所述控制器***接收由所述图像捕获设备捕获的图像；以及
由所述控制器***的图像处理器基于检索到的校准数据来处理接收到的图像。
33.一种外科手术***，包括：
网络可访问数据库，其被配置为存储用于内窥镜图像捕获设备的校准数据；
图像处理器，其被配置为可通信地耦合到所述内窥镜图像捕获设备，以在外科手术例程期间接收外科手术部位的图像数据，其中所述图像处理器被配置为经由网络连接从所述网络可访问数据库检索所述校准数据，并且所述图像处理器还被配置为基于检索到的校准数据来处理接收到的图像；以及
用户控制***，其耦合到所述图像处理器并被配置为从所述图像处理器接收经处理的图像，所述用户控制***包括显示器，所述显示器被配置为显示所述经处理的图像。
34.根据权利要求33所述的外科手术***，还包括：
操纵器***，其包括操纵器臂，所述操纵器臂被配置为附接到所述内窥镜图像捕获设备，并且被配置为在所述外科手术例程期间物理地更改所述内窥镜图像捕获设备的姿势。
35.根据权利要求34所述的外科手术***，其中所述用户控制***还包括操纵用户界面，其中在启动所述操纵用户界面后，所述用户控制***被配置为向所述操纵器***发出命令以改变所述内窥镜图像设备捕获的姿势。
36.一种处理由内窥镜图像捕获设备捕获的外科手术例程的图像的方法，所述方法包括：
由图像处理器接收由所述内窥镜图像捕获设备捕获的所述图像；
由所述图像处理器从网络可访问数据库检索用于所述内窥镜图像捕获设备的校准数据；
由所述图像处理器基于检索到的校准数据处理从所述内窥镜图像捕获设备接收到的图像；以及
由所述图像处理器将经处理的图像传输到用户控制***；以及
在所述用户控制***上，将所述经处理的图像显示在显示器上。
CN201980063343.3A 2018-08-24 2019-08-23 用于图像捕获设备的相机外校准参数 Pending CN112753208A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862722314P 2018-08-24 2018-08-24
US62/722,314 2018-08-24
PCT/US2019/047932 WO2020041717A1 (en) 2018-08-24 2019-08-23 Off-camera calibration parameters for an image capture device

Publications (1)

Publication Number Publication Date
CN112753208A true CN112753208A (zh) 2021-05-04

Family

ID=67874549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063343.3A Pending CN112753208A (zh) 2018-08-24 2019-08-23 用于图像捕获设备的相机外校准参数

Country Status (5)

Country Link
US (1) US20210338054A1 (zh)
EP (1) EP3840685A1 (zh)
JP (1) JP2021533941A (zh)
CN (1) CN112753208A (zh)
WO (1) WO2020041717A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793271A (zh) * 2021-08-09 2021-12-14 浙江华诺康科技有限公司 内窥镜图像校正方法、设备、电子装置和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210038280A1 (en) * 2019-08-08 2021-02-11 John Pikramenos Electrosurgical generator for optimizing power output
US20220375088A1 (en) * 2019-10-04 2022-11-24 Koninklijke Philips N.V. Magnetic resonance (mr) image artifact determination using texture analysis for image quality (iq) standardization and system health prediction
CN114334115A (zh) * 2020-09-30 2022-04-12 巴德阿克塞斯***股份有限公司 支持rfid的医疗设备及相关***
DE102022101527A1 (de) 2022-01-24 2023-07-27 Karl Storz Se & Co. Kg Messvorrichtung und Messverfahren zum Überprüfen eines Messbildzustandes
US20240187723A1 (en) * 2022-12-06 2024-06-06 Purdue Research Foundation Mobile single leaf scanner

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070142707A1 (en) * 2005-12-15 2007-06-21 Microvision, Inc. Method and apparatus for calibrating an endoscope system
JP2008010901A (ja) * 2005-04-06 2008-01-17 Nikon Corp プログラム格納装置
US20130227258A1 (en) * 2012-02-28 2013-08-29 General Electric Corporation Systems And Methods For Machine Configuration
CN103561630A (zh) * 2012-03-06 2014-02-05 奥林巴斯医疗株式会社 内窥镜***
CN103576309A (zh) * 2012-07-25 2014-02-12 奥林巴斯株式会社 测量内窥镜装置及其动作方法
CN104812285A (zh) * 2012-11-22 2015-07-29 捷锐士阿希迈公司(以奥林巴斯美国外科技术名义) 内窥镜摄像头存储器
CN106254860A (zh) * 2015-06-03 2016-12-21 株式会社日立制作所 照相机的校准装置、照相机***、以及照相机的校准方法
US20180068466A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Automated calibration and quality assurance of medical images

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI556116B (zh) * 2012-02-15 2016-11-01 Hitachi Maxell Skin condition analysis and analysis information management system, skin condition analysis and analysis information management method, and data management server
JP6128320B2 (ja) * 2013-07-10 2017-05-17 富士ゼロックス株式会社 色補正装置、画像形成システム及びプログラム
US20160225150A1 (en) * 2015-02-02 2016-08-04 Capso Vision, Inc. Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus
US9912846B2 (en) * 2016-05-11 2018-03-06 Microsoft Technology Licensing, Llc Obtaining calibration data of a camera
WO2017221738A1 (ja) * 2016-06-23 2017-12-28 オリンパス株式会社 画像処理装置
US12001676B2 (en) * 2016-09-01 2024-06-04 Samsung Electronics Co., Ltd. Storage device and host for the same
DE102016012147A1 (de) * 2016-10-13 2018-04-19 Schölly Fiberoptic GmbH Verfahren zur Kalibrierung einer Endoskopkamera
JP7073360B2 (ja) * 2016-11-11 2022-05-23 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術技能レベルベース器具制御を備える遠隔操作手術システム
KR102540236B1 (ko) * 2016-12-05 2023-06-02 삼성전자주식회사 이미지 처리 장치 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008010901A (ja) * 2005-04-06 2008-01-17 Nikon Corp プログラム格納装置
US20070142707A1 (en) * 2005-12-15 2007-06-21 Microvision, Inc. Method and apparatus for calibrating an endoscope system
US20130227258A1 (en) * 2012-02-28 2013-08-29 General Electric Corporation Systems And Methods For Machine Configuration
CN103561630A (zh) * 2012-03-06 2014-02-05 奥林巴斯医疗株式会社 内窥镜***
CN103576309A (zh) * 2012-07-25 2014-02-12 奥林巴斯株式会社 测量内窥镜装置及其动作方法
CN104812285A (zh) * 2012-11-22 2015-07-29 捷锐士阿希迈公司(以奥林巴斯美国外科技术名义) 内窥镜摄像头存储器
CN106254860A (zh) * 2015-06-03 2016-12-21 株式会社日立制作所 照相机的校准装置、照相机***、以及照相机的校准方法
US20180068466A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Automated calibration and quality assurance of medical images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793271A (zh) * 2021-08-09 2021-12-14 浙江华诺康科技有限公司 内窥镜图像校正方法、设备、电子装置和存储介质

Also Published As

Publication number Publication date
WO2020041717A1 (en) 2020-02-27
WO2020041717A9 (en) 2020-04-16
EP3840685A1 (en) 2021-06-30
JP2021533941A (ja) 2021-12-09
US20210338054A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
CN112753208A (zh) 用于图像捕获设备的相机外校准参数
US20220132093A1 (en) Targets, fixtures, and workflows for calibrating an endoscopic camera
JP5026886B2 (ja) 医療装置及びこの医療装置を備えた医療システム
US20120162401A1 (en) Imaging system
KR20120008059A (ko) 이미징 시스템
WO2009118938A1 (ja) 内視鏡システム、内視鏡手術訓練システム
WO2022150767A1 (en) Registration degradation correction for surgical navigation procedures
CN106663327A (zh) 3‑d表面的自动重新拼接
JP5639312B2 (ja) 検査情報管理装置及び検査情報管理システム
US20210386279A1 (en) Closed-loop control of illumination in an endoscopic camera system
US11663716B2 (en) Optical imaging system and corresponding apparatus, method and computer program
US8174588B1 (en) Stereo video microscope
US20220160217A1 (en) Medical observation system, method, and medical observation device
CN214415161U (zh) 一种机械臂和床的配合***
US11533419B2 (en) Imaging apparatus, image sensor unit, camera unit, and control method for determining and updating correction data
JP6473130B2 (ja) デジタルパソロジーのためのメカニカルステージおよび病理診断システム
TWI843982B (zh) 手術器械辨識與管理系統及方法
JP7455768B2 (ja) 内視鏡較正システム、内視鏡装置、内視鏡装置の較正方法および内視鏡較正プログラム
EP4108205A1 (en) Instrument identification for surgical robot
US20230023904A1 (en) Handheld wireless endoscope image streaming apparatus
JP2016059019A (ja) 映像処理装置、映像処理方法、および、映像配信システム
JP2017080159A (ja) 画像処理装置及び画像処理方法、並びにコンピュータプログラム
CN114388320A (zh) 坐标链接***和坐标链接方法
WO2024062391A1 (en) Image processing of endoscope video
US20130245354A1 (en) Automated method and apparatus for the verification of treatment parameters prior to delivery of radiaiton to patient

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination