CN109567954A - 图像引导程序的工作流程辅助***及方法 - Google Patents

图像引导程序的工作流程辅助***及方法 Download PDF

Info

Publication number
CN109567954A
CN109567954A CN201811133628.3A CN201811133628A CN109567954A CN 109567954 A CN109567954 A CN 109567954A CN 201811133628 A CN201811133628 A CN 201811133628A CN 109567954 A CN109567954 A CN 109567954A
Authority
CN
China
Prior art keywords
workflow
monitoring
clinician
data
surgical procedures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811133628.3A
Other languages
English (en)
Other versions
CN109567954B (zh
Inventor
F·科提安
F·苏雷达
V·德斯诺克斯
T·麦卡锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN109567954A publication Critical patent/CN109567954A/zh
Application granted granted Critical
Publication of CN109567954B publication Critical patent/CN109567954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本公开提供一种用于图像引导手术程序的工作流程辅助***及方法，该***包括介入成像***。介入成像***在手术程序期间操作地相对于患者移动并且采集介入图像。监测***围绕手术间布置，并且生成监测数据。工作流程控制器处理监测数据以识别位于所述手术间内的临床医生，患者，介入成像***和医疗设备的位置，并且基于监测数据向介入成像***提供操作命令。

Description

图像引导程序的工作流程辅助***及方法
技术领域
本公开涉及图像引导程序(image guided procedures)。更确切地说，本公开涉及图像引导程序中的自动化工作流程(automated workflow)和程序指导(procedureguidance)。
背景技术
手术间通常是复杂拥挤的环境，其中多个护理人员和多件复杂设备围绕被给镇静剂且无法移动的患者来执行手术护理。在微创手术程序期间也是如此，其中护理人员依赖复杂的医学成像装置和图形显示器来监测手术程序的过程和性能，而不需要在患者体内进行大切口来提供直接视觉检查和指导。
目前已知或者建议在手术间中采用音频和视频***，尽管这些***在功能和使用方面有限。手术间中的视频相机现已用于外部通信，例如用于教育、培训或示范目的。如果后期发生责任索赔，则视频相机也作为所述手术程序的客观记录，以供参考使用。音频和视频***已经进一步用于手术程序之间视频会议中，以便进行会诊。已经进一步建议使用基于音频的命令***来通过限制护理提供者与医疗装置之间的物理交互来提高手术间中的无菌性。
然而，可以改进手术程序性能、医疗装置与这些装置的临床医生用户之间的集成以及手术间所在医院内人员和资源的管理，但是需要更多地利用和集成手术间音频和视频资源。
发明内容
在用于图像引导手术程序的工作流程辅助***的示例性实施例中，一种介入成像***操作地相对于患者移动。所述介入成像***在手术程序期间进一步操作地采集所述患者的介入图像。监测***围绕手术间布置。所述监测***产生监测数据。工作流程控制器处理所述监测数据以在所述监测数据中识别和定位监测对象。监测对象包括所述手术间内的临床医生、所述患者、所述介入成像***和医疗设备。所述工作流程控制器基于对所述监测数据的分析向所述介入成像***提供操作命令。
在工作流程辅助方法的示例性实施例中，获得监测数据。所述监测数据包括手术程序期间来自布置在手术间中的多个相机的图像数据。使用介入成像***获得患者的介入图像。在所述监测数据中识别监测对象。所述监测对象包括所述手术间内的临床医生，所述患者，所述介入成像***和医疗设备。所述监测对象基于所述监测数据定位在所述手术间内。基于所定位的监测对象将操作命令提供给所述介入成像***。
具体地，本申请技术方案1涉及一种用于图像引导手术程序的工作流程辅助***，所述工作流程辅助***包括：介入成像***，所述介入成像***在手术程序期间操作地相对于患者移动并且采集介入图像；围绕手术间布置的监测***，所述监测***生成监测数据；以及工作流程控制器，所述工作流程控制器处理所述监测数据以基于所述监测数据来识别和定位监测对象，所述监测对象包括位于所述手术间内的人员，所述患者，所述介入成像***和医疗设备，并且基于所述监测数据的分析向所述介入成像***提供操作命令。
本申请技术方案2涉及根据技术方案1所述的工作流程辅助***，其中提供给所述介入成像***的所述操作命令是移动命令，以避免所述介入成像***与所述手术间内的所述患者，人员和医疗设备之间发生碰撞。
本申请技术方案3涉及根据技术方案1所述的工作流程辅助***，其中所述监测***包括多个相机，并且所述监测数据包括来自所述多个相机的图像数据。
本申请技术方案4涉及根据技术方案3所述的工作流程辅助***，其中所述多个相机包括至少一个遥摄-倾斜-变焦相机，深度相机或热相机。
本申请技术方案5涉及根据技术方案3所述的工作流程辅助***，其中所述工作流程控制器进一步接收关于所述手术间，医疗设备，介入成像***或人员的静态配置数据，并且处理所述监测数据和所述静态配置数据，以识别两个或更多个监测对象之间的交互。
本申请技术方案6涉及根据技术方案3所述的工作流程辅助***，其中所述监测***进一步包括多个传声器，并且所述监测数据包括音频数据。
本申请技术方案7涉及根据技术方案3所述的工作流程辅助***，其中所述工作流程控制器从所述图像数据中识别所述介入成像***和所述人员的位置和动作。
本申请技术方案8涉及根据技术方案7所述的工作流程辅助***，其中所述工作流程控制器包括学习引擎，所述学习引擎处理来自先前手术程序的监测数据以解释在所述手术程序期间采集的所述监测数据。
本申请技术方案9涉及根据技术方案3所述的工作流程辅助***，其中所述工作流程控制器从所述监测数据中识别所述介入成像***和所述临床医生的位置和动作，并且从所识别的位置和动作中识别手术程序事件。
本申请技术方案10涉及根据技术方案9所述的工作流程辅助***，进一步包括连到医院信息***的链路，并且所述工作流程控制器自动地记录所识别手术程序事件和所识别动作的手术事件日志。
本申请技术方案11涉及根据技术方案10所述的工作流程辅助***，其中所述医院信息***根据所述手术事件日志预测手术程序持续时间。
本申请技术方案12涉及根据技术方案11所述的工作流程辅助***，其中所述医院信息***基于所预测的手术程序持续时间来调整所述手术间的使用时间表。
本申请技术方案13涉及根据技术方案9所述的工作流程辅助***，其中所述工作流程控制器从所述医院信息***获得至少一个程序准则，并且将所述程序准则与所述临床医生的所识别位置和动作以及所识别的手术程序事件进行比较，以评估所述手术程序并且创建临床医生指导。
本申请技术方案14涉及根据技术方案3所述的工作流程辅助***，其中所述监测***进一步包括与临床医生相关联的至少一个可穿戴装置。
本申请技术方案15涉及根据技术方案14所述的工作流程辅助***，其中所述可穿戴装置是剂量计，并且所述工作流程控制器获得所述介入成像***的辐射级数据，计算所述临床医生接收的辐射剂量，并且为所述临床医生生成关于剂量减轻的指导。
本申请技术方案16涉及一种工作流程辅助方法，包括：获得监测数据，所述监测数据包括手术程序期间来自分布在手术间中的多个相机的图像数据；使用介入成像***获得患者的介入图像；在所述监测数据中识别监测对象，所述监测对象包括所述手术间内的临床医生，所述患者，所述介入成像***和医疗设备；从所述监测数据中定位所述手术间内的所述监测对象；以及基于所定位的监测对象将操作命令提供给所述介入成像***。
本申请技术方案17涉及根据技术方案16所述的方法，进一步包括：从所述图像数据和所述音频数据中识别临床医生动作；以及从所述图像数据，介入图像，音频数据和临床医生动作中识别手术程序事件。
本申请技术方案18涉及根据技术方案17所述的方法，进一步包括：将所述临床医生动作和所述手术程序事件记录在自动化手术程序日志中；以及从所述临床医生动作和手术程序事件中估计所述手术程序的持续时间。
本申请技术方案19涉及根据技术方案17所述的方法，其中所述监测数据进一步包括音频数据并且进一步包括：从分布在所述手术间中的多个传声器获得音频数据。
本申请技术方案20涉及根据技术方案17所述的方法，进一步包括：检索至少一个程序准则；将所述程序准则与所述临床医生动作和所述手术程序事件进行比较；从所述比较中生成所述手术程序的评估；以及基于所述评估向至少一个临床医生提供指导。
附图说明
图1示出手术间的示例性实施例。
图2是计算机视觉工作流程辅助***的示例性实施例的***图。
图3是图像引导程序的集成输入工作流程助手的示例性实施例的更详细方框图。
图4示出具有自动化对象检测结果的手术间视图。
图5示出具有自动化对象检测结果的示例性视频图像数据的另一个视图。
图6A和图6B示出自动化手术日志的两个示例性实施例。
图7示出手术间调度的视觉显示的示例性实施例。
图8A-8C是可由***实施例使用的手术间和设备图解数据的示例性实施例。
具体实施方式
由于手术程序多样性及程序专用设备的增加，图像引导医疗程序在房间内的调度，功能操作和装置交互方面的可预测性降低。另外，程序、患者/病例护理的个别化以及医务人员技能培训的专门化进一步促进手术程序中人员、技能和设备的潜在组合。在此复杂性日益增加的背景下，手术护理提供者必须确保患者和手术人员的安全，同时通过改进程序、医疗技术集成并且遵守协议来改善患者护理。还必须通过高效使用医院资源，包括房间、设备和员工来以控制成本的方式提供安全优质的护理。
本说明书中进一步详细描述的工作流程辅助***的示例性实施例将布置并在手术间内操作的计算机视觉***与用于图像引导医疗程序的机器人介入成像***相组合。通过此组合，所述工作流程辅助***能够防止介入成像***与位于手术间中的患者、医务人员或其他设备碰撞。所述机器人介入成像***的移动可以适应手术间的物理环境以及患者、医务人员和其他医疗设备的当前位置。所述介入成像***的性能和控制可以根据各个医务人员成员、患者位置以及其他医疗装置相对于介入成像***的位置、角色和动作来情境化。患者和手术区域周围的无菌区域可以通过本说明书中所公开的实施例增强，方法是通过识别和解释临床医生动作来促使临床医生与复杂手术设备之间进行无接触交互。医务人员动作可以自动识别、解释和记录在程序日志中。可以通过对程序阶段和持续时间进行程序内预测来增强手术间和人员调度。此外，所述工作流程辅助***可以对照对比性公认医疗实践或准则在程序内或程序后提供一致性检查和辅助或指导。
关于这些优势和特征的细节将在本说明书中参照附图进一步详细描述。
图1示出手术间10的示例性实施例。多个临床医生12A-D在手术间10内工作以手术治疗患者14。临床医生12A-D可以示例性地包括麻醉医师/麻醉师12A、主刀医生(和/或介入放射科医师或心脏病专家)12B以及护士或其他支持人员12C、12D。患者14由手术台(table)16支撑，所述手术台16可操作地以六度自由度示例性地移动平移和旋转患者，以相对于手术间10内的医疗设备和临床医生来定位患者14。
所述手术间包括临床医生12A-D用于手术治疗患者14的各种医疗设备。麻醉医师/麻醉师12A使用麻醉剂给药机(anesthesia delivery machine)18为患者14给镇静剂并且使其无法移动。介入成像***20示例性地用于采集患者手术部位的程序内图像。在示例性实施例中，所述介入成像***20包括成像装置24，所述成像装置示例性地是安装在C形臂22上的X射线装置，所述C形臂操作地相对于患者14定位成像装置24。将认识到，可以使用其他成像***作为图1中所示X射线机的替代或附加。可以包括但不限于可以进一步提供从患者14体内采集的手术部位图像的内窥镜、超声波或CT。
手术间10进一步包括多个显示器25，适于和布置成呈现患者的医学图像，包括但不限于从介入成像***20获得的医学图像。显示器25还可以适配成呈现其他医学数据，例如术前实验室结果，程序计划，标准操作程序和检查清单。应认识到，在实施例中，介入成像***20可以产生静态图像或动态图像，例如荧光透视图像。介入成像***20所产生的图像可以在向患者引入或者不引入一种或多种造影剂以促进成像的情况下完成。这些图像以及通过之前成像程序或由此开发的模型获取的其他患者图像也可以呈现在图形显示器26上。如本公开中进一步详述，手术间10设置有围绕手术间10布置的多个相机，以便采集手术间10内人员、设备和活动的程序内图像。所述相机示例性地包括遥摄-倾斜-变焦(PTZ)相机28，所述PTZ相机可以示例性地安装在手术间10的天花板上。PTZ相机是可控制的以提供相机视图遥摄、相机定向倾斜以及放大相机视图内某个区域的功能。包括在手术间10中的相机还可以包括一个或多个深度相机30。所述深度相机30设置有两个或更多个相机传感器从而以此提供立体以及范围、定位或位置确定能力。在深度相机30的另一个实施例中，基于红外(IR)光的相机与RGB可见光相机相组合以提供深度确定功能。其他深度感测相机只需要使用与飞行时间测量能力例如光检测和测距(LIDAR)相组合的一个相机传感器。此外，可以在手术间10内提供热成像相机32。热成像相机32可以提供患者或临床医生的位置信息，特别是其他相机图像中的患者可能被护罩和/或毯子遮盖，而临床医生或临床医生各部分(例如手臂、手部、头部)的确切位置可能被临床医生穿戴的防护服遮盖。
手术间10可以进一步包括将设备以可铰接方式安装在其上的一个或多个吊杆(boom)34。例如，灯36可以安装到吊杆34。相机38可以进一步与灯36结合安装，并且能够与吊杆34铰接在一起。通过所述方式，沿用于照亮手术区域的光线方向为相机38提供视域。
在本说明书中进一步详细描述的额外示例性实施例中，一个或多个传声器进一步布置在手术间10内。传声器40示例性地可以是定向传声器，并且还可以结合灯36和相机38一起安装，使得所述定向传声器40指向手术部位。此外，传声器42可以围绕手术间10布置。通过使用两个或更多个传声器，可以在所录制音频数据中识别扬声器的方向和位置。除了对医疗装置采用基于音频的指令或命令的***设计之外，如本说明书中进一步详细描述，所述传声器可以提供关于手术程序期间的临床医生动作或者所述程序的进度的额外背景信息。
此外，如图1所示，用户界面44可以布置在一个或多个临床医生12A-D可接近的位置处，并且配置成接收临床医生输入，以控制医疗装置、手术台16或者医学图像数据在一个或多个图形显示器26上的显示。另外，在手术程序期间，患者14和临床医生12A-D附近设有一个或多个手术用品托盘或容器46。所述手术用品可以包括可重复使用的器械，但是也可以包括消耗品和/或可植入用品，包括海绵、纱布、导管、导丝、支架、螺钉或所属领域中的普通技术人员将认识到的其他用品。
图2是工作流程辅助***50的示例性实施例的***图。工作流程辅助***50包括计算机视觉***52，所述计算机视觉***以通信方式连接到一个或多个相机，包括PTZ相机28和/或深度相机30。所述计算机视觉***可以示例性地实施于具有通用处理单元的专用计算机上，或者可以集成到其他医院计算机***中并且在另一个医院计算***内操作。计算机视觉***52接收静态配置数据54，所述静态配置数据帮助所述计算机视觉***分析和解释从相机28、30获得的图像数据。静态配置数据54可以包括关于手术间和/或位于手术间内的各种已知设备的几何结构信息。图8A-8C示例性地以工作流程辅助***可以使用的示意图的形式来示出所述几何结构信息。所述几何结构信息可以包括但不限于位于手术间内的医疗设备的CAD图纸或模型。
图8A是手术间的示例性示意图，其中提供关于手术间内设备的尺寸和布局的几何结构信息。所述信息可以提供关于手术间内的定位设备的背景基础和初始假设。所述几何结构数据可以与测距或其他深度感测能力结合使用，以确定人员与设备之间的距离和定向。图8B示出可以位于手术间中的医疗设备的示例性示意图。这可以包括麻醉剂给药机、介入成像***、患者支撑手术台。所述CAD图纸可以进一步适配或附加医疗装置运动数据，例如相对于机器人医疗装置的医疗装置运动数据，所述医疗装置运动数据可以包括但不限于手术机器人或介入成像C形臂运动。
图8B中提供的静态配置数据的非限制性示例包括介入成像***的CAD示意图。所述示意图示例性地以俯视图、正视图和侧视图的形式呈现介入成像***及相关联扫描架***的大小、形状和测量。运动图示例性地示出介入成像***相对于患者支撑手术台的操作工作位置区域。将认识到，尽管图8B中示出关于介入成像***的示意性信息，但是静态配置数据可以包括关于可位于和/或可用在手术间内的任何其他件医疗设备的类似信息。所述计算机视觉***可以使用静态配置数据中的尺寸、装置形状和运动信息来帮助在监测数据中识别医疗设备，并且还基于所检测或预测的医疗设备移动来确定操作命令、警告或指导。
图8C提供静态配置数据的更进一步示例，它们表示成相对于介入成像***和患者支撑手术台的示意图的辐射散点图。图8C示例性地提供介入成像***的俯视图和侧视图以及基于发射器位置设置的相关辐射散点图。这提供关于可以由计算机视觉***根据本公开以静态配置数据的形式接收和处理的特定件医疗设备的操作数据的额外示例。本说明书中将进一步详细描述计算机视觉***示例性地使用辐射散点图的操作的示例性实施例。
返回参照图2，静态配置数据54可以存储在计算机可读介质中，所述计算机可读介质以通信方式连接到计算机视觉***52。在一个实施例中，所述静态配置数据54可以在手术程序之前在计算机视觉***的启动、校准或初始化程序期间提供给计算机视觉***52。或者在另一个实施例中，静态配置数据54可以在检测到手术间内的一件或多件医疗设备之后，由计算机视觉***52访问。可以通过对从相机28、30接收的图像数据进行图像识别分析和处理来完成多件医疗设备的检测，或者医疗设备可以设有位于相机28、30中的一者或多者的视域内的条形码或快速响应(QR)码，以便来自相机28、30中的一者或多者的图像数据的图像分析可以包括识别和解释所述条形码或QR码，所述条形码或QR码识别由计算机视觉***52访问和使用的静态配置数据54。
计算机视觉***52进一步以通信方式连接到医院信息***(HIS)56。HIS 56示例性地向计算机视觉***52提供匿名(非图像)工作流程信息。例如，可以从定位和用在手术间内的医疗装置中的一者或多者获得的信息。所述HIS还可以提供预期位于手术间中的人员清单和识别信息，以及分配给这些个人的角色或任务的识别信息。在更进一步示例性实施例中，所述HIS***可以为每个指定临床医生提供识别信息，所述识别信息可以包括但不限于临床医生的数字模型和/或临床医生的照片。所述HIS 56进一步可以包括提供给计算机视觉***的调度、程序日志和消耗品日志信息，以向计算机视觉***通知要在手术间中执行的预期程序以及预定程序的预期过程，以及所述程序期间的预期消耗品使用。所述HIS可以进一步包括程序准则，例如人员和设备间距、预期持续时间、程序里程碑、辐射剂量、造影剂量和供应要求。这些程序准则可以以本说明书中进一步详细描述的方式使用，以根据准则或建议动作来分析和评估当前手术程序。
计算机视觉***52进一步以通信方式连接到介入成像***20。介入成像***20可以示例性地提供扫描架和/或手术台位置。这些位置可以是内部位置(例如，成像***的检测器阵列位于默认或中性位置上方两英寸的位置处,或者C形臂旋转到20度角)。所述扫描架和手术台的位置可以是外部位置，所述外部位置可以确定或报告成所识别对象、人员或位置之间的相对位置。外部位置还可以参照覆盖在手术间区域或体积上的定位网格或坐标系来确定和报告。在相对位置***中，位置可以例如当成像***的检测器距离手术台表面18英寸时确定或报告。上述相对位置可以由计算机视觉***或医疗设备本身基于位置和/或位于医疗设备内的近程传感器来确定。介入成像***20可以进一步包括医疗设备本身的CAD或动态CAD模型，并且将此信息提供给计算机视觉***52。所述CAD或动态CAD模型可以进一步用于确定和计算内部或外部位置。
如本说明书中进一步详述，计算机视觉***52操作地接收来自HIS 56和成像***的静态配置数据54和医院数据，或者接收来自介入成像***20的静态配置数据54。计算机视觉***52使用此静态配置数据54来分析和解释从相机28、30收集的图像数据，以便以指令或控制(control)的形式提供操作命令以改善临床医生的程序工作流程。在示例性实施例中，计算机视觉***52在考虑关于手术间本身和医疗设备本身的几何结构的静态配置数据54的情况下，进一步结合来自介入成像***20的数据来解释来自相机28、30的图像数据，以便识别和避免设备与人员之间的碰撞风险，其中所述碰撞风险可以通过向介入成像***提供操作命令来避免，例如以定义围绕患者的虚拟扫描架或者识别医疗设备移动范围的各个部分，从而避免碰撞风险。更进一步实施例可以包括移动或轨迹指令或指令修改，以便防止或避免与设备、患者或临床医生的碰撞。在进一步示例性实施例中，计算机视觉***52使用图像处理技术和分析来解释图像数据中的程序步骤和事件。这些程序步骤和事件可以记录在自动生成的程序日志中，所述程序日志提供给或存储在HIS 56中。
本说明书中将参考图3描述实施例所提供功能的更进一步示例性实施例，其中图3示出工作流程辅助***60的更详细实施例。附图之间使用类似的附图标记来指示类似部件，并且本说明书中所描述的实施例仅为示例性的，并且本公开范围内的更进一步实施例可以包括相对于本说明书中所图示和描述部件的更多或更少个部件。还将认识到，本说明书中提供的实施例描述仅用于示例性目的，并且所属领域中的普通技术人员可以在考虑到本公开的情况下而认识到类似部件的其他配置。
除了上文相对于图2强调的特征之外，工作流程辅助***60还包括多个监测数据源并且利用支持人工智能的控制器(artificial intelligence enabled controller)62来处理不同的监测数据源。支持人工智能的控制器示例性地为通用计算机，所述通用计算机已编程有计算机可读代码，以便当代码被执行时操作地使用一种或多种人工智能技术来解释来自多个监测数据源的监测数据，以便分析并且解释所述监测数据以识别手术程序中采取的特定动作和事件。在示例性实施例中，支持人工智能的控制器62进一步包括或者以通信方式连接到机器学习模块或机器学习***，以便以此使用机器学习技术来当所述支持人工智能的控制器62处理后续手术程序时增强随时间推移的手术程序分析和解释。
尽管上文已经讨论计算机视觉***52，但应认识到，除了上述PTZ相机28和深度相机30之外，计算机视觉***52可以从热感测或热相机64接收图像数据。如上所述，所述热图像数据可以在患者和/或临床医生身体被护罩或衣物遮盖的情况下提供额外背景。
如上所述，***60包括多个监测数据源，所述多个监测数据源包括并且除了由计算机视觉***52处理的图像数据之外。在进一步实施例中，感测***66从可穿戴装置68接收监测数据。可穿戴装置可以包括运动/活动***，运动/活动***可以包括位置确定***。位置确定***可以包括但不限于全球定位***(GPS)和无线三角测量。在其他实施例中，可穿戴装置可以包括可穿戴辐射剂量计。在所述实施例中，来自剂量计的信息与从***跟踪的其他信息相结合可用于提供操作员辐射防护建议，例如调整护罩后的人员位置。这也可以用于监测是否符合工人健康标准。在更进一步实施例中，可穿戴设备包括计算机化眼镜，例如混合现实或增强现实眼镜，包括但不限于谷歌眼镜(Google Glass)或微软全息眼镜(Microsoft Hololens)产品。这两种可穿戴产品均包括朝外相机，因此除了位置和/或定向监测数据之外，图像数据也可以从这些可穿戴装置采集。所述可穿戴装置提供可用于解释临床医生运动或动作的额外背景部件。例如，可以从可穿戴眼镜装置上相机的视域推断出临床医生视线。穿戴在临床医生手部或手腕上的可穿戴设备可以提供与临床医生手部运动和/或临床医生手部位置相关的位置信息。感测***66从可穿戴装置68接收可用于感测***66的数据，并且以需要的方式处理此信息，以向支持人工智能的控制器提供数据以用于解释和响应。
在示例性实施例中，支持人工智能的控制器62操作地产生临床医生和/或患者辐射照射或累积剂量的估计。如上所述，所述静态配置数据可以包括表示介入成像***操作期间的辐射照射的辐射照射图。其他成像***或放疗装置的类似辐射照射信息也可以在静态配置数据内可用。支持人工智能的控制器62可以将这些图与关于介入成像***的操作和设置的信息以及临床医生和患者的确定位置结合使用，以计算手术程序期间的有效辐射剂量。在实施例中，当前手术程序辐射剂量信息可以与例如在医院信息***中跟踪的临床医生和/或患者累积剂量信息相组合，以评估生存期累积剂量。在更进一步实施例中，基于辐射图和临床医生/患者位置的辐射剂量估计可以基于从配备有辐射剂量计可穿戴装置的每个临床医生/患者采集的数据而细化。在示例性实施例中，根据所确定的程序或累积辐射剂量，支持人工智能的控制器62可以提供程序内或程序间指导，以为临床医生提供关于临床医生或患者辐射剂量的警告，或建议辐射剂量补救措施，例如使用或调整辐射罩(radiation screen)。
监测***的更进一步示例是音频***70，所述音频***配置成从多个传声器72接收音频数据。如上所述，传声器72可以固定在手术间周围的位置，或者可以包括到另一个医疗装置中或者可以围绕手术间移动，例如在吊杆上。传声器72可以包括是全向传声器和/或定向传声器。在更进一步实施例中，所述传声器可以包括一个或多个可操纵定向传声器或传声器阵列。在将数据提供给支持人工智能的控制器62之前，传声器72将音频数据提供给音频***70进行解释和处理。音频***70可以示例性地以多种方式处理所述音频数据，以获得关于在执行手术程序过程中手术间内发生的动作和事件的额外背景。音频数据可以通过语音识别处理以及用于音频数据本身的通信内容的技术来解释，例如以解释临床医生之间的讨论以便识别手术程序中的动作或事件。此外，在一个实施例中，可以向一个或多个临床医生分配叙述手术程序的任务，以便提供手术程序的音频记录，所述音频记录之后可以处理成手术程序中事故或事件的文本或其他数据形式。在更进一步实施例中，作为音频数据本身内容的替代，从多个全向传声器和/或各种定向传声器收集的音频数据可以帮助定位手术间内的特定临床医生并且增强和验证基于图像数据或可穿戴数据的临床医生位置确定。在更进一步实施例中，音频***70可以向支持人工智能的控制器62提供高于预定阈值的声源位置和/或强度音频图。人工智能控制器62可以使用此音频图来将声音事件与视频***所识别的特定个人或机器相关联。
通过这种方式，计算机视觉***52、感测***66和音频***70提供的监测数据提供给支持人工智能的控制器62，并且所述支持人工智能的控制器62根据本说明书中的描述来处理此信息以执行***60的各种功能。
如上所述，所述支持人工智能的控制器62示例性地以通信方式访问静态配置数据54。尽管在图3中未示出，但将认识到，计算机视觉***52、感测***66和/或音频***70中的任一者也可以根据需要以通信方式访问静态配置数据54，以便于收集和处理这些相应形式的监测数据。静态配置数据54提供关于手术间本身和/或手术间内任何医疗设备的尺寸和/或几何结构数据，特别是本质上可移动和/或为机器人型，因此可以预期将在手术程序过程期间移动的医疗设备。手术间中可能存在的示例性和非限制性类型的机器人医疗设备可以包括介入成像***C形臂、患者支撑手术台或手术机器人，例如以***和/或以其他方式定位针头，例如，以用于将导管或导丝***患者体内。一个或多个子***对静态配置数据的访问可以是手术程序之前的设置或校准阶段期间临床医生输入的结果，而在其他实施例中，所述计算机视觉***可以使用图像识别来识别一件或多件医疗设备，或者读取位于一个或多个相机视域内的医疗设备上的条形码、QR码或其他视觉识别符以识别医疗设备，使得对适当静态配置数据进行访问并且将其用于分析和解释手术程序。
在更进一步示例性实施例中，所述支持人工智能的控制器以通信方式连接到介入成像***20。在示例性实施例中，介入成像***20本身可以向支持人工智能的控制器62提供其本身的识别信息，从而得到适当的静态配置数据。同样，手术间内的其他医疗设备74也可以以通信方式连接到支持人工智能的控制器62。其他医疗设备76可以同样地将自己本身的识别信息提供给所述支持人工智能的控制器62以采集适当的静态配置数据54。除了识别信息之外，介入成像***可以将这些介入图像提供给支持人工智能的控制器62，其中介入成像***可以示例性地为介入X射线机、荧光透视机或锥形束计算机断层摄影(CBCT)机器或其他介入成像装置。在更进一步示例性实施例中，介入成像***例如以内窥镜的形式定位在患者体内，也以此方式采集来自患者体内的图像数据。如本说明书中进一步详细描述，支持人工智能的控制器62可以将显示患者体内手术部位的介入成像***背景数据与相同时间在患者外部采集的监测数据相组合，以便识别手术程序中的动作和事件并且执行本说明书中进一步详细描述的功能。支持人工智能的控制器62进一步示例性地以通信方式连接到医院信息***(HIS)56，所述支持人工智能的控制器62能够通过所述医院信息***访问手术，人员或手术间时间表(schedule)，手术程序日志，患者护理准则和程序标准。在示例性实施例中，所述支持人工智能的控制器62能够读取和写入与医院信息***56相关联的数据文件。
将认识到，在以上描述中，所述支持人工智能的控制器62已经图示成独立部件。但是，应认识到，在其他实施例中，所述支持人工智能的控制器的功能可以在与计算机视觉***和/或介入成像***20相同的处理器和/或计算***处执行。将认识到，在实施例中，计算机视觉***52、感测***66、音频***70、支持人工智能的控制器62和介入成像***20中的每一者可以作为独立装置操作并且作为单独的处理器或计算机***执行。但是还将认识到，这些部件中的一个或多个部件的任何组合可以在单个处理器或计算机***上实施，并且在所述情况下，上文所述并且本说明书中进一步描述的这些功能中的一些或全部功能可以通过由所述装置执行，同时仍在本公开的范围内。
相对于图3图示和描述的工作流程辅助***60可以示例性地操作以执行本公开范围内的各种功能。这些功能包括但不限于避免介入成像***与其他医疗设备和/或临床医生之间的碰撞。自动化医疗设备操作或指令将依据手术程序背景、自动化手术记录、预测调度和标准护理评估。
***60可以操作地采集和分析关于手术间内各种设备、临床医生和患者的位置和定向的实时几何结构信息。计算机视觉***52可以操作地在从一个或多个相机采集的图像数据中检测这些对象。对来自相机的图像数据中的所述实时几何结构信息的分析使得支持人工智能的控制器62能够预测医疗设备与其他医疗设备(例如，手术台)、临床医生或患者的碰撞。一旦预期到这些潜在碰撞，就可以计算和指示介入成像***移动轨迹以避开障碍物。或者，可以发布警报。在进一步实施例中，机器人医疗设备的移动速度可以在高碰撞可能性区域内移动期间减慢。在示例性实施例中，计算机视觉***52可以接收静态配置数据54，所述静态配置数据由相对于医疗设备的先验信息组成，例如以CAD图纸和/或医疗设备运动的形式。计算机视觉***52可以使用图像处理和检测技术来从提供给计算机视觉***52的图像数据中确定医疗设备，临床医生或患者的精确位置，定向或形状。
在实施例中，医疗设备包括介入成像***设备可以标记有显著位于一个或多个相机视域内位置处的条形码和/或QR码，并且因此捕集在从一个或多个相机提供给计算机视觉***52的图像数据内。在图像数据中，可以读取条形码或QR码，并且在示例性实施例中，由条形码或QR码提供的医疗设备识别信息用于访问和接收关于所识别医疗设备的CAD和/或运动数据。在进一步示例性实施例中，可以通过识别和计算机视觉确定技术来跟踪临床医生。如上所述，可以使用热或太赫兹型相机来确定和/或细化患者的位置，所述相机可以通过任何医用护罩、衣物或帷帘提供患者实际身***置和/或形状的指示。由于计算机视觉***52可以在整个操作过程中及时跟踪多个对象，因此即使对象不在连接到计算机视觉***52的一个或多个相机的直线视线内，计算机视觉***52也可以推断出手术间内的可能障碍物。
支持人工智能的控制器62可以使用从计算机视觉***52接收的指示手术间内医疗设备、临床医生和患者位置的数据，并且所述支持人工智能的控制器62可以使用此信息来确定操作命令并且将其提供给介入成像***20或其他医疗设备76。支持人工智能的控制器62操作以自动地基于手术间内临床医生的位置，凝视或临床医生注意方向，成像***相对于患者和/或另一件医疗设备的位置，介入成像***或其他医疗设备当前正在进行的功能来向介入成像***20提供输入。
在进一步示例性实施例中，支持人工智能的控制器62向手术间内的多件医疗设备提供额外的自动化操作控制。支持人工智能的控制器62可以基于所确定的当前手术程序步骤，最近程序事件或所预测的接下来程序步骤或事件向图形显示器提供操作控制，以调整用户界面或显示配置。这些操作控制可以包括用户界面中的提示或建议，以执行或设置某件医疗设备的特定功能或操作。在实施例中，支持人工智能的控制器62可以向介入成像***提供操作控制，以设置所预测的下一个成像功能的操作参数。作为示例，所述操作控制可以根据待成像患者组织例如头部、胸部、腹部或腿部来选择成像协议。
在另一个示例中，所述支持人工智能(AI)的控制器62可以分析与患者相关的监测数据并且基于此分析来提供操作控制。可以从监测数据中识别患者定向并且自动地将此信息提供给成像***20、HIS56，或者以可供支持人工智能的控制器62访问的形式来存储此信息以便稍后参考和使用。在更进一步实施例中，可以通过支持人工智能的控制器来分析与患者有关的监测数据以构建个性化患者组织模型。个性化组织模型可以以可供支持人工智能的控制器访问的方式进一步存储，以用于成像***碰撞检测和减轻中。支持人工智能的控制器62可以进一步使用个性化患者组织模型来确定患者辐射剂量。
在进一步示例中，支持人工智能的控制器62可以基于所识别的临床医生、临床医生的位置、临床医生的凝视方向和/或检测到的程序步骤或事件向一个或多个图形显示提供操作控制。操作控制可以配置图形显示器以呈现与特定临床医生在观察或查看此图形显示器时所执行的动作相关的信息。支持人工智能的控制器62还可以向与临床医生中的一个临床医生相关联的可穿戴装置提供操作控制，以示例性地提供本公开所讨论的程序内指导。
在更进一步示例性实施例中，可以基于临床医生的位置或手术对象的识别信息和/或外科医生手部相对于患者手术部位的位置来确定手术程序的进度。自动化***操作或输入的进一步示例包括依据待成像患者身体部分、显示器自动配置以及所属领域中的普通技术人员在考虑到本公开的情况下将认识到的其他因素的临床医生剂量管理、医疗设备的背景控制、成像协议的自动选择。
此外，计算机视觉***52可以操作地进一步推断临床医生的行为和意图。在给定的示例中，这可以示例性地在支持人工智能的控制器62和机器学习技术的辅助下执行，临床医生的行为和意图可以从计算机视觉***52或感测***66所处理的图像数据中临床医生的可观察和可检测动作中推断出。这可以包括确定临床医生视线方向或者临床医生身体当前位置或者由临床医生手部执行的动作。这可以进一步包括识别当前由临床医生处理的手术设备。这可以通过音频***70处理的音频数据来促进，其中临床医生可以通过手术程序叙述或临床医生之间的程序内讨论来提供关于行为或意图的进一步背景。
在更进一步实施例中，***60可以操作地处理监测数据以通过将监测数据转换成手术程序中的有意义事件或动作来提取监测数据内的语义。这些可以自动记录在可存储在HIS 56中的程序日志中。通过这种方式，除了患者、临床医生和医疗设备之外，还可以识别这些对象的交互并且将其跟踪到自动化程序日志中，以提供手术间的初期清单以跟踪手术设备和/或各种消耗品。可以示例性地基于位于这些物项中的每一者上的条形码来跟踪自动化程序日志中的消耗品，条形码或QR码捕集在图像数据中并且由计算机视觉***52读取。可以从监测数据中识别和记录特定临床医生对医疗设备、手术工具或消耗品的使用。
在更进一步实施例中，监测数据还可以包括来自介入成像***20的图像数据，图像数据可以直接从介入成像***20或从HIS 56内的PACS***提供。与上述图像处理一样，可以从介入成像***20的医学图像中确定进一步程序动作或事件语义信息，例如，将导丝引入到手术部位、支架的存在或部署、气囊充气、造影剂注射，或者来自介入成像***20的图像数据内可见的其他动作或事件。动作或事件语义信息可以进一步识别检测到事件的组织位置(例如左心房、右肾)以及动作或事件发生的时间戳。
在例如通过自动化程序日志中的记录来识别和跟踪手术程序的动作和事件的更进一步示例性实施例中，自动化程序日志可以存储在HIS中或者传输到HIS，并且HIS可以基于手术程序中识别的当前动作和事件而使用此记录的手术程序动作和事件数据来提供预测调度。例如，患者送出、房间清洁、房间准备、下一个患者进入以及下一个手术程序开始事件全部可以基于手术间内这些下一个预定动作的已知或建模持续时间以及当前手术程序中的预测剩余持续时间来估计。通过实时识别和传达手术程序中每个事件的完成，可以在不需要协调员在场的情况下执行此调度。可以对照事件持续时间估计所基于的模型，依据实际事件持续时间的变化、延迟或提前来评估监测数据，其中完成此事件估计的时间可以修改，并且后续时间表可以向前或向后调整。在更进一步实施例中，手术程序中的每个剩余事件可以通过能够由支持人工智能的控制器62执行的机器学习技术，基于先前手术事件的手术程序模型和/或历史数据来预测。
在进一步实施例中，每个手术程序映射到可以在监测数据中识别和跟踪的一系列动作和/或事件中，可以建立准则或优选程序，并且将所定义的预期动作或事件中的每一者与监测数据中识别的动作和事件进行比较。通过这种方式，每个手术程序可以采用公认护理标准、预期动作或事件的准则以及工作流程效率模式准则来定义。这些标准和准则可以以实时和/或脱机方式与监测数据中临床医生的事件和动作进行比较并且回报给临床医生，包括可能的建议。采用实时方式时，可以在定位于手术间内的图形显示器上将手术程序建议通知给临床医生。在脱机建议中，建议可以呈现在注释中或用于培训目的。
图4示出所采集的手术间的图像数据的示例性实施例。在图像数据中，计算机视觉***识别手术间中的监测***所跟踪的多件设备、临床医生或患者中的每一者。计算机视觉***识别所获得的监测数据中的每个监测对象。在监测数据是图像数据的示例中，使用上下文框来示例性地显现识别信息。将认识到，在实施例中，与图4和图5中所示出的视觉呈现相反，可以在***处理内识别监测对象并且以数字或其他方式来表示监测对象。
例如，在图4中，计算机视觉***可以识别设备82。设备82可以包括麻醉机、X射线C形臂或设备控制器。在84中，可以识别手术间内的临床医生。可以对每个临床医生进行标记。在示例性实施例中，可以基于临床医生的检测顺序来标记这些临床医生并且为其提供带编号的识别信息，例如操作员1、操作员2等。而在其他实施例中，临床医生84可以单独识别，例如通过预先检测到识别码的存在，例如，临床医生衣物或支持RFID功能的识别徽章或具有无线连接性的可穿戴个人剂量计上的识别码。可以在86中识别患者。检测患者位置可以帮助避免C形臂与患者之间的任何碰撞，或者提供临床医生所处理的组织位置的背景。可以在88中识别监测器。如果监测器位于所收集图像数据的视域内，则可以对其进行分析以确定当前正在呈现给临床医生的信息。可以将此信息与程序指导进行比较，或者可以提供关于临床医生正在执行的动作或者手术程序中的当前事件的进一步指示。在90中，识别手术工具的位置。在实施例中并且如本说明书中进一步详细描述，可以提供包括手术工具90的图像数据的近视图，以便例如通过检测每个手术工具上的条形码来识别工具，从而识别临床医生在手术程序期间所选择和使用的工具。如图4中进一步图示，可以从临床医生头部和/或身体的位置和定向中识别临床医生视线方向92。将认识到，在临床医生配备有可穿戴眼镜装置的示例性实施例中，从可穿戴设备收集的定向传感器或图像数据可以进一步通知和细化视线方向92的确定。
图5示出近视图94中提供的进一步图像数据。近视图数据可以从PTZ相机中的一者采集，其中对感兴趣的特定位置例如手术部位或手术工具托盘进行放大。在图5中，图像数据中还检测到各种对象，包括多个手术工具90，包括夹具90A、插管器90B和导丝90C。此外，识别临床医生手部96。结合图4中所示的图像数据80，与检测到的手部96相关联的临床医生可以是已知的或识别出的。因此，例如从图5中的图像数据94中，可以记录与检测到手部96相关联的临床医生对插管器90B和导丝90C设备的使用，或者导丝引入患者体内的事件可以记录在程序日志中。
图6A和6B示出可以在本公开的实施例中自动生成的程序日志的两个示例性实施例。在图6A中，手术日志98是逐个对象生成的，例如6A中列出的对象以及图4和图5中示出和标记的对象。在程序日志98中，列100中识别出每个检测到的对象。如果从监测数据中推断出角色或操作，则将其呈现在列102中。在程序日志98中，后续列104以各种时间戳或时间间隔生成，并且包括与所检测到的对象相关联的时间的动作或事件。因此，程序日志随时间产生监测数据中所监测的每个对象的检测到动作或事件的记录。在图6B中所示的程序日志106中，程序日志106是来自监测数据的检测到事件或动作的时间戳序列。程序日志106包括时间戳108以及此时间戳下记录的关联事件110。程序日志106可以根据需要创建尽可能多的时间戳和事件或动作符号，以记录手术间内检测到的动作和事件。如程序日志106中进一步所示，程序日志可以包括例如临床医生动作112，程序摘要和持续时间预测114，医疗设备移动或动作116，手术工具扫描或识别118，程序事件120或者建议采取的动作122。这些符号中的每一者可以如上所述由工作流程辅助***通过分析监测数据来生成。
图7示出调度表24的示例性实施例。在调度表24中，识别多个房间126中的每一个，并且指示当前时间128。为每个房间126提供所述房间在先前使用中的程序或时间表状态，并且当前时间128指示的右侧是对此房间的时间表预测。所述房间使用的预测可以当所预测的程序完成时间在所述程序过程中得到更新时而更新。通过这种方式，清洁、房间准备、患者准备和下一个程序的开始均可以基于所估计的当前程序完成而更新。在更进一步实施例中，所述监测数据可以在除了执行手术程序之外的其他时间采集，例如以提供房间清洁或房间准备的监测和跟踪。应理解，上文相对于跟踪手术程序所述的类似概念和技术也可以应用于房间清洁和房间准备。通过所述方式，基于清洁和/或准备房间所采取的实际步骤和动作，可以预测和更新房间清洁时间或下一个程序开始时间的更新预测。类似的指导、记录和质量保证可以通过监测数据的类似分析提供给上文相对于手术程序所述的房间清洁和/或房间准备过程。通过此示例性方式，可以分析监测数据以识别和分析许多不同类型人员的动作，包括但不限于临床医生，包括医生、外科医生、心脏病专家、麻醉医师、护士和清洁人员。
在以上说明中，特定术语出于简明、清楚和理解方面的目的而使用。由于术语仅用于说明并且旨在广义范围内进行解释，因此无法从中推断出超出现有技术要求的任何不必要限制。本说明书中所述的不同***和方法步骤可以单独使用，也可以与其他***和方法结合使用。可以预期，随附权利要求书的范围内可能存在各种等效方案，替代方案和修改方案。
附图中提供的功能框图、操作序列和流程图表示用于执行本公开新颖方面的示例性体系结构、环境和方法。尽管出于简化说明的目的，本说明书中所包括的方法可以是功能图、操作序列或者流程图的形式，并且可以描述成一系列动作，但是应理解和认识到，所述方法不受限于动作顺序，因为某些动作可以根据本发明以不同顺序发生和/或与本说明书中所图示和描述的其他动作同时发生。例如，所属领域中的技术人员将理解和认识到，方法可以替代地表示成一系列相互关联的状态或事件，例如在状态图中。此外，可能并非方法中所示的所有行为均为新颖实施方案所必需的。
本说明书使用示例来公开本发明，包括最佳模式，同时也让所属领域的任何技术人员能够完成并且使用本发明。本发明的专利保护范围由权利要求书界定，并且可以包括所属领域中的技术人员得出的其他示例。如果其他示例的结构构件与权利要求书的字面意义相同，或如果所述示例包括的等效结构构件与权利要求书的字面意义无实质差别，则所述示例也应在权利要求书的覆盖范围内。

Claims (20)

1.一种用于图像引导手术程序的工作流程辅助***，所述工作流程辅助***包括：
介入成像***，所述介入成像***在手术程序期间操作地相对于患者移动并且采集介入图像；
围绕手术间布置的监测***，所述监测***生成监测数据；以及
工作流程控制器，所述工作流程控制器处理所述监测数据以基于所述监测数据来识别和定位监测对象，所述监测对象包括位于所述手术间内的人员，所述患者，所述介入成像***和医疗设备，并且基于所述监测数据的分析向所述介入成像***提供操作命令。
2.根据权利要求1所述的工作流程辅助***，其中提供给所述介入成像***的所述操作命令是移动命令，以避免所述介入成像***与所述手术间内的所述患者，人员和医疗设备之间发生碰撞。
3.根据权利要求1所述的工作流程辅助***，其中所述监测***包括多个相机，并且所述监测数据包括来自所述多个相机的图像数据。
4.根据权利要求3所述的工作流程辅助***，其中所述多个相机包括至少一个遥摄-倾斜-变焦相机，深度相机或热相机。
5.根据权利要求3所述的工作流程辅助***，其中所述工作流程控制器进一步接收关于所述手术间，医疗设备，介入成像***或人员的静态配置数据，并且处理所述监测数据和所述静态配置数据，以识别两个或更多个监测对象之间的交互。
6.根据权利要求3所述的工作流程辅助***，其中所述监测***进一步包括多个传声器，并且所述监测数据包括音频数据。
7.根据权利要求3所述的工作流程辅助***，其中所述工作流程控制器从所述图像数据中识别所述介入成像***和所述人员的位置和动作。
8.根据权利要求7所述的工作流程辅助***，其中所述工作流程控制器包括学习引擎，所述学习引擎处理来自先前手术程序的监测数据以解释在所述手术程序期间采集的所述监测数据。
9.根据权利要求3所述的工作流程辅助***，其中所述工作流程控制器从所述监测数据中识别所述介入成像***和所述临床医生的位置和动作，并且从所识别的位置和动作中识别手术程序事件。
10.根据权利要求9所述的工作流程辅助***，进一步包括连到医院信息***的链路，并且所述工作流程控制器自动地记录所识别手术程序事件和所识别动作的手术事件日志。
11.根据权利要求10所述的工作流程辅助***，其中所述医院信息***根据所述手术事件日志预测手术程序持续时间。
12.根据权利要求11所述的工作流程辅助***，其中所述医院信息***基于所预测的手术程序持续时间来调整所述手术间的使用时间表。
13.根据权利要求9所述的工作流程辅助***，其中所述工作流程控制器从所述医院信息***获得至少一个程序准则，并且将所述程序准则与所述临床医生的所识别位置和动作以及所识别的手术程序事件进行比较，以评估所述手术程序并且创建临床医生指导。
14.根据权利要求3所述的工作流程辅助***，其中所述监测***进一步包括与临床医生相关联的至少一个可穿戴装置。
15.根据权利要求14所述的工作流程辅助***，其中所述可穿戴装置是剂量计，并且所述工作流程控制器获得所述介入成像***的辐射级数据，计算所述临床医生接收的辐射剂量，并且为所述临床医生生成关于剂量减轻的指导。
16.一种工作流程辅助方法，包括：
获得监测数据，所述监测数据包括手术程序期间来自分布在手术间中的多个相机的图像数据；
使用介入成像***获得患者的介入图像；
在所述监测数据中识别监测对象，所述监测对象包括所述手术间内的临床医生，所述患者，所述介入成像***和医疗设备；
从所述监测数据中定位所述手术间内的所述监测对象；以及
基于所定位的监测对象将操作命令提供给所述介入成像***。
17.根据权利要求16所述的方法，进一步包括：
从所述图像数据和所述音频数据中识别临床医生动作；以及
从所述图像数据，介入图像，音频数据和临床医生动作中识别手术程序事件。
18.根据权利要求17所述的方法，进一步包括：
将所述临床医生动作和所述手术程序事件记录在自动化手术程序日志中；以及
从所述临床医生动作和手术程序事件中估计所述手术程序的持续时间。
19.根据权利要求17所述的方法，其中所述监测数据进一步包括音频数据并且进一步包括：
从分布在所述手术间中的多个传声器获得音频数据。
20.根据权利要求17所述的方法，进一步包括：
检索至少一个程序准则；
将所述程序准则与所述临床医生动作和所述手术程序事件进行比较；
从所述比较中生成所述手术程序的评估；以及
基于所述评估向至少一个临床医生提供指导。
CN201811133628.3A 2017-09-28 2018-09-27 图像引导程序的工作流程辅助***及方法 Active CN109567954B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/718,941 US10610307B2 (en) 2017-09-28 2017-09-28 Workflow assistant for image guided procedures
US15/718,941 2017-09-28

Publications (2)

Publication Number Publication Date
CN109567954A true CN109567954A (zh) 2019-04-05
CN109567954B CN109567954B (zh) 2023-09-12

Family

ID=63914746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811133628.3A Active CN109567954B (zh) 2017-09-28 2018-09-27 图像引导程序的工作流程辅助***及方法

Country Status (3)

Country Link
US (1) US10610307B2 (zh)
EP (1) EP3474285A3 (zh)
CN (1) CN109567954B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612098A (zh) * 2020-06-02 2020-09-01 中国人民解放军国防科技大学 协同开发社区中里程碑完成时间预测方法和装置
CN111700588A (zh) * 2020-06-05 2020-09-25 中国人民解放军军事科学院国防科技创新研究院 介入式成像***
CN114305613A (zh) * 2021-12-30 2022-04-12 武汉联影智融医疗科技有限公司 影像引导介入穿刺***
CN117281627A (zh) * 2022-06-23 2023-12-26 西门子医疗有限公司 用于监控至少一个目标对象的监控***和方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6888620B2 (ja) * 2016-04-28 2021-06-16 ソニーグループ株式会社 制御装置、制御方法、プログラム及び音出力システム
JP6514756B1 (ja) * 2017-11-30 2019-05-15 ゼネラル・エレクトリック・カンパニイ 接触回避装置、医用装置、およびプログラム
US10504623B2 (en) * 2017-12-28 2019-12-10 DePuy Synthes Products, Inc. Orthopaedic instrument system and method for determining duration of use of an orthopaedic instrument
US11189379B2 (en) * 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
EP3656336B1 (en) * 2018-11-26 2021-05-05 TRUMPF Medizin Systeme GmbH + Co. KG Surgical light and system including the surgical light
US11628016B2 (en) 2019-02-20 2023-04-18 OperVu, Inc. System and method to detect and track surgical instruments and/or surgical material
US11630969B2 (en) * 2019-02-25 2023-04-18 Fund For Medical Research Development Of Infrastructure & Health Services By Barzilai Medical Center Identity verifying device and methods
US20210012888A1 (en) * 2019-07-12 2021-01-14 Tagnos, Inc. Command system using data capture and alerts
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US12026965B2 (en) * 2019-08-19 2024-07-02 3M Innovative Properties Company Video based continuous product detection
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
EP3923298A1 (en) * 2020-06-11 2021-12-15 Koninklijke Philips N.V. Image-based adapting of medical equipment
WO2022014014A1 (ja) * 2020-07-16 2022-01-20 オリンパス株式会社 集中制御装置及び手術関連情報の表示方法
WO2022065469A1 (ja) * 2020-09-28 2022-03-31 テルモ株式会社 プログラム、情報処理方法、情報処理装置及びモデル生成方法
DE102020128199A1 (de) 2020-10-27 2022-04-28 Carl Zeiss Meditec Ag Individualisierung von generischen Referenzmodellen für Operationen basierend auf intraoperativen Zustandsdaten
US11596492B2 (en) 2021-03-17 2023-03-07 Depuy Ireland Unlimited Company Surgical apparatus tray inserts and trays
WO2022259083A1 (en) * 2021-06-10 2022-12-15 Sony Group Corporation Clinical activity recognition with multiple cameras
EP4202951A1 (en) * 2021-12-21 2023-06-28 Koninklijke Philips N.V. Image-guided therapy system
GB2616295A (en) * 2022-03-03 2023-09-06 Intelligent Ultrasound Ltd Apparatus and method for monitoring a medical procedure
WO2024058826A1 (en) * 2022-09-15 2024-03-21 Medtronic Vascular, Inc. Clinical device tracking and monitoring system

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19814367A1 (de) * 1997-05-07 1998-11-12 Siemens Ag Medizinisch-technischer Systemarbeitsplatz
US20070078328A1 (en) * 2005-02-10 2007-04-05 Olympus Corporation Operation assisting system
US20080103828A1 (en) * 2006-11-01 2008-05-01 Squilla John R Automated custom report generation system for medical information
US20080270341A1 (en) * 2007-04-24 2008-10-30 Terry Youngblood Virtual surgical assistant
US20110263980A1 (en) * 2010-04-23 2011-10-27 General Electric Company Method and system for guiding clinicians in real time
US20130185090A1 (en) * 2012-01-18 2013-07-18 Siemens Medical Solutions Usa, Inc. System for Preplanning Placement of Imaging Equipment and Medical Workers In an Operating Room
US20130307955A1 (en) * 2010-12-13 2013-11-21 Ortho Kinematics, Inc., Methods, systems and devices for a clinical data reporting and surgical navigation
US20140163736A1 (en) * 2012-12-10 2014-06-12 Intuitive Surgical Operations, Inc. Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
US20140276855A1 (en) * 2013-03-13 2014-09-18 Stryker Corporation System and Method for Arranging Objects in an Operating Room in Preparation for Surgical Procedures
US20160310228A1 (en) * 2014-09-24 2016-10-27 Olympus Corporation Medical system
US20160379504A1 (en) * 2015-06-24 2016-12-29 Brian D. BAILEY Method and system for surgical instrumentation setup and user preferences
US20170258417A1 (en) * 2014-09-16 2017-09-14 Koninklijke Philips N.V. Protection system for protecting a person against x-ray scatter radiation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005023165A1 (de) 2005-05-19 2006-11-23 Siemens Ag Medizinisches Bildgebungssystem mit einem um einen Patienten verfahrbaren Teil und Kollisionsschutzverfahren
DE102005062582B4 (de) 2005-12-27 2017-08-03 Siemens Healthcare Gmbh Abbilduingssystem und Verfahren zur Anfertigung von Röntgen- und optischen Bildern
DE102007032540B4 (de) 2007-07-12 2015-05-21 Siemens Aktiengesellschaft Verfahren zum Steuern der Bewegung eines beweglichen Teils eines Röntgenbildaufnahmesystems sowie mit Videokameras gekoppeltes Röntgenbildaufnahmesystem
DE102009021239A1 (de) 2009-05-14 2010-11-18 Siemens Aktiengesellschaft Verfahren zur Überwachung der einem Patienten durch eine Strahlungsquelle verabreichten Röntgendosis bei einer Röntgeneinrichtung und Röntgeneinrichtung
DE102011083876B4 (de) * 2011-09-30 2018-12-27 Siemens Healthcare Gmbh Verfahren zur Bewegungssteuerung einer Röntgenvorrichtung und Röntgensystem
US10363102B2 (en) * 2011-12-30 2019-07-30 Mako Surgical Corp. Integrated surgery method
US9433395B2 (en) * 2012-07-12 2016-09-06 Samsung Electronics Co., Ltd. X-ray imaging apparatus and method for controlling X-ray imaging apparatus
US9649080B2 (en) 2012-12-05 2017-05-16 Samsung Electronics Co., Ltd. X-ray imaging apparatus and method for controlling the same
DE102013220663A1 (de) 2013-10-14 2015-04-16 Siemens Aktiengesellschaft Rekonstruktion von Bilddaten mittels Konturdaten
US10172574B2 (en) * 2013-11-27 2019-01-08 Koninklijke Philips N.V. Interventional X-ray system with automatic iso-centering
US20160183903A1 (en) 2014-12-19 2016-06-30 General Electric Company Input device, method, and system for generating a control signal for a medical device
US9812132B2 (en) 2015-12-31 2017-11-07 General Electric Company Acoustic map command contextualization and device control
US20190223961A1 (en) * 2018-01-19 2019-07-25 Verily Life Sciences Llc Step-based system for providing surgical intraoperative cues
US10555779B2 (en) * 2018-04-27 2020-02-11 Medtronic Navigation, Inc. System and method for a tracked procedure
EP3581121A1 (en) * 2018-06-15 2019-12-18 MAKO Surgical Corp. Techniques for patient-specific milling path generation

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19814367A1 (de) * 1997-05-07 1998-11-12 Siemens Ag Medizinisch-technischer Systemarbeitsplatz
US20070078328A1 (en) * 2005-02-10 2007-04-05 Olympus Corporation Operation assisting system
US20080103828A1 (en) * 2006-11-01 2008-05-01 Squilla John R Automated custom report generation system for medical information
US20080270341A1 (en) * 2007-04-24 2008-10-30 Terry Youngblood Virtual surgical assistant
US20110263980A1 (en) * 2010-04-23 2011-10-27 General Electric Company Method and system for guiding clinicians in real time
US20130307955A1 (en) * 2010-12-13 2013-11-21 Ortho Kinematics, Inc., Methods, systems and devices for a clinical data reporting and surgical navigation
US20130185090A1 (en) * 2012-01-18 2013-07-18 Siemens Medical Solutions Usa, Inc. System for Preplanning Placement of Imaging Equipment and Medical Workers In an Operating Room
US20140163736A1 (en) * 2012-12-10 2014-06-12 Intuitive Surgical Operations, Inc. Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
US20140276855A1 (en) * 2013-03-13 2014-09-18 Stryker Corporation System and Method for Arranging Objects in an Operating Room in Preparation for Surgical Procedures
US20170258417A1 (en) * 2014-09-16 2017-09-14 Koninklijke Philips N.V. Protection system for protecting a person against x-ray scatter radiation
US20160310228A1 (en) * 2014-09-24 2016-10-27 Olympus Corporation Medical system
US20160379504A1 (en) * 2015-06-24 2016-12-29 Brian D. BAILEY Method and system for surgical instrumentation setup and user preferences

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIRKO DANIELE COMPARETTI: "Safe surgical robotic system and workflow design in the ACTIVE project for awake neurosurgery", <<ACTIVE>> *
MIRKO DANIELE COMPARETTI: "Safe surgical robotic system and workflow design in the ACTIVE project for awake neurosurgery", <<ACTIVE>>, 31 October 2012 (2012-10-31), pages 2 - 3 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612098A (zh) * 2020-06-02 2020-09-01 中国人民解放军国防科技大学 协同开发社区中里程碑完成时间预测方法和装置
CN111612098B (zh) * 2020-06-02 2024-01-05 中国人民解放军国防科技大学 协同开发社区中里程碑完成时间预测方法和装置
CN111700588A (zh) * 2020-06-05 2020-09-25 中国人民解放军军事科学院国防科技创新研究院 介入式成像***
CN111700588B (zh) * 2020-06-05 2021-02-19 中国人民解放军军事科学院国防科技创新研究院 介入式成像***
CN114305613A (zh) * 2021-12-30 2022-04-12 武汉联影智融医疗科技有限公司 影像引导介入穿刺***
CN114305613B (zh) * 2021-12-30 2024-01-30 武汉联影智融医疗科技有限公司 影像引导介入穿刺***
CN117281627A (zh) * 2022-06-23 2023-12-26 西门子医疗有限公司 用于监控至少一个目标对象的监控***和方法

Also Published As

Publication number Publication date
US10610307B2 (en) 2020-04-07
US20190090954A1 (en) 2019-03-28
EP3474285A3 (en) 2019-07-03
EP3474285A2 (en) 2019-04-24
CN109567954B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN109567954A (zh) 图像引导程序的工作流程辅助***及方法
US10493298B2 (en) Camera systems and methods for use in one or more areas in a medical facility
US11779409B2 (en) Surgical system with workflow monitoring
CN109419524B (zh) 医学成像***的控制
EP3212109B1 (en) Determining a configuration of a medical robotic arm
US8799008B2 (en) System and method to manage delivery of healthcare to a patient
CN103027699B (zh) 用于x射线设备的运动控制的方法和x射线***
US20150374259A1 (en) Systems and methods for medical procedure monitoring
US20180028088A1 (en) Systems and methods for medical procedure monitoring
JP2018047291A (ja) トモシンセシス性能を備えた移動型放射線撮影装置／方法
CN108883294A (zh) 用于在整个放射治疗中监视结构运动的***和方法
US20120293511A1 (en) Method for displaying an area to be medically examined and/or treated
CN105411613A (zh) 自动化地定位检查台的用户接口和方法
CN110225719A (zh) 用于辐射剂量监测的增强现实
WO2019110135A1 (en) Augmented reality assistance in medical procedure preparation
US11712587B2 (en) Radiotherapy methods, systems, and workflow-oriented graphical user interfaces
US20230211183A1 (en) Radiotherapy methods, systems, and workflow-oriented graphical user interfaces
CN108778135B (zh) 多模态x射线成像中的光学相机选择
EP2931127B1 (en) Interventional system
US20210128082A1 (en) Methods and systems for body contour profiles
CN112655052A (zh) 在检查或介入程序中的增强现实用户引导
JP2016174788A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN113081013A (zh) 定位片扫描方法、装置及***
EP4197475B1 (en) Technique of determining a scan region to be imaged by a medical image acquisition device
İncetan et al. RGB-D camera-based clinical workflow optimization for rotational angiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant