CN110996748A - 面向机器学习的外科手术视频分析*** - Google Patents

面向机器学习的外科手术视频分析*** Download PDF

Info

Publication number
CN110996748A
CN110996748A CN201880001594.4A CN201880001594A CN110996748A CN 110996748 A CN110996748 A CN 110996748A CN 201880001594 A CN201880001594 A CN 201880001594A CN 110996748 A CN110996748 A CN 110996748A
Authority
CN
China
Prior art keywords
surgical
video
machine learning
stage
surgical procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880001594.4A
Other languages
English (en)
Inventor
J.文卡塔拉曼
P.E.加西亚克罗伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verb Surgical Inc
Original Assignee
Verb Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verb Surgical Inc filed Critical Verb Surgical Inc
Publication of CN110996748A publication Critical patent/CN110996748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Quality & Reliability (AREA)

Abstract

本发明题为“面向机器学习的外科手术视频分析***”。本发明提供了外科手术视频分析***的各种示例，所述***用于将给定外科手术规程的外科手术视频分割成较短的视频片段并且用多个类别的机器学习描述符标记(labeling/tagging)这些视频片段。在一个方面，用于处理外科手术规程的执行手术期间录制的外科手术视频的方法包括以下步骤：接收与所述外科手术规程相关联的多组外科手术视频；接收所述外科手术规程的一组预定义阶段和为所述预定义阶段中的每个预定义阶段确定的一组机器学习描述符；对于每个所接收的外科手术视频，基于所述一组预定义阶段将所述外科手术视频分割成一组视频片段，并且对于给定预定义阶段的所述外科手术视频的每个片段，用所述给定预定义阶段的对应的一组机器学习描述符标注所述视频片段。

Description

面向机器学习的外科手术视频分析***
技术领域
本公开整体涉及构造外科手术视频分析工具，并且更具体地涉及用于将外科手术规程的外科手术病例视频分割成关键阶段以及从视频片段挖掘面向机器学习的外科手术数据以有利于改善外科医生的外科手术结果和技能的***、设备和技术。
背景技术
医学规程诸如外科手术的录制视频包含非常有价值的丰富信息，用于医学教育和培训、评估和分析外科医生的手术质量和技能、以及改善外科医生的外科手术结果和技能。有许多外科手术规程涉及显示和捕获外科手术规程的视频图像。例如，几乎所有微创规程(MIS)诸如内窥镜、腹腔镜检查和关节镜检查都涉及使用视频摄像机和视频图像来协助外科医生。此外，最先进的机器人辅助外科手术需要捕获手术中视频图像并显示在外科医生的监视器上。因此，对于许多前述外科手术规程，例如胃套管手术或胆囊切除术，已经存在大量外科手术视频，并且由于来自不同医院的许多不同外科医生执行的大量手术病例而持续产生外科视频手术。
存在特定外科手术规程的大量(并且不断增加的)外科手术视频的简单事实让给定规程的外科手术视频处理和分析成为潜在的机器学习问题。然而，对于挖掘这些外科手术视频以构建机器学习模型来评估和改善外科医生的外科手术规程结果和技能，当前尚未开展任何工作。
发明内容
在本专利公开中，公开了外科手术视频分析***的各种示例，该外科手术视频分析***将给定外科手术规程分解成关键阶段，确定每个阶段的临床需求，将这些临床需求转化为机器学习目标，并最终将这些机器学习目标整合到客户的各种产品特征中。在各种实施方案中，所公开的外科手术视频分析***可从给定外科手术规程的每个阶段确定各种机器学习目标，以满足与外科手术规程的每个阶段相关联的确定临床需求。所公开的外科手术视频分析***还可在这些机器学习目标之间建立关联关系以确定和输出针对机器学习的分类器。
在各种实施方案中，所公开的外科手术视频分析***还使用已建立的阶段将给定外科手术规程的外科手术视频分解成较短的视频片段，并且使用确定的机器学习目标将这些视频片段标记(label/tag)为不同的描述符类别，包括外科手术阶段、外科手术子阶段或任务、外科手术工具、解剖结构、并发症以及提示与技巧。此外，对于每个阶段，所公开的外科手术视频分析***可通过基于不同类型的描述符建立一组度量来建立给定阶段的不同描述符类别之间的关联关系，其中度量组可用于评估外科医生的技能和外科手术的质量。在对给定外科手术规程用不同描述符类别进行外科手术视频分割和标记(labeling/tagging)之后，所公开的视频分析***可为这些描述符各自创建独立数据库以进行视频内容检索。除分析和归档外科手术视频之外，所公开的视频分析***的一般概念可用于分析和挖掘来自其他技术领域的视频的数据、特征和事件，并且建立用于挖掘数据、特征和事件的独立数据库。
在一个方面，公开了一种用于处理使用外科机器人执行的某种外科手术规程的外科手术视频的方法。该方法可通过接收与外科手术规程相关联的多组外科手术视频开始。该方法另外接收外科手术规程的一组预定义阶段和为该组预定义阶段中的每个预定义阶段确定的一组机器学习描述符。接下来，对于每个接收的外科手术视频，该方法基于该组预定义阶段将外科手术视频分割成一组视频片段。对于给定预定义阶段的外科手术视频的每个片段，该方法用给定的预定义阶段的一组对应机器学习描述符来标注视频片段。最后，该方法将外科手术规程的带标注外科手术视频存储到一组可搜索的数据库中。
在一些实施方案中，从一组执行并录制外科手术规程的多组医生和医院收集外科手术视频。
在一些实施方案中，该方法通过检测在该组预定义阶段中分离两个连续阶段的阶段边界来将外科手术视频分割成一组视频片段。
在一些实施方案中，该方法通过检测手术工具的初次出现作为给定阶段开始的指示来检测阶段边界。
在一些实施方案中，该方法通过检测阶段边界来检测阶段边界包括在一组事件中检测给定事件作为给定阶段开始的指示。一组事件可包括：烧灼事件；出血事件；以及粘连事件。
在一些实施方案中，该方法还包括以下步骤：确定所检测到事件的严重程度；以及根据所确定的严重程度评估执行外科手术的外科医生的技能。
在一些实施方案中，该方法通过在视频片段的视频图像中标记对象来用对应的一组机器学习描述符标注视频片段，这些对象匹配对应的一组器学习描述符中的一个或多个机器学习描述符。
在一些实施方案中，该方法通过为属于该组预定义阶段中同一阶段的一组带标注视频片段创建单独的数据库来存储外科手术规程的带标注的外科手术视频。
在另一方面，公开了一种用于处理使用外科手术机器人执行的某种外科手术规程的外科手术视频的***。该***包括：一个或多个处理器；存储器，该存储器连接到一个或多个处理器；接收模块，用于接收和外科手术规程相关的多组外科手术视频、外科手术规程的一组预定义阶段和为该组预定义阶段中的每个预定义阶段确定的一组机器学习描述符。视频分割模块，用于基于该组预定义阶段将每个所接收的外科手术视频分割成一组视频片段；视频标注模块，用于用给定的预定义阶段的对应的一组机器学习描述符来标注给定预定义阶段的外科手术视频的每个片段；以及数据库生成模块，用于将外科手术的带标注的外科手术视频存储到一组可搜索的数据库中。
在又一方面，公开了一种用于确定给定类型外科手术规程的机器人外科手术视频中的机器学习目标的方法。该方法可首先定义外科手术规程的一组阶段，一组阶段中的每个阶段代表外科手术规程中的特定手术进程。接下来，对于一组阶段中的每个阶段，该方法确定一组临床需求，并且随后将该组临床需求映射到给定阶段的一组机器学习目标。该方法随后汇总机器学习目标组，以生成外科手术规程的机器学习目标的集合组。
在一些实施方案中，该方法还确定一组阶段中给定阶段内的一组子阶段，其中每个子阶段对应于完成外科手术的给定阶段所需的一组任务中的单个任务。
在一些实施方案中，阶段的一组临床需求包括以下中的一者或多者：警告潜在或发生的并发症；建议何时从微创(MIS)规程转换为开腹规程；提醒提供适用于给定阶段的外科手术步骤或检查清单；突出显示关键和/或敏感解剖结构；显示界标解剖平面和/或关键视图；突出显示基于类似的外科手术步骤的风险；以及协助执行手术中报告或文档记录。
在一些实施方案中，该方法通过接收多个类别的机器学习目标，将临床需求组映射到给定阶段的机器学习目标组，其中机器学习目标的每个类别包括类似性质的一组外科手术条目；以及针对机器学习目标的每个类别，确定满足临床需求组的机器学习目标类别中的机器学习目标的子集组。
在一些实施方案中，多个类别的机器学习目标包括以下中的一者或多者；一组解剖结构；一组手术任务/事件；一组并发症；以及一组提示与技巧。
在一些实施方案中，该方法还包括为外科手术规程的给定阶段建立机器学习目标组之间的一组关联关系的步骤。
附图说明
将通过查看以下具体实施方式和附图来理解本公开的结构和操作，其中类似的附图标号是指类似的部件，其中：
图1呈现的流程图示出根据本文所述的一些实施方案，用于建立机器学习目标以准备从给定外科手术规程的外科手术视频挖掘外科手术数据的示例性方法。
图2显示的图表示出根据本文所述的一些实施方案，用于分割和确定针对胃套管手术的机器学习目标组的示例性方法。
图3呈现的流程图示出根据本文所述的一些实施方案，基于外科手术规程的一组预定义阶段和确定的机器学习目标的外科手术规程的外科手术视频进行分割和挖掘示例性方法。
图4示出根据本文所述的一些实施方案外科手术规程的一组机器学习描述符和示例性临床反馈***之间的示例性关系。
图5显示根据本文所述的一些实施方案用于训练机器学习分类器以自动标记外科手术视频的示例性机器学习***的框图。
图6概念性地示出可用来实现主题技术的一些实施方案的计算机***。
具体实施方式
下文列出的具体实施方式旨在描述主题技术的各种配置，并且并非意在表示可实践主题技术的唯一配置。附图并入本文并构成具体实施方式的一部分。具体实施方式包括具体细节，以便透彻理解主题技术。然而，主题技术不限于本文列出的具体细节，并且可在没有这些具体细节的情况下实施。在一些情况下，结构和部件以框图形式示出，以避免模糊主题技术的概念。
医学规程诸如外科手术的录制视频包含非常有价值的丰富信息，用于医学教育和培训、评估和分析外科医生的外科手术质量和技能、以及改善外科医生的外科手术结果和技能。有许多外科手术规程涉及显示和捕获外科手术规程的视频图像。例如，几乎所有微创规程(MIS)诸如内窥镜、腹腔镜检查和关节镜检查都涉及使用视频摄像机和视频图像来协助外科医生。此外，最先进的机器人辅助外科手术需要捕获手术中视频图像并显示在外科医生的监视器上。因此，对于许多前述外科手术规程，例如胃套管手术或胆囊切除术，已经存在大量外科手术视频，并且由于来自不同医院的许多不同外科医生执行的大量手术病例而持续产生外科视频手术。存在特定外科手术规程的大量(并且不断增加的)外科手术视频的简单事实让给定规程的外科手术视频处理和分析成为潜在的机器学习问题。然而，对于挖掘这些外科手术视频以确定机器学习目标和构建机器学习模型来评估和改善外科医生的外科手术规程结果和技能，当前尚未开展任何工作。
本专利公开的目标之一是提供一种通用技术，用于分解任何给定外科手术规程中的外科手术病例视频(下文也称为“外科手术视频”、“外科手术规程视频”或“手术视频”)，并且随后在这些机器学习目标之间建立关联关系以确定机器学习分类器。为了实现该目标，本发明的外科手术视频分析***被设计成用于将外科手术视频分解成预定义阶段，确定每个阶段的临床需求，并且将这些临床需求转化成一组机器学习目标。更具体地讲，机器学习目标可分为包括但不限于外科手术阶段、外科手术子阶段或任务、外科手术工具、解剖结构、并发症以及提示与技巧的不同描述符类别。虽然所公开的***和技术通常借助一些特定外科手术规程(诸如胃旁路术、袖状胃减容术和胆囊切除术)进行描述，但本公开并非意在限于上述规程。一般来讲，所公开的***和技术适用于能够录制手术过程的任何外科手术规程。
在本专利公开中，公开了外科手术视频分析***的各种示例，该外科手术视频分析***将给定外科手术规程分解成关键阶段，确定每个阶段的临床需求，将这些临床需求转化为机器学习目标，并最终将这些机器学习目标整合到客户的各种产品特征中。在各种实施方案中，所公开的外科手术视频分析***可从给定外科手术规程的每个阶段确定各种机器学习目标，以满足与外科手术规程的每个阶段相关联的确定临床需求。所公开的外科手术视频分析***还可在这些机器学习目标之间建立关联关系以确定和输出针对机器学习的分类器。
在各种实施方案中，所公开的外科手术视频分析***还使用已建立的阶段将给定外科手术规程的外科手术视频分解成较短的视频片段，并且使用确定的机器学习目标将这些视频片段标记(label/tag)为不同的描述符类别，包括外科手术阶段、外科手术子阶段或任务、外科手术工具、解剖结构、并发症以及提示与技巧。此外，对于每个阶段，所公开的外科手术视频分析***可通过基于不同类型的描述符建立一组度量来建立给定阶段的不同描述符类别之间的关联关系，其中度量组可用于评估外科医生的技能和外科手术的质量。在对给定外科手术规程用不同描述符类别进行外科手术视频分割和标记(labeling/tagging)之后，所公开的视频分析***可为这些描述符各自创建独立数据库以进行视频内容检索。除分析和归档外科手术视频之外，所公开的视频分析***的一般概念可用于分析和挖掘来自其他技术领域的视频的数据、特征和事件，并且建立用于挖掘数据、特征和事件的独立数据库。
图1呈现的流程图示出根据本文所述的一些实施方案，用于建立机器学习目标以准备从给定外科手术规程的外科手术视频挖掘外科数据的示例性方法100。在一个或多个实施方案中，可省略、重复和/或以不同顺序执行图1中的步骤中的一个或多个。因此，图1所示步骤的具体布置不应理解为限制技术的范围。
方法100首先确定给定外科手术规程的多个临床需求(步骤102)。在一些实施方案中，临床需求之一包括将外科手术规程的外科手术视频分割成一组阶段。在一些实施方案中，为了满足将外科手术视频分割成一组阶段的临床需求，该方法首先定义外科手术规程的一组阶段。在一些实施方案中，一组预定义阶段中的每个阶段代表外科手术规程中的特定进程，该特定进程在整个外科手术规程中起到唯一且可区分的作用。在一些实施方案中，本文所述的给定外科手术视频具体地为外科手术规程的手术中期间记录。预定义的阶段组可最初基于公认和/或标准化操作规程来建立，该操作规程可从用于确定给定外科手术规程内的关键阶段的外科手术信息管理***(IMS)检索。如下文进一步所述，一组预定义阶段可用于将可能较长的视频中外科手术视频划分为一组较短的视频片段，并且每个视频片段对应于可与对应于外科手术规程中的其他进程的其他视频片段区分开来的外科手术规程中的特定进程。
需注意，将给定的外科手术规程分割成一组预定义阶段允许在准确理解给定阶段所涉及的功能和操作的情况下，一次一个阶段/进程地分析给定外科手术规程。在一些实施方案中，给定的预定义阶段可进一步分解成一组子阶段，其中每个子阶段对应于在给定预定义阶段内执行的一组任务中的单个任务。在此类实施方案中，可进一步将外科手术视频阶段片段分割成对应于与给定阶段关联的单个任务的甚至更小的片段。
使用胃套管外科手术(也称为“袖状胃减容术”、“胃套管手术”或“套管手术”)作为示例，该手术的示例性分解可包括以下关键阶段：(1)幽门的确定；(2)较大弯曲松解；(3)松解基底；(4)胃后解剖；(5)定位探条；(6)套管袋形成；(7)渗漏测试；以及(8)提取残胃。如上所述，上面列出的一些阶段还可包括多个任务，并且包括多个任务的给定阶段通常以一组有序的步骤执行以完成多个任务。例如，胃套管手术的较大弯曲松解阶段可进一步分解成与以下任务对应的多个子阶段：(1)进入小囊；(2)松解窦；以及(3)松解胃。又如，胃套管手术的松解基底阶段可进一步分解成与以下任务对应的多个子阶段：(1)松解基底；以及(2)分割胃血管。又如，胃后解剖阶段可进一步分解成与以下任务对应的多个子阶段：(1)松解胃贲门；以及(2)胃后解剖。
从数学角度来看，给定外科手术规程P和一组M个预定义阶段之间的关系可标识为P＝{P1,P2,P3,…,PM}，其中每个Pi(i＝1,…,M)为给定的预定义阶段。
在定义用于分割外科手术视频的一组阶段之后，方法100随后确定每个预定义阶段的一组临床需求。通常，给定阶段的一组临床需求指定事项检查清单，该检查清单是在外科手术规程的给定阶段内正确执行任务所必需的。使用上述胃套管手术作为示例，在手术的胃前解剖阶段以及就在胃切割任务之后，切割工具(例如，电灼工具)保持极热，并且附近器官的意外触碰可引起严重器官损伤。因此，在胃后解剖阶段，该组临床需求可随后包括“避免意外接触热工具”。使用胆囊切除术(即胆囊切除)作为另一个示例，该组预定义阶段可包括分离胆囊的“剪断胆囊管阶段”。在该阶段，如果不正确确定胆囊管的位置，操作将有意外切割、燃烧或损伤胆囊管附近的总胆管的风险。因此，剪断胆囊管阶段的一组临床需求可包括“确定胆囊管的正确位置”。
应当理解，对于阶段组中的每个预定义阶段，可生成一组唯一的临床需求，以指定正确执行预定阶段内任务以及改善外科手术结果所需的事项检查清单。因此，外科手术规程给定阶段的临床需求可由一组专业人员或关键意见领袖(KOL)指定，这些关键意见领袖其具有给定规程中所需的经验和知识水平，并且可能借助相关的知识数据库。当针对给定外科手术规程产生临床需求时，KOL可考虑每个阶段的因素的详细清单以及每个阶段中的每个任务，包括但不限于：(1)警告潜在或发生的并发症(例如，出血、器官损伤、管道损伤、渗漏风险)；(2)根据出血、粘连或其他并发症的严重性，建议何时从MIS手术转换为开腹规程；(3)协助客观测量；(4)提醒适用于给定的阶段/任务的外科步骤或检查清单；(5)突出显示关键的解剖结构；(6)显示诸如解剖平面或关键视图的手术界标；(7)敏感解剖结构，例如输尿管、神经和血管；(8)突出显示基于类似的临床场景的风险；(9)提供工具以在外科医生和外科医生辅助设备之间进行协调；以及(10)帮助进行手术中报告或文档记录。
重新参考图1，在针对该组预定义阶段各自确定临床需求之后，该方法定义各个类别的机器学习目标(MLT)(步骤104)。MLT的一个示例性组成部分可包括以下类别：(1)工具；(2)解剖结构；(3)手术任务/事件；(4)并发症；(5)度量；以及(6)提示与技巧。在一些实施方案中，与分割外科手术视频的临床需求相关联的一组预定义阶段也是机器学习目标(MLT)的类别，即阶段MLT。需注意，MLT类别的其他实施方案可具有比上述示例更少或更多的类别数目。
方法100接下来将每个阶段的确定临床需求映射到该阶段的多个类别MLT中的一组MLT(步骤106)。使用上述胃套管手术示例，为需要正确定位烧灼工具的胃后解剖阶段确定“避免意外接触热工具”的临床需求。因此，该临床需求可映射到工具类别中的特定外科手术工具。利用上述胆囊切除术示例，“确定胆囊管的正确位置”的临床需求可转换成解剖结构类别中的胆囊解剖。在一些实施方案中，步骤106还包括将与分割外科手术视频的临床需求相关联的一组预定义阶段映射到阶段MLT组。
需注意，不同于一般被指定为一组目标/关注点/警告的临床需求，通常可在外科手术视频的给定阶段片段内直接观察和分析MLT。此外，给定阶段的一组MLT可用于估计/评估外科手术阶段的质量以确定是否满足阶段的相关临床需求。在一些实施方案中，上述MLT的每个类别还可包括子类别。例如，工具类别可包括以下子类别：(1)工具检测；(2)工具确定；以及(3)工具跟踪。工具检测MLT涉及检测视频图像中的手术工具；工具确定MLT涉及将检测到的手术工具确定为特定手术工具；工具跟踪MLT涉及通过用于改变所确定工具的变化位置的视频图像序列来跟踪所确定的工具。因此，上述“避免意外接触热工具”的临床需求也可映射到工具跟踪MLT。
在步骤106之后，将给定的外科手术规程分解成一组阶段，并且每个阶段由一组MLT指定。使用胃套管手术作为示例，将方法100应用于该手术生成包括针对预先确定的阶段中每个的多个类别MLT的输出。例如，套管袋形成阶段可包括解剖类别，该类别包括以下确定的MLT：幽门、较大的弯曲、较小的弯曲、角切迹和窦；较大弯曲松解阶段可包括并发症类别，该类别包括以下确定的MLT：出血；缝合器卡住；器官损伤；血管损伤、粘连、分割胃血管出血、跨胃管缝合、以及仪器故障；松解基底阶段可包括工具类别，该类别包括以下MLT：谐波工具；射频工具、Caman工具、抓紧器、包括缝钉负荷选择的缝合器、牵开器、测量带和施夹器。
在一些实施方案中，在确定阶段组的MLT组之后，方法100还建立外科手术规程的给定阶段的各种MLT之间的关联关系(步骤108)。这些关联关系指定来自同一阶段的不同MLT类别的MLT可如何彼此关联。例如，给定阶段的给定任务MLT和/或给定工具MLT通常可与该阶段确定的特定并发症MLT相关联。又如，给定阶段的一组度量MLT中的给定度量MLT通常与该阶段确定的工具/解剖结构/任务MLT中的至少一者相关联。在一些实施方案中，在机器学习模型训练操作期间，给定阶段的各种MLT之间的这些关联关系可用于描述不同的输出类和下面的子类。
图2显示的图表示出根据本文所述的一些实施方案，用于分割和确定针对胃套管手术的机器学习目标组的示例性方法。如图2中可见，胃套管手术200被分解成8个阶段，即第1阶段：幽门的确定；第2阶段：较大弯曲松解；第3阶段：松解基底；第4阶段：胃后解剖；第5阶段：定位探条；第6阶段：套管袋形成；第7阶段：渗漏测试；以及第8阶段：提取残胃。图2还示出第2阶段与六个类别的MLT相关联，即工具202；解剖结构204；手术任务206；并发症208；度量210；以及提示与技巧212。由于观察区域的约束，未明确示出胃套管手术200的其他阶段的确定MLT。然而，下面列出了用于胃套管手术200第1-6阶段的MLT的示例性组成部分。
第1阶段：幽门的确定
■解剖结构MLT：
·幽门；
■度量MLT：
·是否确定幽门？(是/否)(OM)；
第2阶段：较大弯曲松解
■工具MLT；
·谐波；
·射频；
·Caman；
·抓紧器；
·缝合器；
·牵开器；
·测量带；
·施夹器；
■解剖结构MLT：
·肝脏；
·左小腿；以及
·网膜；
■外科手术任务MLT：
·进入小囊；
·松解窦；以及
·松解胃；
■并发症MLT：
·出血；
·缝合器卡住；
·血管损伤；
·粘连；
·器官损伤；
·分割胃血管出血；
·跨胃管缝合；以及
·仪表故障；
■度量MLT：
·脾门是否出血(是/否)(OM)；
·是否确定幽门？(是/否)(OM)；以及
·是否使用了施夹器？(是/否)(OM)(推断)；■提示与技巧MLT：
·如果太多粘连，→则先形成袋。
第3阶段：松解基底
■工具MLT；
·谐波；
·射频；
·Caman；
·抓紧器；
·缝合器；
·牵开器；
·测量带；
·施夹器；
■解剖结构MLT：
·左小腿；
■手术任务MLT：
·分割胃血管；
■并发症MLT：
·出血；
·缝合器卡住；
·血管损伤；
·粘连；
·器官损伤；
·分割胃血管出血；
·跨胃管缝合；以及
·仪表故障；
■度量MLT：
·是否出血(是/否)(推断)(OM)；
·是否使用了施夹器？(是/否)(推断)(OM)；以及
·左小腿是否充分显示？(是/否)(SM)；
第4阶段：胃后解剖
■手术任务MLT：
·胃贲门的松解；
■度量MLT：
·胃后是否充分解剖(是/否)(SM)；
第5阶段：定位探条
■工具MLT；
·谐波；
·射频；
·Caman；
·抓紧器；
·缝合器；
·牵开器；
·测量带；
·施夹器；
■解剖结构MLT：
·幽门在视图中；以及
·胃在视图中；
■并发症MLT：
·出血；
·缝合器卡住；
·血管损伤；
·粘连；
·器官损伤；
·分割胃血管出血；
·跨胃管缝合；以及
·仪表故障；
■度量MLT：
·探条直径是否测量(是/否)(推断)(OM)；
·出血？(是/否)(推断)(OM)；以及
·是否使用了施夹器？(是/否)(推断)(OM)；
第6阶段：套管袋形成
■工具MLT；
·谐波；
·射频；
·Caman；
·抓紧器；
·缝合器；
·牵开器；
·测量带；
·施夹器；
■解剖结构MLT：
·幽门；
·较大弯曲；
·较小弯曲；以及
·窦；
■并发症MLT：
·出血；
·缝合器卡住；
·血管损伤；
·粘连；
·器官损伤；
·分割胃血管出血；
·跨胃管缝合；以及
·仪表故障；
■度量MLT：
·是否使用了护缝器？(是/否)(OM)；
·是否使用了组织/纤维蛋白胶？(是/否)(OM)；
·是否过度缝合钉线？(是/否)(OM)；
·击发的钉数目(OM)；
·与幽门之间的距离(OM)；
·探条尺寸(OM)；
·距角切迹的距离(OM)；
·距GE接合点的距离(OM)；
·最后钉线-是否可清晰看到缝合器(OM)；
·钉线-是否呈螺旋形(是/否)(OM)；
·钉线-是否出血(是/否)(OM)；
·钉线-是否变形(是/否)(OM)。
需注意，对于MLT的度量类别，MLT可分为客观度量(OM)和主观度量(SM)。例如，在第3阶段-松解基底，前两个度量MLT是OM，最后一个MLT是SM。需注意，在上述示例性MLT列表中，第7-8阶段没有关联的MLT。
图3呈现的流程图示出根据本文所述的一些实施方案，基于外科手术规程的一组预定义阶段和确定的机器学习目标的外科手术规程的外科手术视频进行分割和挖掘示例性方法300。在一个或多个实施方案中，可省略、重复和/或以不同顺序执行图3中的步骤中的一个或多个。因此，图3所示步骤的具体布置不应理解为限制技术的范围。方法300首先收集给定外科手术规程的多组外科手术视频(步骤302)。在一些实施方案中，从一组执行并录制外科手术规程的多组医生和/或医院和机构收集外科手术视频(并且可能是从在不同国家执行的外科手术规程收集)。方法300随后整理收集的视频以从视频中删除受保护的健康信息(PHI)，从而确定视频数据(步骤304)。在一些实施方案中，方法300还可处理收集的视频以完全对视频数据进行匿名处理。
方法300还接收外科手术规程的一组预定义阶段(步骤306)。上文结合图1描述了确定外科手术规程的一组预定义阶段的一些实施方案。接下来，基于该组预定义阶段，方法300将收集的一组外科手术视频中的每个外科手术视频分割成一组视频片段，其中每个视频片段对应于该组预定义阶段中的给定阶段(步骤308)。在一些实施方案中，该组预定义阶段的两个连续阶段可通过外科手术视频中的可确定“阶段边界”分离，该“阶段边界”指示外科手术规程中当前阶段的结束和下个阶段的开始。例如，阶段边界可由外科手术视频中的一个或多个视频图像构成，其中特定外科手术工具在外科手术规程期间第一次进入视图。因此，分割外科手术视频可涉及检测外科手术视频中的这些阶段边界，例如通过检测特定外科手术工具的外观来分割。
有时可通过解释视频图像中所示的动作、事件、工具、解剖结构和并发症的音频讲述来对给定外科手术视频进行补充。音频讲述可于正在进行外科手术规程时实时添加到视频中(例如作为教导演示)，或者可在出于教学目的而回顾或说明视频时于后期添加音频讲述。此外，可将音频讲述转录为相关视频帧中的文本/字幕。然而，在一些实施方案中，视频可在没有随附音频讲述的情况下以文本/字幕标注。在一些实施方案中，外科手术视频内的这些文本标注和/或音频讲述可用于确定阶段边界，并且有利于将外科手术视频分割成预定义阶段。
给定外科手术规程的外科手术视频通常包含多个事件。一些常见的事件包括：电灼期间的外科烟雾；出血；以及粘连。例如，视图中外科烟雾连同钩(单极性、双极性或类似的烧灼工具)一起，通常为外科手术规程的解剖阶段的有力指示。因此，可使用烟雾检测与工具和解剖结构检测的组合来确定视频当前显示的是外科手术规程预定义阶段中的哪一个，从而有利于外科手术视频分割操作。下文提供了使用事件检测进行外科手术视频分析的其他应用。
在一些实施方案中，分割外科手术视频可包括基于为外科手术规程建立的MLT直接确定预定义阶段的开始。更具体地讲，可用于确定预定义阶段开始的MLT可包括工具、解剖结构和上述项目的组合。例如，在胃套管手术中，当凸起开始出现在视频帧中并且开始在视频帧中从胃向下移动时，可容易地确定探条定位阶段(即第5阶段)的开始。在这种情况下，可基于工具MLT检测探条定位阶段的开始。又如，当在视频帧中检测到缝合器时，可轻松确定套管袋形成阶段(即第6阶段)的开始。在这种情况下，基于工具MLT再次检测到套管袋形成阶段的开始。
需注意，将所收集的外科手术视频中的每一个分割成一组预定义阶段，从而允许在准确理解处理的视频片段内容的情况下，一次一个阶段/进程地分析这些外科手术视频。在一些实施方案中，给定的预定义阶段可进一步分解成子阶段组，其中每个子阶段对应于在给定预定义阶段内执行的一组任务中的单个任务。在此类实施方案中，可进一步将外科手术视频阶段片段分割成对应于与给定阶段关联的一组任务的甚至更小的片段。
在分割外科手术视频之后，方法300接下来用外科手术规程内为预定义阶段确定的对应MLT组来标注一组视频片段的每个片段(步骤310)。在一些实施方案中，标注视频片段涉及使用视频标注软件来手动标记(label或tag)图像对象(诸如视频片段的视频图像中所示的与对应MLT组中的一个或多个MLT匹配的工具、解剖结构、事件、并发症)的人类标注者。如图3所示，对所收集的一组外科手术视频中的每个视频重复步骤308至310。
在一些实施方案中，步骤308至310可作为组合的标注操作共同执行，而不是以上述顺序分两个步骤执行。在这些实施方案中，将外科手术规程视频分割成一组预定义阶段作为总体标注操作的一部分处理，其中该组预定义阶段为机器学习目标/标签，用于确定和标注/标记阶段片段。此外，在每个标注/标记的阶段片段内，可执行总体标注操作的另一部分来确定和标记非阶段MLT，诸如特定工具、解剖结构、事件和并发症等。因此，在这些实施方案中，将外科手术规程视频分割成一组预定义的阶段可被视为总体标注操作的时间标注部分，并且确定和标记每个阶段片段中的其他MLT可被视为总体标注操作的空间标注部分。
需注意，当已标记给定外科手术病例视频时，可使用带标记的视频来评估执行记录的手术的外科医生的技能。同样，在标记给定病例视频之后，将Pi表示为给定外科手术规程P的一组预定义阶段中的预定义阶段i，带标记的MLT可如下表示：
·Ti：对应于阶段Pi的一组带标记的工具；
·Ai：对应于阶段Pi的一组带标记的解剖结构；
·STi：对应于阶段Pi的一组带标记的手术任务/事件；
·Ci：对应于STi、Ti和Pi的一组带标记的并发症的集合；
·TTi：对应于阶段Pi的一组带标记的提示与技巧；以及
·Mi：对应于STi、Ti、Ci和Pi的一组所有客观和主管度量。
需注意，Mi可用于生成阶段Pi的技能分数Si。此外，录制的外科手术的整个过程(以及执行外科手术的外科医生)的总体技能分数S可评估为一组预定义阶段的所有阶段的Mi的集合：
对于所有Pi，S＝集合{Mi}。
在标记(labeling或tagging)所收集的视频之后，方法300将给定外科手术规程的带标注外科手术视频存储到基于内容的视频搜索和检索的可搜索数据库中(步骤312)。在一些实施方案中，通过将属于不同阶段的带标注视频片段分离到不同数据库中，为该组预定义阶段中的每个阶段创建独立数据库。在一些实施方案中，通过将属于不同MLT的带标注视频片段分离到不同数据库中，为给定外科手术规程的一组确定的MLT中的每个MLT创建独立数据库。需注意，随着时间的推移，可用与带标记的分割视频相同的方式构造许多不同外科手术规程的大型可搜索数据库。使用这些数据库，可基于各种标记的描述符(诸如阶段/子阶段、解剖结构、事件、并发症、工具以及提示与技巧)来查询许多外科手术规程中的所需外科手术规程的视频图像数据。
在一些实施方案中，在基于确定的机器学习目标建立外科手术规程的机器学习目标并处理外科手术规程的外科手术视频之后，可为外科手术规程构建外科手术信息管理***。在一些实施方案中，该信息管理***可用于以下目的：(1)分割外科手术规程的其他外科手术视频；(2)作为外科手术规程的可搜索数据库，用作未来外科手术的参考；以及(3)检测和存储从外科手术规程的外科手术病例视频检测到的外科手术事件和异常解剖结构。
需注意，在建立外科手术规程的一组预定义阶段和机器学习目标之后，可基于一组机器学习描述符来指定外科手术规程。在一些实施方案中，一组机器学习描述符由一组预定义阶段和上述五个类别的MLT组成，即外科手术任务、工具；解剖结构；并发症；以及提示与技巧，但不包括度量MLT。这是因为通常不能在视频图像内直接观察到度量MLT。然而，度量MLT可衍生自其他五个类别的MLT。需注意，在分割和标记外科手术视频之后，可将从带标记的外科手术视频提取的特定值分配给一组机器学习描述符。本发明的外科手术规程分析***的另一个应用是基于上述一组机器学习描述符构建临床反馈***。
图4示出根据本文所述的一些实施方案外科手术规程的一组机器学习描述符402和示例性临床反馈***420之间的示例性关系。如图4中可见，一组机器学习描述符402包括一组阶段404、一组子阶段/任务(MLT)406、一组解剖结构(MLT)408、一组并发症(MLT)410、一组工具(MLT)412以及一组提示与技巧(MLT)414。临床反馈***420包括被配置成用于捕获每个外科手术阶段404和每个子阶段/任务406的持续时间的持续时间捕获模块422。临床反馈***420包括被配置成基于与一组并发症410相关联的值来捕获外科手术规程结果的结果捕获模块424。临床反馈***420还包括被配置成基于一组并发症410、一组工具412和一组解剖结构408的值来捕获所生成外科手术规程的度量值和技能分数的度量/分数捕获模块426。临床反馈***420还包括被配置成基于一组工具412的值确定外科手术工具使用信息的工具及耗材监视器模块428。需注意，持续时间捕获模块422、结果捕获模块424、度量/分数捕获模块426和工具及耗材监视器模块428中的每一者可接收或捕获一组提示与技巧(MLT)414。基于由一组模块422至428捕获或接收的值，临床反馈***420可为外科手术规程的阶段404和/或任务406中的每个生成分数和/或总体评价。
在上述讨论中，我们提到事件检测，诸如电烧灼烟雾、出血和粘连，可用作外科手术病例视频分割的工具。需注意，这些事件可在捕获外科手术病例视频时实时检测，并且在回顾和分析所录制的外科手术病例视频时离线检测。当事件检测实时发生时，即使仍在录制外科手术规程，也可向实时视频的相关部分加书签。
除上述视频分割应用之外，外科手术事件检测还可具有以下应用：(1)针对外科手术规程真实病例的技能评估；以及(2)针对外科手术规程真实病例的结果分析。更具体地讲，特定检测到的事件可用于增强/调节技能分数和结果分析。
例如，如果烧灼工具处于视图中，但在持续的时间段内未检测到烟雾，则可能表示由于一些意外事件导致规程中的延迟。如果存在烟雾，但不能看到烧灼工具，则可能指示工具头部在屏幕外并且外科医生不小心烧灼了一些组织。上述事件的检测可导致技能分数下调。此外，烧灼烟雾的强度可为外科医生的认真程度和/或技能水平的指示。在一些实施方案中，烧灼事件可用作任何给定外科手术规程中解剖步骤的内容检索的标记。
需注意，给定外科手术规程的特定阶段期间的出血事件的检测可为潜在并发症的指示。在一些实施方案中，此类事件的检测可用于触发管理技术的实时建议和/或向执行规程的外科医生提供提示/技巧。此外，可使用出血事件的时间戳、位置和数量来进行技能评估。需注意，出血事件也可用于结果分析。在一些实施方案中，外科手术规程特定阶段中的出血事件可用作视频内容检索的标记以及用于为教学目的创建视频剪辑。
根据在规程的哪个阶段检测到这些事件以及结合哪个解剖结构，粘连事件可用于触发管理技术和/或转换到开腹规程的实时建议。需注意，粘连事件可用于结果分析。在一些实施方案中，粘连事件也可用作视频内容检索的标记。
需注意，本发明所公开的外科手术视频分析***可生成给定外科手术规程的大量带标注的视频图像。这些带标注视频数据包括准确标记的图像对象，诸如工具、解剖结构、任务和并发症，它们本身成为受监督学习问题的训练数据。因此，这些带标注视频可用于训练机器学习分类器以自动检测和确定不同的MLT。例如，可构建一个机器学习分类器以区分和分类胃套管手术的松解基底阶段涉及的不同工具。可以建另一个机器学习分类器以区分和分类胃套管手术的套管袋形成阶段涉及的不同解剖结构。可构建另一个更精密的机器学习模型来区分和分类胃套管手术的套管袋形成阶段涉及的不同工具和解剖结构。可随将受过训练的模型应用于相同外科手术规程的无标记视频片段，以执行自动对象检测和标记。自动标记的视频片段可用作改进机器学习模型的另外训练数据。
图5示出了根据本文所述的一些实施方案用于自动标记外科手术视频的训练机器学习分类器的示例性机器学习***500的框图。如图5中可见，机器学习***500包括以所示顺序串联连接的视频收集子***502、视频整理子***504、时间标记子***506、空间标记子***508和模型训练子***510。
在所示的实施方案中，视频收集子***502收集来自各种来源512的特定外科手术规程的一大组原始外科手术视频514。视频源的多样性对于后续模型训练方法可能是有益的。在一些实施方案中，视频源512中的多样性可通过作为原始外科手术视频514的资源的不同医生数量、不同医院和机构数量、以及可能不同国家数量来测量和控制。在一些实施方案中，视频整理子***504被配置成预处理原始外科手术视频514以删除给定原始外科手术视频的特定部分(例如，非手术中部分)，以及还从给定原始外科手术视频中删除PHI信息，以生成经整理的外科手术视频516。在一些实施方案中，时间标记子***506被配置成接收经整理的外科手术视频516和用于指定一组预定义外科手术阶段的一组阶段描述符，并且基于该组阶段描述符对经整理的外科手术视频516执行阶段检测和视频分割，以将每个外科手术视频分解成一组阶段片段。需注意，时间标记子***506可对经整理的外科手术视频516以全手动操作、全自动操作或手动和自动操作组合的方式执行前述阶段检测和视频分割。时间标记子***506随后输出对应于所接收的一组阶段描述符的每个经整理的外科手术视频516的一组视频片段518。接下来，空间标记子***508被配置成接收每个经整理的外科手术视频516的一组视频片段518和为单个视频片段518建立的已建立一组机器学习描述符。空间标记子***508被配置成，例如以部分自动的方式在人类标注者的帮助下，用一组对应的已建立机器学习描述符对每个经整理的外科手术视频516的每个视频片段518执行标记(tagging/labeling)，并且生成带标记的视频片段520作为输出。
如图5所示，时间标记子***506和空间标记子***508均可从外科手术视频分析***530接收已建立机器学习描述符，其自身可以是或不是机器学习***500的一部分。上文结合图1至4描述了外科手术视频分析***530的一些实施方案。更具体地讲，时间标记子***506从外科手术视频分析***530接收用于确定和标记(tagging/labeling)经整理的外科手术视频516中不同阶段片段的一组阶段描述符532，使得每个视频片段518对应于与该组阶段描述符532中给定阶段描述符相关联的特定外科手术阶段。此外，空间标记子***508接收多组机器学习描述符534，诸如工具、解剖结构、事件和并发症，用于确定和标记(tagging/labeling)不同视频片段518内的各种工具、解剖结构、事件和并发症，并且生成带标记的视频片段520。
接下来，模型训练子***510被配置成将带标记的视频片段520作为输入接收并且基于带标记的视频片段520训练各种机器学习分类器。需注意，模型训练子***510生成受过训练的机器学习分类器522作为输出，该输出可包括与阶段描述符532相关联的受过训练的阶段分类器和与机器学习描述符534相关联的受过训练的机器学习分类器。受过训练的机器学习分类器522被反馈回时间标记子***506和空间标记子***508两者。在一些实施方案中，时间标记子***506可使用受过训练的阶段分类器来帮助手动或自动阶段检测和经整理的外科手术视频516的标记，以迭代地生成视频片段518的更精确阶段边界。在一些实施方案中，空间标记子***508可使用受过训练的机器学习分类器522来执行自动对象(例如，外科手术工具或解剖结构)检测以及视频片段518内的标记。这些自动标记的对象可用作模型训练子***510的附加训练数据以迭代地改善受过训练的机器学习分类器522的准确性。
图6概念性地示出可用来实现主题技术的一些实施方案的计算机***。计算机***600可为客户端、服务器、计算机、智能电话、PDA、膝上型电脑、或具有嵌入其中或连接到其上的一个或多个处理器的平板电脑、或任何其他类型的计算设备。此类计算机***包括各种类型的计算机可读介质以及用于各种其他类型计算机可读介质的接口。计算机***600包括总线602、处理单元612、***存储器604、只读存储器(ROM)610、永久存储设备608、输入设备接口614、输出设备接口606和网络接口616。
总线602共同表示可通信地连接计算机***600的许多内部设备的所有***、***设备和芯片组总线。例如，总线602可通信地将处理单元612与ROM 610、***存储器604和永久存储设备608连接。
处理单元612从这些各种存储器单元检索要执行的指令和要处理的数据以执行本专利公开中结合图1至5所述的各种方法，包括上述方法，这些方法包括建立机器学习目标、分割和挖掘不同外科手术规程的外科手术视频、以及训练机器学习分类器以自动标记外科视频。处理单元612可包括任何类型的处理器，包括但不限于微处理器、图形处理单元(GPU)、张量处理单元(TPU)、智能处理器单元(IPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)和特定于应用的集成电路(ASIC)。
处理单元612在不同的具体实施中可为单处理器或多核处理器。
ROM 610存储处理单元612和计算机***的其他模块所需的静态数据和指令。另一方面，永久存储设备608为读写存储器设备。即使计算机***600关闭，该设备也是存储指令和数据的非易失性存储器单元。本主题公开的一些具体实施使用海量存储设备(诸如磁盘或光盘及其对应的磁盘驱动器)作为永久性存储设备608。
其他具体实施使用可移除的存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)作为永久存储设备608。与永久存储设备608类似，***存储器604为读写存储器设备。然而，与存储设备608不同，***存储器604为易失性读写存储器，诸如随机存取存储器。***存储器604存储处理器在运行时需要的一些指令和数据。在一些具体实施中，本专利公开中结合图1至5描述的各种方法，包括建立机器学习目标、分割和挖掘不同外科手术规程的外科手术视频、以及训练机器学习分类器以自动标记外科手术视频的方法，存储在***存储器604、永久存储设备608和/或ROM 610中。通过这些各种存储器单元，处理单元612检索要执行的命令和要处理的数据以执行一些具体实施的方法。
总线602还连接到输入设备接口614和输出设备接口606。输入设备接口614使用户能够向计算机***传送信息并选择命令。用于输入设备接口614的输入设备包括例如字母数字键盘和指向设备(也称为“光标控制设备”)。输出设备接口606实现例如由计算机***600生成的图像的显示。用于输出设备接口606的输出设备包括例如打印机和显示设备，诸如阴极射线管(CRT)或液晶显示器(LCD)。一些具体实施包括的设备同时用作输入和输出设备，诸如触摸屏。
最后，如图6所示，总线602还通过网络接口616将计算机***600连接到网络(未示出)。这样，计算机可为计算机网络的一部分(例如局域网(“LAN”)、广域网(“WAN”)或内部网或万网之网(诸如互联网))。计算机***600的任何或所有部件可结合本主题公开一起使用。
结合本专利公开所公开的实施方案描述的各种示例性逻辑块、模块、电路和算法步骤可实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上文已按照其功能总体上描述了各种示例性部件、区块、模块、电路和步骤。这种功能是实现为硬件还是软件取决于对总体***施加的特定应用和设计限制。技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是这种实现决策不应解释为导致背离本公开的范围。
结合本文所公开的各方面描述的用于实现各种示例性逻辑、逻辑块、模块和电路的硬件可使用被设计成执行本文所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、分立门或晶体管逻辑、分立硬件部件或它们的任何组合来实现或执行。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实现为接收器设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP核的结合、或任何其他此类配置。另选地，一些步骤或方法可由特定于给定功能的电路来执行。
在一个或多个示例性方面，功能可通过硬件、软件、固件或它们的任何组合实现。如果通过软件实现，则功能可存储为非暂态计算机可读存储介质或非暂态处理器可读存储介质上的一个或多个指令或代码。本文所公开的方法或算法的步骤可通过可驻留在非暂态计算机可读存储介质或处理器可读存储介质上的处理器可执行指令实现。非暂态计算机可读或处理器可读存储介质可为可由计算机或处理器访问的任何存储介质。举例但非限制地来说，此类非暂态计算机可读介质或处理器可读介质可包括RAM、ROM、EEPROM、闪存存储器、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备、或者能够用于以指令或数据结构形式存储所需程序代码并能够由计算机访问的任何其他介质。本文所用的磁盘和盘包括压缩盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软盘和蓝光盘，其中“磁盘”通常通过磁性再现数据，而“盘”通过激光光学地再现数据。上述的组合也应包括在非暂态计算机可读介质和处理器可读介质的范围内。另外，方法或算法的操作可作为代码和/或指令中的一个或任意组合或集驻留在非暂态处理器可读存储介质和/或计算机可读存储介质上，这些代码和/或指令可并入计算机程序产品。
尽管本专利文档包含许多具体细节，但这些细节不应被理解为限制任何所公开的技术的范围或可能受权利要求保护的内容，而是作为可能特定于具体技术的具体实施方案的特征的描述。本专利文档中在单独实施方案的上下文中描述的某些特征也可在单个实施方案中组合实现。相反，在单个实施方案的上下文中描述的各种特征也可单独地或以任何合适的子组合在多个实施方案中实现。此外，虽然在上文可能将特征描述为以特定组合作用，甚至最初因此受权利要求书保护，来自受权利要求书保护组合的一个或多个特征可在一些情况下从组合中去除，并且受权利要求书保护的组合可针对子组合或子组合的变型。
类似地，尽管在附图中以特定顺序示出操作，但这不应理解为需要以所示特定顺序或按顺序执行此类操作，或者执行所有示出的操作，以实现期望的结果。此外，在本专利文档中描述的实施方案中的各种***部件的分离不应理解为在所有实施方案中需要此类分离。
仅描述了一些具体实施和示例，并且可基于本专利文档中描述和说明的内容来进行其他具体实施、增强和变型。

Claims (20)

1.一种用于处理使用外科手术机器人执行的某种外科手术规程的外科手术视频的计算机实现的方法，所述方法包括：
接收与所述外科手术规程相关联的多组外科手术视频；
接收所述外科手术规程的一组预定义阶段和为所述一组预定义阶段中的每个预定义阶段确定的一组机器学习描述符；
对于每个所接收的外科手术视频，
基于所述一组预定义阶段将所述外科手术视频分割成一组视频片段；以及
对于给定预定义阶段的所述外科手术视频的每个片段，用所述给定的预定义阶段的一组对应机器学习描述符来标注所述视频片段；以及
将所述外科手术规程的所述带标注外科手术视频存储到一组可搜索的数据库中。
2.根据权利要求1所述的计算机实现的方法，其中接收所述多组外科手术视频包括从执行并录制所述外科手术规程的多组医生和医院收集所述外科手术视频。
3.根据权利要求1所述的计算机实现的方法，其中基于所述一组预定义阶段将所述外科手术视频分割成所述一组视频片段包括检测分离所述一组预定义阶段中的两个连续阶段的阶段边界。
4.根据权利要求3所述的计算机实现的方法，其中检测所述阶段边界包括检测外科手术工具的初次出现作为给定阶段开始的指示。
5.根据权利要求3所述的计算机实现的方法，其中检测所述阶段边界包括在一组事件中检测给定事件作为给定阶段开始的指示。
6.根据权利要求5所述的计算机实现的方法，其中所述一组事件包括
烧灼事件；
出血事件；以及
粘连事件。
7.根据权利要求5所述的计算机实现的方法，其中所述方法还包括：
确定所述检测到的事件的严重程度；以及
基于所述所确定的严重程度评估执行所述外科手术的外科医生的技能。
8.根据权利要求1所述的计算机实现的方法，其中使用所述对应的一组机器学习描述符标注所述视频片段包括在所述视频片段的视频图像中标记对象，所述对象匹配所述对应的一组机器学习描述符中的一个或多个机器学习描述符。
9.根据权利要求1所述的计算机实现的方法，其中将所述外科手术规程的所述带标注的外科手术视频存储到一组可搜索的数据库中包括为属于所述一组预定义阶段中同一阶段的一组带标注的视频片段创建单独的数据库。
10.一种用于处理使用外科手术机器人执行的某种外科手术规程的外科手术视频的***，所述***包括：
一个或多个处理器；
存储器，所述存储器连接到所述一个或多个处理器；
接收模块，所述接收模块被配置成：
接收与所述外科手术规程相关联的多组外科手术视频；并且
接收所述外科手术规程的一组预定义阶段和为所述预定义阶段中的每个预定义阶段确定的一组机器学习描述符；
视频分割模块，所述视频分割模块被配置成基于所述一组预定义阶段将每个所接收的外科手术视频分割成一组视频片段；
视频标注模块，所述视频标注模块被配置成针对每个所接收的外科手术视频的按预定义阶段分割的每个片段，用所述给定预定义阶段的一组对应机器学习描述符来标注所述视频片段；以及
数据库生成模块，所述数据库生成模块被配置成将所述外科手术规程的所述带标注的外科手术视频存储到一组可搜索的数据库中。
11.根据权利要求10所述的***，其中所述视频分割模块被配置成通过检测所述一组预定义阶段中分离两个连续阶段的阶段边界来将外科手术视频分割成所述一组视频片段。
12.根据权利要求11所述的***，其中所述视频分割模块还被配置成通过检测外科手术工具的初次出现或一组事件中的给定事件来检测所述阶段边界作为给定阶段开始的指示。
13.根据权利要求10所述的***，其中所述视频标注模块被配置成在所述视频片段的所述视频图像中通过标注对象来标注所述视频片段，所述对象匹配所述对应的一组机器学习描述符中的一个或多个机器学习描述符。
14.根据权利要求10所述的***，其中所述数据库生成模块被配置成对属于所述一组预定义阶段中同一阶段的一组带标注的视频片段创建单独的数据库。
15.一种用于确定给定类型外科手术规程的机器人外科手术视频中的机器学习目标的计算机实现的方法，所述方法包括：
定义所述外科手术规程的一组阶段，所述一组阶段中的每个阶段代表所述外科手术规程中的特定手术进程；
对于所述一组阶段中的每个阶段，
确定一组临床需求；以及
将所述一组临床需求映射到所述给定阶段的一组机器学习目标；以及
汇总所述一组机器学习目标，以生成所述外科手术规程的机器学习目标的集合组。
16.根据权利要求15所述的计算机实现的方法，其中所述方法还包括确定所述一组阶段中给定阶段内的一组子阶段，其中每个子阶段对应于完成所述外科手术规程的所述给定阶段所需的一组任务中的单个任务。
17.根据权利要求15所述的计算机实现的方法，其中所述阶段的所述一组临床需求包括下列中的一者或多者：
警告潜在或发生的并发症；
建议何时从微创(MIS)规程转换为开腹规程；
提供适用于所述给定阶段的外科手术步骤或检查清单的提醒；
突出显示关键和/或敏感解剖结构；
显示界标解剖平面和/或关键视图；
突出显示基于类似的外科手术步骤的风险；以及
协助执行手术中报告或文档记录。
18.根据权利要求15所述的计算机实现的方法，其中将所述一组临床需求映射到所述给定阶段的所述一组机器学习目标包括：
接收多种类别的机器学习目标，其中每个类别的机器学习目标包括具有类似性质的一组外科手术条目；以及
针对机器学习目标的每个类别，确定满足所述一组临床需求的所述机器学习目标类别中的机器学习目标的子集组。
19.根据权利要求18所述的计算机实现的方法，其中所述多个类别的机器学习目标包括以下中的一者或多者：
一组外科手术工具；
一组解剖结构；
一组外科手术任务/事件；
一组并发症；以及
一组提示与技巧。
20.根据权利要求15所述的计算机实现的方法，其中所述方法还包括建立所述外科手术规程的所述给定阶段的所述一组机器学习目标之间的一组关联关系。
CN201880001594.4A 2018-05-23 2018-06-07 面向机器学习的外科手术视频分析*** Pending CN110996748A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/987,782 2018-05-23
US15/987,782 US11205508B2 (en) 2018-05-23 2018-05-23 Machine-learning-oriented surgical video analysis system
PCT/US2018/036452 WO2019226182A1 (en) 2018-05-23 2018-06-07 Machine-learning-oriented surgical video analysis system

Publications (1)

Publication Number Publication Date
CN110996748A true CN110996748A (zh) 2020-04-10

Family

ID=68613475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001594.4A Pending CN110996748A (zh) 2018-05-23 2018-06-07 面向机器学习的外科手术视频分析***

Country Status (5)

Country Link
US (2) US11205508B2 (zh)
EP (1) EP3796827A4 (zh)
JP (1) JP7074893B2 (zh)
CN (1) CN110996748A (zh)
WO (1) WO2019226182A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753790A (zh) * 2020-07-01 2020-10-09 武汉楚精灵医疗科技有限公司 一种基于随机森林算法的视频分类方法
CN112818959A (zh) * 2021-03-25 2021-05-18 杭州海康威视数字技术股份有限公司 手术流程识别方法、装置、***及计算机可读存储介质
CN113630658A (zh) * 2021-07-23 2021-11-09 重庆天如生物科技有限公司 一种用于胃肠镜视频图像数据收集、标注的***和方法
CN113662664A (zh) * 2021-09-29 2021-11-19 哈尔滨工业大学 一种基于仪器追踪的外科手术质量客观自动化评估方法
TWI778900B (zh) * 2021-12-28 2022-09-21 慧術科技股份有限公司 手術術式標記與教學系統及其方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI667557B (zh) * 2017-01-19 2019-08-01 由田新技股份有限公司 影像分析儀表資訊之裝置、系統、方法及電腦可讀取記錄媒體
US10579878B1 (en) * 2017-06-28 2020-03-03 Verily Life Sciences Llc Method for comparing videos of surgical techniques
US11189379B2 (en) * 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US10679743B2 (en) 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
GB2612245B (en) * 2018-10-03 2023-08-30 Cmr Surgical Ltd Automatic endoscope video augmentation
US10910103B2 (en) 2018-12-14 2021-02-02 Verb Surgical Inc. Method and system for extracting an actual surgical duration from a total operating room (OR) time of a surgical procedure
US20200273577A1 (en) * 2019-02-21 2020-08-27 Theator inc. System for updating a predicted outcome
BR112021016621A2 (pt) 2019-02-21 2021-11-03 Theator Inc Sistemas e métodos para análise de vídeos cirúrgicos
US11080424B2 (en) 2019-05-21 2021-08-03 Verb Surgical Inc. Method and system for anonymizing raw surgical procedure videos
US10791301B1 (en) 2019-06-13 2020-09-29 Verb Surgical Inc. Method and system for synchronizing procedure videos for comparative learning
US20200395105A1 (en) * 2019-06-15 2020-12-17 Artsight, Inc. d/b/a Whiteboard Coordinator, Inc. Intelligent health provider monitoring with de-identification
JP2023506001A (ja) * 2019-12-13 2023-02-14 ケムイメージ コーポレーション 機械学習を用いる改善された手術報告書作成のための方法およびその装置
WO2021168408A1 (en) 2020-02-20 2021-08-26 Smith & Nephew, Inc. Methods for arthroscopic video analysis and devices therefor
WO2021203077A1 (en) * 2020-04-03 2021-10-07 Smith & Nephew, Inc. Methods for arthroscopic surgery video segmentation and devices therefor
WO2021207016A1 (en) * 2020-04-05 2021-10-14 Theator inc. Systems and methods for automating video data management during surgical procedures using artificial intelligence
US20210313050A1 (en) 2020-04-05 2021-10-07 Theator inc. Systems and methods for assigning surgical teams to prospective surgical procedures
JP2023523562A (ja) * 2020-04-13 2023-06-06 カリベル・ラブズ・インコーポレーテッド ビデオにおけるコンピュータ支援形状測定のためのシステムおよび方法
CA3181880A1 (en) * 2020-06-08 2021-12-16 Tina Chen Systems and methods for processing medical data
FR3111463B1 (fr) * 2020-06-12 2023-03-24 Univ Strasbourg Traitement de flux vidéo relatifs aux opérations chirurgicales
CN112434580A (zh) * 2020-11-13 2021-03-02 珠海大横琴科技发展有限公司 一种视频统计分析方法和装置
WO2022106991A1 (en) * 2020-11-20 2022-05-27 Auris Health, Inc. Automated procedure evaluation
KR20230108312A (ko) * 2020-11-20 2023-07-18 아우리스 헬스, 인코포레이티드 자동화된 동작의 ai-기반 트리거링
CN116806349A (zh) * 2020-11-24 2023-09-26 直观外科手术操作公司 从外科手术视频数据的外科手术任务数据导出
US11972759B2 (en) * 2020-12-02 2024-04-30 International Business Machines Corporation Audio mistranscription mitigation
CN112633126B (zh) * 2020-12-18 2024-06-14 联通物联网有限责任公司 视频处理方法及装置
WO2022147453A1 (en) * 2020-12-30 2022-07-07 Stryker Corporation Systems and methods for classifying and annotating images taken during a medical procedure
US20240233126A9 (en) * 2021-02-24 2024-07-11 Anaut Inc. Surgery details evaluation system, surgery details evaluation method, and computer program
US20240161652A1 (en) * 2021-03-25 2024-05-16 The Johns Hopkins University Systems and methods for assessing surgical skill
US12004966B2 (en) 2021-04-12 2024-06-11 Kaliber Labs Inc. Systems and methods for using image analysis in superior capsule reconstruction
US20240153269A1 (en) * 2021-04-15 2024-05-09 Digital Surgery Limited Identifying variation in surgical approaches
US20240161934A1 (en) * 2021-04-15 2024-05-16 Digital Surgery Limited Quantifying variation in surgical approaches
US20220369920A1 (en) * 2021-05-24 2022-11-24 Verily Life Sciences Llc Phase identification of endoscopy procedures
WO2023021074A1 (en) * 2021-08-18 2023-02-23 Carl Zeiss Meditec Ag Method for giving feedback on a surgery and corresponding feedback system
DE102021134564A1 (de) 2021-12-23 2023-06-29 Karl Storz Se & Co. Kg Verfahren, System und trainiertes Modell zur Bildoptimierung für Endoskope
CN114565881B (zh) * 2022-04-28 2022-07-12 成都与睿创新科技有限公司 一种分辨体腔内外不同场景的方法及***
WO2023220646A2 (en) * 2022-05-10 2023-11-16 Kaliber Labs Inc. System to provide postoperative care and monitoring using human voice
US20230372031A1 (en) * 2022-05-18 2023-11-23 Cilag Gmbh International Identification of images shapes based on situational awareness of a surgical image and annotation of shapes or pixels
WO2024052458A1 (en) * 2022-09-07 2024-03-14 Digital Surgery Limited Aligned workflow compression and multi-dimensional workflow alignment
US20240212720A1 (en) * 2022-12-23 2024-06-27 Kyu Eun LEE Method and Apparatus for providing Timemarking based on Speech Recognition and Tag
US20240207626A1 (en) * 2022-12-27 2024-06-27 Stryker Corporation Systems and methods for evaluating a medical workflow
CN116030953B (zh) * 2023-03-31 2023-06-20 成都瑞华康源科技有限公司 一种自动化的手术室运营效率监控方法、***及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
CN104000655A (zh) * 2013-02-25 2014-08-27 西门子公司 用于腹腔镜外科手术的组合的表面重构和配准
US20150230875A1 (en) * 2014-02-17 2015-08-20 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
CN105992996A (zh) * 2014-04-04 2016-10-05 外科手术室公司 外科手术环境中的动态和交互式导航
WO2016200887A1 (en) * 2015-06-09 2016-12-15 Intuitive Surgical Operations, Inc. Video content searches in a medical context
CN107667380A (zh) * 2015-06-05 2018-02-06 西门子公司 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和***

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6535756B1 (en) 2000-04-07 2003-03-18 Surgical Navigation Technologies, Inc. Trajectory storage apparatus and method for surgical navigation system
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US11202676B2 (en) 2002-03-06 2021-12-21 Mako Surgical Corp. Neural monitor-based dynamic haptics
US20030208196A1 (en) 2002-05-03 2003-11-06 Arthrocare Corporation Control system for limited-use device
FR2855292B1 (fr) 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US7317955B2 (en) 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
US7379790B2 (en) 2004-05-04 2008-05-27 Intuitive Surgical, Inc. Tool memory-based software upgrades for robotic surgery
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8147503B2 (en) 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US7912257B2 (en) 2006-01-20 2011-03-22 3M Innovative Properties Company Real time display of acquired 3D dental data
US20080003555A1 (en) 2006-06-29 2008-01-03 Johan Ekvall System and method for facilitating setup of surgical instrumentation and consumables associated therewith
US8131031B2 (en) 2006-11-15 2012-03-06 General Electric Company Systems and methods for inferred patient annotation
WO2010105237A2 (en) 2009-03-12 2010-09-16 Health Research Inc. Method and system for minimally-invasive surgery training
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US8298233B2 (en) 2010-08-20 2012-10-30 Tyco Healthcare Group Lp Surgical instrument configured for use with interchangeable hand grips
US9026247B2 (en) 2011-03-30 2015-05-05 University of Washington through its Center for Communication Motion and video capture for tracking and evaluating robotic surgery and associated systems and methods
EP3666352B1 (en) 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
CN104114337B (zh) 2012-02-15 2016-12-21 直观外科手术操作公司 一旦器械进入可由输入装置的操作者观察的显示区域将对器械的控制切换到输入装置
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US9413976B2 (en) 2012-08-08 2016-08-09 Intuitive Surgical Operations, Inc. Auto exposure of a camera in a surgical robot
US9171477B2 (en) 2013-03-25 2015-10-27 University Of Rochester Method and system for recognizing and assessing surgical procedures from video
KR20170035831A (ko) 2014-03-14 2017-03-31 시냅티브 메디컬 (바베이도스) 아이엔씨. 인텔리전트 포지셔닝 시스템과 그것의 방법들
JP2019500921A (ja) 2015-10-29 2019-01-17 シャープ フルーディクス エルエルシー 手術室内のデータ捕捉のためのシステムおよび方法
US20170132785A1 (en) * 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
US9788907B1 (en) 2017-02-28 2017-10-17 Kinosis Ltd. Automated provision of real-time custom procedural surgical guidance
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US10803320B2 (en) 2017-09-26 2020-10-13 City Of Eden, Llc Method and system for facilitating tray management
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US10347255B1 (en) 2018-03-08 2019-07-09 Ces Advancements, Llc Healthcare systems and methods using voice inputs
JP7376569B2 (ja) 2018-07-31 2023-11-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ロボット操作手術器具の位置を追跡システムおよび方法
US10679743B2 (en) 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
CN104000655A (zh) * 2013-02-25 2014-08-27 西门子公司 用于腹腔镜外科手术的组合的表面重构和配准
US20150230875A1 (en) * 2014-02-17 2015-08-20 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
CN105992996A (zh) * 2014-04-04 2016-10-05 外科手术室公司 外科手术环境中的动态和交互式导航
CN107667380A (zh) * 2015-06-05 2018-02-06 西门子公司 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和***
WO2016200887A1 (en) * 2015-06-09 2016-12-15 Intuitive Surgical Operations, Inc. Video content searches in a medical context

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753790A (zh) * 2020-07-01 2020-10-09 武汉楚精灵医疗科技有限公司 一种基于随机森林算法的视频分类方法
CN111753790B (zh) * 2020-07-01 2023-12-12 武汉楚精灵医疗科技有限公司 一种基于随机森林算法的视频分类方法
CN112818959A (zh) * 2021-03-25 2021-05-18 杭州海康威视数字技术股份有限公司 手术流程识别方法、装置、***及计算机可读存储介质
CN112818959B (zh) * 2021-03-25 2023-09-05 杭州海康威视数字技术股份有限公司 手术流程识别方法、装置、***及计算机可读存储介质
CN113630658A (zh) * 2021-07-23 2021-11-09 重庆天如生物科技有限公司 一种用于胃肠镜视频图像数据收集、标注的***和方法
CN113662664A (zh) * 2021-09-29 2021-11-19 哈尔滨工业大学 一种基于仪器追踪的外科手术质量客观自动化评估方法
TWI778900B (zh) * 2021-12-28 2022-09-21 慧術科技股份有限公司 手術術式標記與教學系統及其方法

Also Published As

Publication number Publication date
US20220148702A1 (en) 2022-05-12
US11205508B2 (en) 2021-12-21
JP2021528724A (ja) 2021-10-21
US11901065B2 (en) 2024-02-13
US20190362834A1 (en) 2019-11-28
EP3796827A4 (en) 2022-03-09
JP7074893B2 (ja) 2022-05-24
EP3796827A1 (en) 2021-03-31
WO2019226182A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110996748A (zh) 面向机器学习的外科手术视频分析***
US20210358599A1 (en) Surgical tracking and procedural map analysis tool
CN113748468B (zh) 填写外科手术的术后报告的***和方法、计算机可读介质
US11594325B2 (en) Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
US11348682B2 (en) Automated assessment of surgical competency from video analyses
EP3367387A1 (en) Methods and system for providing real-time surgical guidance
CN113573633A (zh) 基于手术视频的手术工作流和活动检测
CN103705306B (zh) 手术支持***
US20210313051A1 (en) Time and location-based linking of captured medical information with medical records
Malpani et al. System events: readily accessible features for surgical phase detection
WO2021207016A1 (en) Systems and methods for automating video data management during surgical procedures using artificial intelligence
Cacciamani et al. How the use of the artificial intelligence could improve surgical skills in urology: State of the art and future perspectives
Huaulmé et al. Sequential surgical signatures in micro-suturing task
US20240242818A1 (en) Machine-learning-oriented surgical video analysis system
Deng et al. Visualizing unstructured patient data for assessing diagnostic and therapeutic history
CN114171145A (zh) 一种富媒体手术记录单生成***和方法
US20240037945A1 (en) Post-surgery analysis of energy tool usage in surgical videos using deep learning
CN112992301A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination