CN107045592B - 一种腹腔镜手术操作的人因学评价*** - Google Patents

一种腹腔镜手术操作的人因学评价*** Download PDF

Info

Publication number
CN107045592B
CN107045592B CN201710198936.3A CN201710198936A CN107045592B CN 107045592 B CN107045592 B CN 107045592B CN 201710198936 A CN201710198936 A CN 201710198936A CN 107045592 B CN107045592 B CN 107045592B
Authority
CN
China
Prior art keywords
scene
camera
task
pupil diameter
chip microcomputer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710198936.3A
Other languages
English (en)
Other versions
CN107045592A (zh
Inventor
吴育连
郑毅雄
郑斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710198936.3A priority Critical patent/CN107045592B/zh
Publication of CN107045592A publication Critical patent/CN107045592A/zh
Application granted granted Critical
Publication of CN107045592B publication Critical patent/CN107045592B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种腹腔镜手术操作的人因学评价***，包括腹腔镜摄像头、场景摄像头、眼动仪和单片机，腹腔镜摄像头、场景摄像头、眼动仪分别与单片机相连；所述腹腔镜摄像头采集器械运动轨迹，场景摄像头实时记录手术室场景，眼动仪记录眼球运动的热点区域、瞳孔直径、眨眼频率；从而获得人因学主要评价指标。

Description

一种腹腔镜手术操作的人因学评价***
技术领域
本发明属于外科人因工程技术领域，涉及一种腹腔镜手术操作的人因学评价***。
背景技术
近年来腹腔镜手术的应用越来越广泛，不同于传统开放手术中医师能够直接看到并感知患者器官及病灶，在腹腔镜手术过程中，医师并不能够直接看到手术部位，需要通过在大脑中建立医学影像和患者实体之间的关系，并通过实时影像引导的方式进行手术操作。因此，腹腔镜手术的眼手配合训练变得更为复杂，也给医师技能训练和客观评价带来了新的挑战。为了评价腹腔镜手术时外科医师的眼手配合熟练度和手术操作的功效学，需要对手术和医师的操作行为进行准确记录。
人因学，又称人因工程学、人机工程学、人类工效学等，是研究人在某种工作环境中的解剖学、生理学和心理学等方面的因素，研究人和机器及环境的相互作用，评价工作效率、人的健康、安全和舒适等问题的学科。由于训练和经验不同，每一位医师对病人和疾病的理解存在差异，对所呈现的医学图像的解读能力存在差异，手术时所表现出的技能也有差异，这就是外科医师的综合能力。对操作者综合能力的研究，通常被称为人因学(Humanfactors)，外科医师的工作表现、心理负荷、眼手配合以及外科团队配合等因素即为人因学的评价指标。已有的专利“一种智能外科手术过程视频记录***(103932791B)”将手术摄像***包括摄像设备和视频接收终端的数据进行记录，完整记录手术全过程，可用于保存数据和学术交流；有助于低年资历医师的培养；有助于减少手术失误。另一个专利“多媒体医学记录组件及其数据访问方法(201510106967.2)”，提供了一种多媒体医学记录组件及其数据访问方法。所提供的多媒体医学记录组件包括数据库终端和管理终端，管理终端接收医师和/或患者在远程在线会诊及离线时提供的医学记录。在这些技术中，侧重手术过程的记录、储存和传输，目的仅仅在于手术的回顾、反馈及教学，但是缺乏足够的数据记录用于分析手术人因学，无法达到改进手术工具与方法，降低医疗错误和不良事件的最终目标。
发明内容
本发明的目的在于针对现有技术的不足，提供一种腹腔镜手术操作的人因学评价***，该***记录腹腔镜手术的场景和医师行为，来评价医师手术操作的工作效率和操作能力。
本发明的目的是通过以下技术方案实现的：一种腹腔镜手术操作的人因学评价***，包括腹腔镜摄像头、场景摄像头、眼动仪和单片机，腹腔镜摄像头、场景摄像头、眼动仪分别与单片机相连；所述腹腔镜摄像头采集器械运动轨迹，场景摄像头实时记录手术室场景，眼动仪记录眼球运动的热点区域、瞳孔直径、眨眼频率；评价过程如下:
(1)根据器械运动轨迹，对手术任务进行分割，获得不同手术任务的器械运动轨迹I(x,y)、持续时间Th、难度指数E以及对应的时间帧序列，并输入单片机；
(2)单片机按照步骤1分割的时间帧序列，分别提取不同任务下的手术室场景、眼球运动的热点区域Sp(x,y)、瞳孔直径Ps、眨眼频率Bf和眨眼持续时间Bd；
(3)针对每个手术任务，利用提取的手术室场景，按照视频帧相似度聚类算法计算手术场景干扰值D；根据瞳孔直径Ps，获得该任务的时间帧序列内的波动斜率Pc/Th(Pc为该任务的时间帧序列内的最大瞳孔直径与最小瞳孔直径之差)，从而获得医师在执行该手术任务时的人因学评价指标：
手术警觉性：V＝E*Th/D；
任务压力指数：TLI＝V+(Bf/Bd+Pc/Th)/2；
眼手配合指数：EHCI＝100W/Th；W表示器械运动和眼球运动轨迹热点叠合率。
熟练成熟：OPI＝E*EHCI/Th。
本发明所达到的有益效果：借助全面的场景记录和人因学指标记录，可用于评价医师工作效率，分析医师操作的准确性，达到降低医疗错误和不良事件，增强患者安全的最终目标。
附图说明
图1为本发明的技术路线图；
图2为本发明的记录装置构造图；
图3为胆囊切除任务下的瞳孔直径Ps变化图；
图4为胆囊动脉结扎任务下的瞳孔直径Ps变化图；
图5为胆囊切除任务下的眼球运动的热点区域Sp(x,y)图；
图6为胆囊动脉结扎任务下的眼球运动的热点区域Sp(x,y)图；
图中，1.场景摄像机 2.器械轨迹跟踪 3.眼动仪 4.单片机。
具体实施方式
本发明一种腹腔镜手术操作的人因学评价***，包括腹腔镜摄像头、场景摄像头、眼动仪和单片机，腹腔镜摄像头、场景摄像头、眼动仪分别与单片机相连；该***通过各个记录装置记录手术场景和眼球运动，具体如下：
1.手术场景记录：包括手术画面记录和手术室环境记录。腹腔镜手术画面通过腹腔镜镜头直接输出，从而得到器械运动轨迹点。手术室场景画面可由四台高清摄像机获取，实时记录手术室和手术床的空间布局，患者的***状态，手术室工作人员(医师、麻醉师、护士等)的工作状态，以及手术过程中各种声音记录，这个过程称之为工作场景记录。
2.眼球运动跟踪记录：由于人眼在盯腔镜显示屏不同位置时，眼球会发生相应的转动，使被观察物体落在视网膜的中央凹上，在假定头部基本不动的情况下，视线方向就同计算机屏幕上的点形成一一对应的关系。这样，通过对眼球状态即视线方向的监测，就可以得知对应在屏幕上的位置了。视线跟踪法(Eye tracking)就是通过眼动仪，利用图像处理技术，使用能锁定眼睛的特殊摄像机，通过摄入从人的眼角膜和瞳孔反射的红外线连续地跟踪记录视线变化，从而达到记录视线追踪过程的目的，然后再对这些原始数据进行加工和分析。眼动仪是眼镜式眼球运动监控装置，医师佩戴时可以监控外科医师的眼球运动轨迹，获取注视点轨迹图，通过眼位定位、坐标变换、注视点定位，精确记录外科医师在手术过程中的视觉关注点，同时可以记录医师手术操作时的瞳孔大小、瞳孔波动曲线，以及眨眼频率等，从而深入地研究医师的警觉力和眼手配合能力。
下面结合实施例对本发明进行进一步说明。
实施例1:本实施例是针对一项胆囊手术，其中主要包含胆囊切除和胆囊动脉结扎两项任务，针对这项手术，采用本发明的***对手术医师的人因学指数进行评下如下：
如图2所示，一种腹腔镜手术操作的人因学评价***，包括腹腔镜摄像头、场景摄像头、眼动仪和单片机，腹腔镜摄像头、场景摄像头、眼动仪分别与单片机相连；腹腔镜摄像头采集器械运动轨迹，场景摄像头实时记录手术室场景，眼动仪记录眼球运动的热点区域、瞳孔直径、眨眼频率；评价过程如下：
(1)根据器械运动轨迹，对手术任务进行分割，获得不同手术任务的器械运动轨迹I(x,y)、持续时间Th、难度指数E以及对应的时间帧序列，并输入单片机；
Figure BDA0001258105630000031
其中，E为手术任务的级别，根据[国家卫生和计划生育委员会手术分类分级目录2015年版]获得。
(2)单片机按照步骤1分割的时间帧序列(手术任务时间段)，分别提取不同任务下的手术室场景、眼球运动的热点区域Sp(x,y)、瞳孔直径Ps、眨眼频率Bf和眨眼持续时间Bd；其中胆囊切除任务下的瞳孔直径Ps变化如图3所示，胆囊动脉结扎任务下的瞳孔直径Ps变化如图4所示。胆囊切除任务下的眼球运动的热点区域Sp(x,y)如图5所示，胆囊动脉结扎任务下的眼球运动的热点区域Sp(x,y)如图6所示。并得到手运动轨迹和眼球热点区域重叠率W如表1所示。
表1
Figure BDA0001258105630000041
(3)针对每个手术任务，利用提取的手术室场景，按照视频帧相似度聚类算法计算手术场景干扰值D(D为聚类类别数)；根据瞳孔直径Ps，获得该任务的时间帧序列内的波动斜率Pc/Th(Pc为该任务的时间帧序列内的最大瞳孔直径与最小瞳孔直径之差)，如表2所示。从而获得医师在执行该手术任务时的人因学评价指标：
表2
任务名称 干扰值D Bf(次数) Bd(min) Pc/Th
1.胆囊切除 56 20 2.1 0.33
2.胆囊动脉结扎 34 8 1.3 1.6
手术警觉性：V＝E*Th/D；V任务1＝2*15/56＝53.6％；V任务1＝1*5/34＝14.7％
任务压力指数：TLI＝100V+(Bf/Bd+Pc/Th)/2；
TLI任务1＝53.6+(20/2.1+0.33)/2＝58.5
TLI任务2＝14.7+(8/1.3+1.6)/2＝18.6
眼手配合指数：EHCI＝100W/Th
EHCI任务1＝75.7/15＝5.0
EHCI任务2＝87.6/5＝17.5
熟练成熟：OPI＝E*EHCI/Th
OPI任务1＝2*5.0/15＝0.667
OPI任务2＝1*17.5/5＝3.5
根据上述仪器记录的视频，按照传统的专家打分方法对该医师进行评价，评价结果与本***输出结果进行对照，符合率达到98％，偏差在0.5％以下。因此，本发明的***能广泛应用于医师的人因学评价。

Claims (1)

1.一种腹腔镜手术操作的人因学评价***，其特征在于，包括腹腔镜摄像头、场景摄像头、眼动仪和单片机，腹腔镜摄像头、场景摄像头、眼动仪分别与单片机相连；所述腹腔镜摄像头采集器械运动轨迹，场景摄像头实时记录手术室场景，眼动仪记录眼球运动的热点区域、瞳孔直径、眨眼频率；评价过程如下:
（1）根据器械运动轨迹，对手术任务进行分割，获得不同手术任务的器械运动轨迹I(x,y)、持续时间Th、难度指数E以及对应的时间帧序列，并输入单片机；
（2）单片机按照步骤（1）分割的时间帧序列，分别提取不同手术任务下的手术室场景、眼球运动的热点区域Sp(x,y)、瞳孔直径Ps、眨眼频率Bf和眨眼持续时间Bd；
（3）针对每个手术任务，利用提取的手术室场景，按照视频帧相似度聚类算法计算手术场景干扰值D；根据瞳孔直径Ps，获得该手术任务的时间帧序列内的波动斜率Pc/Th ，Pc为该手术任务的时间帧序列内的最大瞳孔直径与最小瞳孔直径之差，从而获得医师在执行该手术任务时的人因学评价指标：
手术警觉性：V=E*Th/D;
任务压力指数：TLI=V+(Bf/Bd+Pc/Th)/2;
眼手配合指数：EHCI= 100W/Th;W表示器械运动轨迹和眼球运动轨迹热点叠合率；
熟练成熟：OPI=E*EHCI/Th。
CN201710198936.3A 2017-03-29 2017-03-29 一种腹腔镜手术操作的人因学评价*** Expired - Fee Related CN107045592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710198936.3A CN107045592B (zh) 2017-03-29 2017-03-29 一种腹腔镜手术操作的人因学评价***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710198936.3A CN107045592B (zh) 2017-03-29 2017-03-29 一种腹腔镜手术操作的人因学评价***

Publications (2)

Publication Number Publication Date
CN107045592A CN107045592A (zh) 2017-08-15
CN107045592B true CN107045592B (zh) 2020-06-16

Family

ID=59545242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710198936.3A Expired - Fee Related CN107045592B (zh) 2017-03-29 2017-03-29 一种腹腔镜手术操作的人因学评价***

Country Status (1)

Country Link
CN (1) CN107045592B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111693312B (zh) * 2020-06-02 2022-10-11 元力曼(苏州)医疗产品可用性评估服务有限公司 一种可用性测试实验室
CN113129340B (zh) * 2021-06-15 2021-09-28 萱闱(北京)生物科技有限公司 操作设备的运动轨迹分析方法、装置、介质和计算设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制***和控制方法
CN103932791A (zh) * 2014-03-13 2014-07-23 西安交通大学 一种智能外科手术过程视频记录***
CN104658393A (zh) * 2015-02-10 2015-05-27 上海理工大学 腹腔镜模拟手术训练评价***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制***和控制方法
CN103932791A (zh) * 2014-03-13 2014-07-23 西安交通大学 一种智能外科手术过程视频记录***
CN104658393A (zh) * 2015-02-10 2015-05-27 上海理工大学 腹腔镜模拟手术训练评价***及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于眼动分析的不同光环境下岸桥司机的专注度;卫旭骏 等;《大连海事大学学报》;20150831;第41卷(第03期);第93-99页 *
基于腹腔镜手术训练的眼动特征研究;叶莎莎 等;《生物医学工程研究》;20161231;第35卷(第02期);全文 *
腹腔镜模拟训练效果的客观评价;张燕群 等;《北京生物医学工程》;20161031;第35卷(第05期);第497-501页 *

Also Published As

Publication number Publication date
CN107045592A (zh) 2017-08-15

Similar Documents

Publication Publication Date Title
US11195340B2 (en) Systems and methods for rendering immersive environments
US20230179680A1 (en) Reality-augmented morphological procedure
US11350994B2 (en) Surgery planning
KR102523779B1 (ko) 수술 절차 아틀라스를 갖는 수술 시스템의 구성
CN107249497A (zh) 手术室和手术部位感知
Grammatikopoulou et al. Cadis: Cataract dataset for image segmentation
Eivazi et al. Towards automatic skill evaluation in microsurgery
CN107045592B (zh) 一种腹腔镜手术操作的人因学评价***
Roessel et al. A systematic literature review of practical virtual and augmented reality solutions in surgery
Buettner et al. A systematic literature review of research in the surgical field of medical robotics
Klausen et al. Feasibility of eyetracking in critical care environments–a systematic review
Ružický et al. Use of Virtual Reality for Stress Reduction in Nanoarthroscopy
Sahu et al. IoT-driven augmented reality and virtual reality systems in neurological sciences
US11571266B1 (en) Robotic surgical system for insertion of surgical implants
Riva From toys to brain: Virtual reality applications in neuroscience
Kim et al. Motion analysis as an evaluation framework for eye-hand coordination: A case study in ultrasound-guided catheter insertion
Anzengruber-Tanase et al. Attention/Distraction estimation for surgeons during laparoscopic cholecystectomies
Wall et al. Mapping connections between biological-emotional preferences and affective recognition: An eye-tracking interface for passive assessment of emotional competency
Eivazi Eye gaze patterns in micro-neurosurgery: from remote to ocular-based eye tracker
MacNeil Tracking the closed eye by calibrating electrooculography with pupil-corneal reflection
Fujita et al. Eyes and Movement Differences in Unconscious State during Microscopic Procedures
Kulkarni Context Dependent Gaze Metrics for Evaluation of Laparoscopic Surgery Manual Skills
Wang et al. Effectiveness Evaluation of Retinopathy Diagnosis Teaching based on Virtual Teaching Simulation System Design
SIONG Training and assessment of hand-eye coordination with electroencephalography
Jiralerspong et al. Spectral analysis and artificial neural network based classification of three mental states for brain machine interface applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200616

CF01 Termination of patent right due to non-payment of annual fee