CN114678117B - 用于规范手术室人员操作行为的管理方法及装置 - Google Patents
用于规范手术室人员操作行为的管理方法及装置 Download PDFInfo
- Publication number
- CN114678117B CN114678117B CN202210581702.8A CN202210581702A CN114678117B CN 114678117 B CN114678117 B CN 114678117B CN 202210581702 A CN202210581702 A CN 202210581702A CN 114678117 B CN114678117 B CN 114678117B
- Authority
- CN
- China
- Prior art keywords
- model
- operating room
- data
- recognition model
- operating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 59
- 230000006399 behavior Effects 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000013145 classification model Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 19
- 238000005406 washing Methods 0.000 claims description 15
- 206010002091 Anaesthesia Diseases 0.000 claims description 13
- 230000037005 anaesthesia Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 9
- 229940124645 emergency medicine Drugs 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 239000003814 drug Substances 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 208000015181 infectious disease Diseases 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 244000052769 pathogen Species 0.000 claims description 4
- 230000001717 pathogenic effect Effects 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 26
- 238000000265 homogenisation Methods 0.000 abstract description 5
- 201000010099 disease Diseases 0.000 abstract description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 2
- 238000010276 construction Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了用于规范手术室人员操作行为的管理方法及装置，方法包括S1构建语音识别模型、图像目标识别模型和数据动态分析模型，使用第一知识图谱构建手术室清洁内容分类模型；S2训练语音识别模型图像目标识别模型和数据动态分析模型；S3构建第二知识图谱；S4、训练后的语音识别模型、图像目标识别模型、数据动态分析模型、手术室清洁内容分类模型和第二知识图谱进行组合形成管理***；S5、对手术室人员的分配、操作进行管理；通过规范化管理手术医护人员的操作流程，消除不同的科室及不同的患者在疾病种类、病情缓急、手术操作方式、同一指标控制的目的和范围存在的明显的区别，促进医疗资源的均匀化和医疗质量的同质化。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种用于规范手术室人员操作行为的管理方法及装置。
背景技术
在国内，手术室操作的规范化及其实施，是临床工作中一大常见的课题，在现有技术中由于缺少重要的手术室影像信息化***的实施，目前国内的大多数字化手术室建设主要基于手术准备教学和设备控制。并且国内仍存在以下错误认知：有些医院认为数字化手术室等同于手术示教和传播***，也有些医院认为配备了麻醉信息***就等于建设了数字化手术室，甚至认为数字化手术室建设造价必定昂贵且需要很大规模。更关键的是，由于不同医院在手术管理、标准化操作等认知存在较大的差别，这更是制约了***的兼容性及规范性；因此当前存在的技术不仅缺乏对手术室操作流程上的***性的规范化管理，亦未能解决手术室操作规范化以及同质化医疗服务所面临的问题。
发明内容
本发明的目的就在于为了解决上述问题设计了一种用于规范手术室人员操作行为的管理方法及装置。
本发明通过以下技术方案来实现上述目的：
用于规范手术室人员操作行为的管理方法，包括：
S1、构建语音识别模型、多个图像目标识别模型、多个数据动态分析模型，使用第一知识图谱构建手术室清洁内容分类模型，第一知识图谱为患者病原体感染情况与器械、耗材、手术间、术者后续清洁内容的对应关系；
S2、获取与手术室操作行为相关的测试数据集，使用语音识别算法、图像目标检测算法和数据分析算法分别训练语音识别模型、图像目标识别模型和数据动态分析模型；
S3、获取当前国内外制定和公认的规范化管理流程，并采用知识图谱算法构建第二知识图谱；
S4、第二知识图谱接收训练后的语音识别模型、图像目标识别模型、数据动态分析模型和手术室清洁内容分类模型的识别结果，第一知识图谱、第二知识图谱、训练后的语音识别模型、训练后的图像目标识别模型、训练后的数据动态分析模型和手术室清洁内容分类模型组合形成管理***；
S5、获取手术安排表格并实时采集手术相关的数据导入管理***，并与手术视频内容识别模型连接，结合当前不同手术室安排与手术进行的进度，按照当前的医疗标准对手术室人员的分配、操作进行管理。
用于规范手术室人员操作行为的管理装置，包括：
采集模块；采集模块用于采集手术相关的数据；
处理器；处理器用于运行计算机程序，采集模块的数据信号输出端与处理器的数据信号输入端连接，计算机程序被处理器执行时实现如上述的用于规范手术室人员操作行为的管理方法的步骤；
储存器；储存器用于储存采集模块所采集的数据、计算机程序和处理器执行计算机程序所得到的违规行为分析结果，采集模块的数据信号输出端与储存器的数据信号输入端连接，储存器的信号端与处理器的信号端连接。
本发明的有益效果在于：通过规范化管理手术医护人员的操作及其流程，从而进一步消除不同的科室及不同的患者在疾病种类、病情缓急、手术操作方式、以及同一指标控制的目的和范围存在的明显的区别，从而促进了医疗资源的均匀化和医疗质量的同质化。同时，通过AI模型对手术医护人员在操作流程上的管理，亦使得后续开发的规范化管理医护人员医疗操作的模型在不同的地区和科室之间得以进行通用，从而减少了相关模型的技术开发的成本，提高了***的兼容性与规范性，从而扫清提高手术室人员管理效率、减轻***开发成本、增强外科医疗的规范性、进一步提升外科手术质量以及加快国内手术室规范化数字化管理所面临的障碍。
附图说明
图1本发明的步骤流程图；
图2 本发明的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的具体实施方式进行详细说明。
如图1所示，用于规范手术室人员操作行为的管理方法，包括：
S1、构建语音识别模型、多个图像目标识别模型、多个数据动态分析模型，使用第一知识图谱构建手术室清洁内容分类模型，手术室清洁内容分类模型实时访问患者的病历信息、检查结果、拟行手术方式，实时在手术结束后提示医护人员后续对不同材料的清洁方式，第一知识图谱为患者病原体感染情况与器械、耗材、手术间、术者后续清洁内容的对应关系；
S2、获取与手术室操作行为相关的测试数据集，使用语音识别算法、图像目标检测算法和数据分析算法分别训练语音识别模型、图像目标识别模型和数据动态分析模型；测试数据集包括手术全程的手术室音频数据、视频图像数据、心电监护装置的心电信息和麻醉信息，视频图像数据包括手术室门口、更衣室出入口、洗手台、手术室墙角、手术台上空、手术室器械放置台和药品柜的视频，训练模型具体为：
手术室音频数据导入语音识别模型，并采用语音识别算法训练获得手术室内语音识别模型，构建手术室工作相关的词云数据库，将词云数据库的数据与手术室内语音识别模型输出结果对应，形成手术室内语音识别分析模型；
视频图像数据导入多个图像目标识别模型，并采用图像目标检测算法训练获得手术室门口人员识别计数模型、更衣结果识别模型、洗手状态识别模型、手术台器械识别模型、手术室人员行为识别模型、医师位置识别模型、急救药品识别模型；
心电信息和麻醉信息分别导入两个数据动态分析模型，并采用数据分析算法获得生命体征动态分析模型和麻醉信息分析模型。
S3、获取当前国内外制定和公认的规范化管理流程，并采用知识图谱算法构建第二知识图谱。
S4、第二知识图谱接收训练后的语音识别模型、图像目标识别模型、数据动态分析模型和手术室清洁内容分类模型的识别结果，第一知识图谱、第二知识图谱、训练后的语音识别模型、训练后的图像目标识别模型、训练后的数据动态分析模型和手术室清洁内容分类模型组合形成管理***；具体为：
手术室内语音识别分析模型的识别结果、生命体征动态分析模型、麻醉信息分析模型和手术室清洁内容分类模型的分析结果实时通过计算机神经网络模型与手术室人员行为识别模型、手术台器械识别模型、医师位置识别模型和急救药品识别模型的识别结果建立关联，关联的关联结果、手术室门禁信息、手术室门口人员识别计数模型、更衣结果识别模型和洗手状态识别模型的输出作为第二知识图谱的输入形成管理***，第二知识图谱分析得到其识别的信息与管理流程规定的内容之间的符合度。
S5、获取手术安排表格并实时采集手术相关的数据导入管理***，并与手术视频内容识别模型连接，结合当前不同手术室安排与手术进行的进度，按照当前的医疗标准对手术室人员的分配、操作进行管理。
语音识别模型包括信号处理模块和解码器模块，信号处理模块用于提取语音特征并将语音特征转换为特征矢量信号，解码器模块包括声学模型和语言模型，声学模型采用隐含马尔科夫模型进行建模，语言模型采用 N 元文法进行建模，信号处理模块的输出作为声学模型的输入，声学模型的输出作为语言模型的输入。
语言识别模型由一个信号处理模块和一个解码器模块构成。其中信号处理模块将根据人耳的听觉感知特点，抽取语音中最重要的特征，将语音信号转换为特征矢量序列。解码器根据声学模型和语言模型，将输入的语音特征矢量序列转化为字符序列。其中解码器模块由声学模型和语言模型构成。声学模型是对声学、语音学、环境的变量，以及说话人性别、口音的差异等的知识表示。语言模型则是对一组字序列构成的知识表示。
语音识别中的声学模型充分利用了声学、语音学、环境特性以及说话人性别口音等信息，对语音进行建模。目前的语音识别***往往采用隐含马尔科夫模型（HiddenMarkov Model，HMM）建模，表示某一语音特征矢量序列对某一状态序列的后验概率。隐含马尔科夫模型是一种概率图模型，可以用来表示序列之间的相关关系，常常被用来对时序数据建模。
隐含马尔科夫模型是一种带权有向图，图上每一个节点称为状态。每一时刻，隐含马尔科夫模型都有一定概率从一个状态跳转到另一个状态，并有一定概率发射一个观测符号，跳转的概率用边上的权重表示。 隐含马尔科夫模型假定，每一次状态的转移，只和前一个状态有关，而与之前之后的其它状态无关，即马尔科夫假设；在每一个状态下发射的符号，只与当前状态有关，与其它状态和其它符号没有关系，即独立输出假设。一般用三元组γ=(A,B,π)表示一个隐含马尔可夫模型，其中A为状态转移概率矩阵，表示在某一状态下转移到另一状态的概率；B为符号概率矩阵，表示在某一状态下发射某一符号的概率；π为初始状态概率矢量，表示初始时处在某一状态的概率。隐含马尔科夫模型可以产生两个随机的序列，一个是状态序列，一个是观测符号序列，所以是一个双重随机过程，但外界只能观测到观测符号序列，不能观测到状态序列。可以利用维特比算法（Viterbi Algorithm）找出在给定观测符号序列的条件下，发生概率最大的状态序列。对于某一观测符号序列的概率，可以通过前向后向算法（Forward-Backward Algorithm）高效地求得。每一个状态的转移概率和观测符号发射概率可以通过鲍姆—韦尔奇算法（Baum-Welch Algorithm）计算得到。
语音识别中一般使用隐含马尔科夫模型对声学单元和语音特征序列之间的关系建模。一般来说，声学单元级别较小，其数量就少，但对上下文的敏感性则会大。大词汇量连续语音识别***中一般采用子词（Sub-word）作为声学单元，如在英语中采用音素，汉语中采用声韵母等。 声学模型中隐含马尔科夫模型的拓扑结构一般采用从左向右的三状态结构，每一个状态上都有一个指向自身的弧。由于连续语音中具有协同发音的现象，故需要对前后三个音素共同考虑，称为三音子（Triphone）模型。引入三音子后，将引起隐含马尔科夫模型数量的急剧增加，所以一般会对状态进行聚类，聚类后的状态称为 Senone。语音识别任务中的声学特征矢量取值是连续的，为了消除量化过程造成的误差，所以考虑使用连续概率密度函数来对特征矢量对状态的概率进行建模。
语言模型可以表示某一字序列发生的概率。语音识别中常用的语言模型是 N 元文法（N-Gram），即统计前后 N 个字出现的概率。N 元文法假定某一个字出现的概率仅与前面 N-1 个字出现的概率有关系。
设现在有一字序列W=(w1, w2, ww=(w1, w2,…, wu))，W表示一个完整字序列，w1,w2,…, wu表示单个字序列，则其发生概率可以被分解为如下形式：
其中，P(W)表示一个完整字序列发生的概率，P(Wn)表示第n个字序列发生的概率，P(Wn| Wn-1)表示第n个字序列在第n-1个字序列的条件下发生的概率。
但是，这样的概率无法统计。根据马尔科夫假设，则只需考虑前 N 个字符发生条件下的概率即可。假设 N=2 则有
再根据贝叶斯公式，可以得出某一个字在另一个字的条件下发生的概率
由此，在大量的语料中统计出相邻的字发生的概率，再统计出单个字出现的概率即可。 由于必然会有一些生僻词组在语料中未曾出现，但其也存在着发生的概率，所以需要算法生成这些生僻词组的概率，即平滑。
图像目标识别模型由Backbone、Neck和Head依次连接组成，Backbone用于提取视频图像数据的特征信息，Neck用于融合Backbone提取的特征信息，Head用于利用融合后的Backbone提取的特征信息预测目标的位置和类别。
Backbone即主干网络。Backbone充当了整个目标检测网络的一部分。Backbone在整个目标检测网络当中指的是特征提取网络，其作用是提取图片当中的特征信息。例如使用卷积神经网络(CNN)来提取所输入的图片的特征，提取彼此之间的共同点，通过不断地卷积，缩小特征图尺寸，从而找到最核心的部分。
Neck即颈部，是目标检测框架中承上启下的关键环节。Neck在目标检测网络主要是把Backbone提取的特征进行融合，使得网络学习到的特征更具备多样性，提高检测网络的性能。更好地融合、提取Backbone所给出的特征，然后再交由后续的Head去检测，从而提高网络的性能。Neck对Backbone提取到的重要特征进行再加工及合理利用，有利于下一步Head的具体任务学习。Neck放在backbone和head之间的，是为了更好的利用backbone提取的特征。
Head即头部，在目标检测网络中一般叫做检测头。Head是获取网络输出内容的网络，利用之前提取的特征，Head利用这些特征，做出预测。Head可以理解为是根据Backbone提取出来的特征，从这些特征中预测目标的位置和类别。目标检测除了识别出物体的类别，更重要的是还要对物体进行定位，主要作用是定位和分类。
根据采集视频图片数据位置和内容的不同以及应用场景的不同，该模型亦分为手术室门口人员识别计数模型、更衣结果识别模型、洗手状态识别模型、手术台器械识别模型、手术室人员行为识别模型、医师位置识别模型、急救药品识别模型等。其中，手术台器械识别模型、医师位置识别模型、急救药品识别模型等亦对所识别的内容进行分类计数。
数据动态分析模型包括但不限于：logistics回归模型、岭回归模型、lasso回归模型、弹力回归模型、决策树、人工神经网络、卷积神经网络等能够同时动态分析多组标量数据并得到多种不同分类结论的模型结构。
图像目标识别模型的训练，包括：
选取不同手术场景图片中包含需要目标的图片，对各目标位置信息进行标注，得到目标检测标注数据库；所述目标位置信息为在图片中包含目标的最小外接矩形框；
根据所述目标检测标注数据库对目标检测网络进行训练；
训练完成后，得到所需目标检测模型，即手术室门口人员识别计数模型、更衣结果识别模型、洗手状态识别模型、手术台器械识别模型、手术室人员行为识别模型、医师位置识别模型、急救药品识别模型。
知识图谱主要有自顶向下(top-down)与自底向上(bottom-up)两种构建方式。自顶向下指的是先为知识图谱定义好本体与数据模式，再将实体加入到知识库。该构建方式需要利用一些现有的结构化知识库作为其基础知识库。自底向上指的是从一些开放链接数据中提取出实体，选择其中置信度较高的加入到知识库，再构建顶层的本体模式。
采用自底向上的方式构建知识图谱的过程是一个迭代更新的过程，每一轮更新包括３个步骤：１）信息抽取，即从各种类型的数据源中提取出实体（概念）、属性以及实体间的相互关系，在此基础上形成本体化的知识表达；２）知识融合，在获得新知识之后，需要对其进行整合，以消除矛盾和歧义，比如某些实体可能有多种表达，某个特定称谓也许对应于多个不同的实体等；３）知识加工，对于经过融合的新知识，需要经过质量评估之后（部分需要人工参与甄别），才能将合格的部分加入到知识库中，以确保知识库的质量。新增数据之后，可以进行知识推理、拓展现有知识、得到新知识。具体的讲，在一些实施例中，知识图谱的构建包含如下环节：
1.根据通用数据标准建立所需知识图谱的基础架构；
2.将基础架构中的各个实体之间的关系进行统一规范，得到具有标准规范的标准字典表；
3.获取与所述知识图谱中的内容相关的半结构化数据；
4.从所述半结构化数据中抽取关键实体的实体信息；
5.根据所述标准字典表将所述实体信息进行数据融合，形成结构化数据；
6.将所述结构化数据生成对应的数据结构对，并将所述数据结构对存储为所述知识图谱。
用于规范手术室人员操作行为的管理装置，包括：
采集模块；采集模块用于采集手术相关的数据；
处理器；处理器用于运行计算机程序，采集模块的数据信号输出端与处理器的数据信号输入端连接，计算机程序被处理器执行时实现如上述的用于规范手术室人员操作行为的管理方法的步骤；
储存器；储存器用于储存采集模块所采集的数据、计算机程序和处理器执行计算机程序所得到的违规行为分析结果，采集模块的数据信号输出端与储存器的数据信号输入端连接，储存器的信号端与处理器的信号端连接。
管理装置还包括统计分析模块，统计分析模块基于统计学公认的常识对设定时间范围内的违规行为进行分类汇总统计，统计分析模块的数据信号输入端与储存器的数据信号输出端连接。
具体的流程包括：
1.手术室数据的采集
如图2所示，手术室门口、更衣室出入口、洗手台、手术室墙角、手术台上空、手术室器械放置台、药品柜均配有摄像镜头，分别采集对应区域的视频图片。同时在手术室墙角和手术台上方亦配有音频采集装置收集对应区域的音频信息。以上由音频和视频图像收集装置收集得到的不同场景的音视频内容连同手术室的门禁信息发送至对应的计算机模型中。
2.模型数据的组合与关联
如图2所示，对视频信息，手术室门口人员识别计数模型、更衣结果识别模型、洗手状态识别模型、手术台器械识别模型、手术室人员行为识别模型、医师位置识别模型、急救药品识别模型等，分别接收放置于手术室门口、更衣室出入口、洗手台、手术器械放置台、手术室墙角、药品柜的摄像镜头所收集的视频信息，手术台上方的摄像镜头亦将视频信息传输至医师位置识别模型和手术台器械识别模型中。手术室门口人员识别模型、更衣结果识别模型、洗手状态识别模型、手术台器械识别模型、手术室人员行为识别模型、医师位置识别模型、急救药品识别模型分别通过训练得到的计算机神经网络实时识别和计数手术室门口人员的流动、参加手术医护人员的更衣状态、参加手术医护人员的洗手状态、本台手术中使用的器械种类及其分别计数，手术室人员的行为、手术室人员的位置及其计数、以及急救药品的种类及其计数。
对音频信息，手术室墙角和手术台上方的音频收集装置实时将音频信息传输至手术室内语音识别分析模型中。
生命体征动态分析模型、麻醉信息分析模型和手术室清洁内容分类模型实时通过数据线、宽带网络、无线电通讯等信息传输技术收集心电监护、麻醉信息和患者病历信息的数据。
语音内容的识别结果、生命体征动态分析模型、麻醉信息分析模型和由第一知识图谱构成的手术室清洁内容分类模型的分析结果实时通过计算机神经网络模型与手术室人员行为模型、手术台器械识别模型、医师位置识别模型和急救药品识别模型的识别结果建立关联。
3.第一、二知识图谱的构建及其与模型之间的关联
使用知识图谱算法，结合当前国内外制定和公认的规范化管理流程，包括但不限于手术室清洁流程、手术室器械耗材处理流程等内容，构建患者病原体感染情况等基本信息与器械、耗材、手术间、术者后续清洁内容的对应关系，为手术室清洁内容分类模型构建第一知识图谱；
使用知识图谱算法，结合当前国内外制定和公认的规范化管理流程，包括但不限于手术室人员流动管理流程、洗手操作规范化管理流程、患者术前核对规范化管理流程、器械清点规范化管理流程、术中突发事件管理流程、术中抢救规范化管理流程、术中器械遗落规范化管理流程、术中人员行为规范化管理流程、患者术后核对规范化管理流程、器械最终清点规范化管理流程、手术室清洁规范化管理流程等，为以上不同的模型构建第二知识图谱。
第二知识图谱实时接收1）手术室门禁信息、2）手术室门口人员识别计数模型、更衣结果识别模型、以及洗手状态识别模型的识别结果3）语音内容的识别结果与生命体征动态分析模型、麻醉信息分析模型和手术室清洁内容分类模型的分析结果实时通过计算机神经网络模型与手术室人员行为模型、手术台器械识别模型、医师位置识别模型和急救药品识别模型的识别结果建立的关联结果，并分析得到其识别的信息与管理流程规定的内容之间的符合度。如其识别的信息与管理流程内容的规定不符，模型根据违反规定的场景，实时通过广播和/或配置在手术室门口、更衣室、手术台、以及手术室内的显示屏提示正确的操作模式，并将违反规定的内容通过网络或数据线传输并储存至预置在手术室管理员计算机中或其他给定路径的数据库中。
4.违规行为的记录、统计与分析
根据手术室管理员的设置，如月度统计、季度统计、或年度统计等，模型内置的统计分析软件或插件自动获取数据库中记录的不同手术区域/手术间中违反规定的记录，包括违反规定的时间、地点、手术团队、以及违反规定的内容等，基于统计学公认的方法对不同类别的违规行为进行分类和汇总，从而得到医院及其不同手术团队在不同时空下手术室操作的规范性及其变化。手术室管理人员亦可通过统计结果获取手术室管理优化的建议。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。
Claims (8)
1.用于规范手术室人员操作行为的管理方法，其特征在于，其包括：
S1、构建语音识别模型、多个图像目标识别模型、多个数据动态分析模型，使用第一知识图谱构建手术室清洁内容分类模型，第一知识图谱为患者病原体感染情况与器械、耗材、手术间、术者后续清洁内容的对应关系；
S2、获取与手术室操作行为相关的测试数据集，使用语音识别算法、图像目标检测算法和数据分析算法分别训练语音识别模型、图像目标识别模型和数据动态分析模型；
S3、获取规范化管理流程，规范化管理流程包括手术室清洁流程、手术室器械耗材处理流程内容，并采用知识图谱算法构建第二知识图谱；
S4、第二知识图谱接收训练后的语音识别模型、图像目标识别模型、数据动态分析模型和手术室清洁内容分类模型的识别结果，第一知识图谱、第二知识图谱、训练后的语音识别模型、训练后的图像目标识别模型、训练后的数据动态分析模型和手术室清洁内容分类模型组合形成管理***；
S5、获取手术安排表格并实时采集手术相关的数据导入管理***，并与手术视频内容识别模型连接，结合当前不同手术室安排与手术进行的进度，按照当前的医疗标准对手术室人员的分配、操作进行管理。
2.根据权利要求1所述的用于规范手术室人员操作行为的管理方法，其特征在于，在S2中，测试数据集包括手术全程的手术室音频数据、视频图像数据、心电监护装置的心电信息和麻醉信息，视频图像数据包括手术室门口、更衣室出入口、洗手台、手术室墙角、手术台上空、手术室器械放置台和药品柜的视频。
3.根据权利要求2所述的用于规范手术室人员操作行为的管理方法，其特征在于，在S2中使用语音识别算法、图像目标检测算法和数据分析算法分别训练语音识别模型、图像目标识别模型和数据动态分析模型具体为：
手术室音频数据导入语音识别模型，并采用语音识别算法训练获得手术室内语音识别模型，构建手术室工作相关的词云数据库，将词云数据库的数据与手术室内语音识别模型输出结果对应，形成手术室内语音识别分析模型；
视频图像数据导入多个图像目标识别模型，并采用图像目标检测算法训练获得手术室门口人员识别计数模型、更衣结果识别模型、洗手状态识别模型、手术台器械识别模型、手术室人员行为识别模型、医师位置识别模型、急救药品识别模型；
利用心电信息和麻醉信息分别构建两个数据动态分析模型，并采用数据分析算法获得生命体征动态分析模型和麻醉信息分析模型的结果。
4.根据权利要求3所述的用于规范手术室人员操作行为的管理方法，其特征在于，在S4中，手术室内语音识别分析模型的识别结果、生命体征动态分析模型、麻醉信息分析模型和手术室清洁内容分类模型的分析结果实时通过计算机神经网络模型与手术室人员行为识别模型、手术台器械识别模型、医师位置识别模型和急救药品识别模型的识别结果建立关联，关联的关联结果、手术室门禁信息、手术室门口人员识别计数模型的输出、更衣结果识别模型的输出和洗手状态识别模型的输出作为知识图谱的输入形成管理***，知识图谱分析得到其识别的信息与管理流程规定的内容之间的符合度。
5.根据权利要求3所述的用于规范手术室人员操作行为的管理方法，其特征在于，语音识别模型包括信号处理模块和解码器模块，信号处理模块用于提取语音特征并将语音特征转换为特征矢量信号，解码器模块包括声学模型和语言模型，声学模型采用隐含马尔科夫模型进行建模，语言模型采用 N 元文法进行建模，信号处理模块的输出作为声学模型的输入，声学模型的输出作为语言模型的输入。
6.根据权利要求3所述的用于规范手术室人员操作行为的管理方法，其特征在于，图像目标识别模型由Backbone、Neck和Head依次连接组成，Backbone用于提取视频图像数据的特征信息，Neck用于融合Backbone提取的特征信息，Head用于利用融合后的Backbone提取的特征信息预测目标的位置和类别。
7.用于规范手术室人员操作行为的管理装置，其特征在于，包括：
采集模块；采集模块用于采集手术相关的数据；
处理器；处理器用于运行计算机程序，采集模块的数据信号输出端与处理器的数据信号输入端连接，计算机程序被处理器执行时实现如权利要求1-6中任一项所述的用于规范手术室人员操作行为的管理方法的步骤；
储存器；储存器用于储存采集模块所采集的数据、计算机程序和处理器执行计算机程序所得到的违规行为分析结果，采集模块的数据信号输出端与储存器的数据信号输入端连接，储存器的信号端与处理器的信号端连接。
8.根据权利要求7所述的用于规范手术室人员操作行为的管理装置，其特征在于，管理装置还包括统计分析模块，统计分析模块对设定时间范围内的违规行为进行分类汇总统计，统计分析模块的数据信号输入端与储存器的数据信号输出端连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210581702.8A CN114678117B (zh) | 2022-05-26 | 2022-05-26 | 用于规范手术室人员操作行为的管理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210581702.8A CN114678117B (zh) | 2022-05-26 | 2022-05-26 | 用于规范手术室人员操作行为的管理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114678117A CN114678117A (zh) | 2022-06-28 |
| CN114678117B true CN114678117B (zh) | 2022-08-02 |
Family
ID=82081079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210581702.8A Active CN114678117B (zh) | 2022-05-26 | 2022-05-26 | 用于规范手术室人员操作行为的管理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114678117B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091963B (zh) * | 2022-12-22 | 2024-05-17 | 广州奥咨达医疗器械技术股份有限公司 | 临床试验机构质量评估方法、装置、电子设备及存储介质 |
| CN116312092A (zh) * | 2023-03-15 | 2023-06-23 | 广东爱唯视医疗科技有限公司 | 一种基于5g-vr的眼科手术教学平台的示教方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001095253A2 (en) * | 2000-06-09 | 2001-12-13 | Medimage Aps | Quality and safety assurance of medical applications |
| CN106373062A (zh) * | 2016-08-31 | 2017-02-01 | 浙江金华广福肿瘤医院 | 手术流程管理***及围手术期标准化作业流程 |
| CN106528277A (zh) * | 2015-09-14 | 2017-03-22 | 北京空间飞行器总体设计部 | 适用于大型sar载荷自主fdir的标准化调度方法 |
| CN109166606A (zh) * | 2018-08-31 | 2019-01-08 | 上海轩昂医疗科技有限公司 | 一种电子病历在线编辑平台及其实现方法 |
| CN111667902A (zh) * | 2019-03-08 | 2020-09-15 | 震一科技(天津)有限公司 | 一种临床手术管理*** |
| CN112415921A (zh) * | 2020-10-12 | 2021-02-26 | 深圳市豫知科技有限公司 | 一种基于全过程监控的医源性感染及医疗不良事件溯源*** |
| CN112506123A (zh) * | 2020-10-12 | 2021-03-16 | 深圳市豫知科技有限公司 | 一种针对有洁净要求的医疗诊治环境监控*** |
| WO2021097367A1 (en) * | 2019-11-15 | 2021-05-20 | Onsite-Llc | Monitoring and enforcing infection safety procedures in operating rooms |
| CN112932663A (zh) * | 2021-03-02 | 2021-06-11 | 成都与睿创新科技有限公司 | 一种提高腹腔镜胆囊切除术安全性的智能辅助方法及*** |
| CN112966903A (zh) * | 2021-02-04 | 2021-06-15 | 成都鼎安华智慧物联网股份有限公司 | 危险化学品安全生产风险监测预警***及方法 |
| WO2021185049A1 (zh) * | 2020-03-14 | 2021-09-23 | 厦门波耐模型设计有限责任公司 | 医疗服务机器人装置及其方法、*** |
| CN114121239A (zh) * | 2021-10-21 | 2022-03-01 | 白杨智慧医疗信息科技(北京)有限公司 | 手术室异常情况处理方法、装置及电子设备 |
-
2022
- 2022-05-26 CN CN202210581702.8A patent/CN114678117B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001095253A2 (en) * | 2000-06-09 | 2001-12-13 | Medimage Aps | Quality and safety assurance of medical applications |
| CN106528277A (zh) * | 2015-09-14 | 2017-03-22 | 北京空间飞行器总体设计部 | 适用于大型sar载荷自主fdir的标准化调度方法 |
| CN106373062A (zh) * | 2016-08-31 | 2017-02-01 | 浙江金华广福肿瘤医院 | 手术流程管理***及围手术期标准化作业流程 |
| CN109166606A (zh) * | 2018-08-31 | 2019-01-08 | 上海轩昂医疗科技有限公司 | 一种电子病历在线编辑平台及其实现方法 |
| CN111667902A (zh) * | 2019-03-08 | 2020-09-15 | 震一科技(天津)有限公司 | 一种临床手术管理*** |
| WO2021097367A1 (en) * | 2019-11-15 | 2021-05-20 | Onsite-Llc | Monitoring and enforcing infection safety procedures in operating rooms |
| WO2021185049A1 (zh) * | 2020-03-14 | 2021-09-23 | 厦门波耐模型设计有限责任公司 | 医疗服务机器人装置及其方法、*** |
| CN112415921A (zh) * | 2020-10-12 | 2021-02-26 | 深圳市豫知科技有限公司 | 一种基于全过程监控的医源性感染及医疗不良事件溯源*** |
| CN112506123A (zh) * | 2020-10-12 | 2021-03-16 | 深圳市豫知科技有限公司 | 一种针对有洁净要求的医疗诊治环境监控*** |
| CN112966903A (zh) * | 2021-02-04 | 2021-06-15 | 成都鼎安华智慧物联网股份有限公司 | 危险化学品安全生产风险监测预警***及方法 |
| CN112932663A (zh) * | 2021-03-02 | 2021-06-11 | 成都与睿创新科技有限公司 | 一种提高腹腔镜胆囊切除术安全性的智能辅助方法及*** |
| CN114121239A (zh) * | 2021-10-21 | 2022-03-01 | 白杨智慧医疗信息科技(北京)有限公司 | 手术室异常情况处理方法、装置及电子设备 |
Non-Patent Citations (6)
| Title |
|---|
| Automatic response assessment in regions of language cortex in epilepsy patients using ECoG-based functional mapping and machine learning;Harish Ravi Prakash等;《2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC)》;20171201;519-524 * |
| 医疗卫生信息标准开发方法学研究与应用;赵霞;《中国博士学位论文全文数据库 医药卫生科技辑》;20190915(第09期);E054-4 * |
| 基于LSTM的车间生产异常预测与处理方法研究;郝昕;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20210215(第02期);I140-345 * |
| 基于依存句法分析与五防操作规范的变电运行操作知识图谱构建;马文杰 等;《科技风》;20211010(第28期);94-98 * |
| 基于卷积神经网络的半监督手术视频流程识别;祁宝莲 等;《计算机科学》;20200615;第47卷(第S1期);172-175 * |
| 外科洗手及手消毒规范性操作调查分析与对策;赵婧伶 等;《华西医学》;20160314;第31卷(第03期);440-443 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114678117A (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114678117B (zh) | 用于规范手术室人员操作行为的管理方法及装置 | |
| WO2021233112A1 (zh) | 基于多模态机器学习的翻译方法、装置、设备及存储介质 | |
| EP3567605A1 (en) | Structured report data from a medical text report | |
| JP2019212321A (ja) | 意味情報生成方法、意味情報生成装置、およびプログラム | |
| CN110337645A (zh) | 可适配的处理组件 | |
| US20200265953A1 (en) | Identifying Valid Medical Data for Facilitating Accurate Medical Diagnosis | |
| US11468989B2 (en) | Machine-aided dialog system and medical condition inquiry apparatus and method | |
| Wazalwar et al. | Interpretation of sign language into English using NLP techniques | |
| CN112115240B (zh) | 分类处理方法、装置、服务器和存储介质 | |
| WO2021208444A1 (zh) | 电子病例自动生成方法、装置、设备及存储介质 | |
| CN113314100B (zh) | 口语测试的评估、结果显示方法、装置、设备及存储介质 | |
| CN109741824B (zh) | 一种基于机器学习的医疗问诊方法 | |
| CN111986793B (zh) | 基于人工智能的导诊处理方法、装置、计算机设备及介质 | |
| CN113593709B (zh) | 一种疾病编码方法、***、可读存储介质及装置 | |
| US20140289253A1 (en) | System for management of sentiments and methods thereof | |
| US8423498B2 (en) | System and associated method for determining and applying sociocultural characteristics | |
| WO2023040516A1 (zh) | 一种事件整合方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| KR20190103504A (ko) | 대화시나리오 자동 수집 및 온톨로지 대화 관계망을 이용한 연속 대화 방법 및 시스템 | |
| CN116842143A (zh) | 基于人工智能的对话模拟方法、装置、电子设备及介质 | |
| CN116994695A (zh) | 报告生成模型的训练方法、装置、设备及存储介质 | |
| CN113742445B (zh) | 文本识别样本获取、文本识别方法及装置 | |
| US20210264113A1 (en) | Automatically extending a domain taxonomy to the level of granularity present in glossaries in documents | |
| CN113255442A (zh) | 金融从业人员行为识别与风险内控方法、装置、电子设备及存储介质 | |
| KR20220009164A (ko) | 대화기반 정신장애선별방법 및 그 장치 | |
| CN112069800A (zh) | 基于依存句法的句子时态识别方法、设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |