CN114724682A - 用于微创手术的辅助决策方法及装置 - Google Patents
用于微创手术的辅助决策方法及装置 Download PDFInfo
- Publication number
- CN114724682A CN114724682A CN202210640730.2A CN202210640730A CN114724682A CN 114724682 A CN114724682 A CN 114724682A CN 202210640730 A CN202210640730 A CN 202210640730A CN 114724682 A CN114724682 A CN 114724682A
- Authority
- CN
- China
- Prior art keywords
- minimally invasive
- model
- invasive surgery
- decision
- state classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioethics (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Urology & Nephrology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Instructional Devices (AREA)
Abstract
本发明公开了用于微创手术的辅助决策方法及装置,涉及人工智能领域,方法包括:S1构建三个标注数据库,S2三个标注数据库分别对人工智能计算机视觉模型训练得到手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型;S3构建术式决策模型,S4采集微创手术视频;S5患者基本信息与三个识别结果导入术式决策模型,提供术式决策建议。采用人工智能计算机模型自动识别手术解剖结构、手术阶段、手术中安全视野暴露情况和手术视野下器官病变状态等关键手术要素,将提取的多维度手术要素和术式决策模型匹配,以图文形式提示,有效辅助外科医生充分执行临床相关的LC操作指南及提供住院医师的教学服务。
Description
技术领域
本发明涉及人工智能领域,尤其涉及一种用于微创手术的辅助决策方法及装置。
背景技术
手术方式的决策,不仅需要考虑到患者的病情严重程度以及手术过程中的多方面手术要素,如患者的病情、解剖结构及其处理情况、视野的暴露情况等,并需要在特定的手术节点下即时通过复杂的因素做出正确的结论。其决策的正确与否不仅直接决定了手术的成功与否,而且亦与术后患者的恢复及其预后相关联。
然而,当前外科医师需要面对不同情况的患者,加之长时间高强度的工作与决策、以及大量患者信息的分析处理等,不仅为医师带来严重的工作倦怠,而且有损外科医师在工作中的耐心、精神状态以及决策的准确率;同时,外科医师自身存在的主观因素,包括关注与解读患者方式的不同、数据获取和分析不及时、过于自信、过于谨慎、过于经验主义、或未能充分考虑患者的特殊情况等,这亦使得外科医师出现手术决策失误的情况。据国际文献报道,9%的医师承认在其工作的近3个月内出现过这种决定上的失误,同时这种决策失误亦是造成患者可控性术后损伤的第二大因素。这种因手术方式决策失误而带来的损伤因其严重性和常见性,而成为了外科工作中需要解决的一大问题。
发明内容
本发明为了解决上述问题设计了一种用于微创手术的辅助决策方法及装置。
本发明通过以下技术方案来实现上述目的:
用于微创手术的辅助决策方法,包括以下步骤:
S1、构建手术阶段及异常事件时序标注数据库、关键解剖处理状态分类标注数据库和器官病变状态分类标注数据库;
S2、通过手术阶段及异常事件时序标注数据库、关键解剖处理状态分类标注数据库和器官病变状态分类标注数据库分别对人工智能计算机视觉模型进行训练,分别得到手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型;
S3、根据专家知识图谱构建术式决策模型,术式决策模型用于根据手术阶段及异常事件识别结果、手术解剖处理状态识别结果、手术视野下的器官病变状态识别结果和患者的基本信息得出术式决策建议;
S4、实时采集微创手术的视频,并分别导入手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型输出三个识别结果;
S5、采集患者的基本信息,并与三个识别结果一起导入术式决策模型,获得术式决策建议提供给手术医生。
用于微创手术的辅助决策装置,包括:
储存器;储存器内储存有计算机程序;
处理器;处理器用于运行所述计算机程序,所述计算机程序被所述处理器执行时实现如上述的用于微创手术的辅助决策方法的步骤。
本发明的有益效果在于:采用人工智能计算机模型自动识别手术解剖结构、手术阶段及发生事件、手术中安全视野的暴露情况、以及手术视野下的器官病变状态等关键手术要素,同时收集和固化进行符合当前临床指南的手术决策思路体系并建立术式决策模型。在实际手术操作过程中,将提取到的多维度手术要素和术式决策模型进行计算匹配,并在手术关键节点中以图文形式进行提示,从而有效的辅助外科医生充分执行临床相关的LC操作指南及提供住院医师的教学服务。
附图说明
图1是本发明的流程示意图;
图2是本发明S1和S2的具体流程示意图;
图3是时序关系网络TRN算法的流程示意图;
图4是YOLOv3神经网络的结构示意图;
图5是术式决策模型构建流程示意图;
图6是专家知识图谱示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要理解的是,术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,或者是本领域技术人员惯常理解的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,“设置”、“连接”等术语应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接连接,也可以通过中间媒介间接连接,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图,对本发明的具体实施方式进行详细说明。
如图1所示,本发明专利涉及用于微创手术的辅助决策方法,其具体包括以下内容:
在S1中具体包括:根据不同的微创手术及其负责科室,收集微创手术视频,并对手术视频进行统一转码,并通过FFmpeg软件提取手术视频关键图片;被收集的手术视频需要满足分辨率不低于720×560且每秒不低于25帧的要求,手术视频的来源包括但不限于肝胆外科、胃肠外科、甲状腺外科、胸外科、泌尿外科、妇科、产科、耳鼻喉科、消化内科、以及其他内镜科室,用于关键解剖结构处理状态的视频图片需要按照1秒钟1帧的频率进行抽取,器官病变状态的视频图片需要按照1秒1帧抽取手术开始的视频总时长的前十分之一时间内的视频图片。
通过线上视频库平台对手术阶段及异常事件进行标注,如腹腔镜胆囊切除术中的建立气腹、松解粘连、分离肝胆三角、游离胆囊床、清理术区、取出胆囊六个阶段,以及术中出血、视野模糊、体腔积液、胆囊破裂等不同的异常事件,并导出相应的标注文件,构建成为手术阶段及异常事件时序标注数据库;
通过精灵标注助手软件标注关键图片中关键解剖区域的处理状态,并通过Labelme标注软件标注关键解剖结构,如腹腔镜胰十二指肠切除术过程中胃十二指肠动脉的处理与包埋、胸腔镜肺叶切除术的支气管与支气管动静脉的解剖处理状态等,并导出相应的标注文件构建成为关键解剖处理状态分类标注数据库;
通过线上视频库平台标注图片中关键解剖区域的病变状态,如Feliciano脾破裂分级、AAST肝破裂分级等,并导出相应的标注文件构建成为器官病变状态分类标注数据库。
在S2中具体包括:手术阶段及异常事件时序标注数据库和器官病变状态分类标注数据库中标注的数据以标注图片所在的视频为单位,按照8:1:1的比例把视频分别分配进入训练集、验证集和测试集中,并如图2中所示,并通过时序关系网络TRN等计算机神经网络分别进行训练得到手术阶段及异常事件识别模型和器官病变状态分类模型;
关键解剖处理状态分类标注数据库中标注的数据以标注图片所在的视频为单位,按照8:1:1的比例把视频分别分配进入训练集、验证集和测试集中,通过YOLOv3神经网络对关键解剖区域的范围进行提取,随后通过时序关系网络算法,训练得到关键解剖处理状态分类模型。
在S3中具体包括:使用专家知识图谱,融合包括手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型的识别结果,并结合患者的基本信息,构建术式决策模型;
在S4中具体包括:手术过程中,由微创手术镜头输入的微创手术视频;
实时输入至手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型进行分析识别,最终分别得到当前的手术阶段或手术异常事件、当前关键解剖结构的处理状态和器官的病变状态,如图3所示;
在S5中具体包括:通过访问医院病历***,获取当前接受手术患者的基本信息;
专家知识图谱按照标注构建的关联信息,实时通过知识推理得出特定患者特点下的特定阶段、器官病变状态及相应解剖处理状态下的手术方式决策结论;
当手术方式决策的结论与当前按照计划进行的手术方式不符时,会通过字幕的方式,辅助提示外科医师进行术式的切换。
以腹腔镜胰十二指肠切除术、腹腔镜脾脏切除术为例,手术阶段和场景包括的内容如下:
腹腔镜胰十二指肠切除术中阶段包括:1. 建立气腹、2. 下降横结肠、3. Kocher’s切口的建立、4. 处理胰腺下缘、5. 剥离胆囊和离断肝总管、6. 处理胰腺上缘、7. 离断胃或十二指肠、8. 离断空肠及游离肠系膜、9. 离断胰颈、10. 钩突切除、11. 胰肠吻合、12.胆肠吻合、13. 胃肠吻合;
腹腔镜脾脏切除术术中阶段包括:1. 建立气腹、2. 分离粘连、3. 打开脾胃韧带、4. 游离脾脏、5. 分离脾门血管、6. 离断脾脏动静脉、7. 取出标本、 8. 清理术野;
所需标注的异常事件包括但不限于:
1. 术中出血、2. 解剖视野模糊、3. 体腔积液、4. 胆囊破裂。
器官病变状态指患者主要疾病病变器官因需进行手术治疗的疾病而引起的视野下的外观形态和结构的改变状态,如腹腔镜脾脏切除术中的脾脏破裂分级,包括1级(被膜撕裂或轻度脾实质裂伤)、2级(脾被膜撕脱)、3级(严重脾实质裂伤)、4级(脾脏星状破裂或脾门损伤)、5级(脾粉碎性损伤)等;
关键解剖结构处理状态指与手术安全或手术预后直接密切相关联的或潜在容易造成副损伤的解剖区域的不同的解剖区分度处理等级,以腹腔镜胆囊切除术为例,所需标注的关键解剖结构处理状态包括关键安全视野的3个标准,分别为:1)肝胆三角区域多余组织的充分清理;2)胆囊床下1/3的暴露;3)两个与胆囊相连的管道的暴露,对于相应解剖区域(肝胆三角)可见的手术图片,其标注过程中从优至劣区分为2,1,0三个分数档次。
如图3所示,用于训练手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型的时序关系网络TRN算法通过2D卷积,在几乎不增加计算量的情况下,通过计算帧与帧之间的关系,实现了时序上的视频理解;
时序关系网络TRN设计了新型的融合方式(神经网络MLP)来表征不同时序片段的关系。通过时间维度上多尺度特征融合,来提高视频级的鲁棒性,有一定对抗快速动作和慢速动作干扰,
这里神经网络MLP结构组成为:
1)、首先拼接多尺度特征向量;
2)、然后将特征向量通过ReLU激活函数;
3)、接下来将激活后的结果输入全连接层;
4)、重复步骤2)、步骤3)两次后的输出为神经网络MLP结构最终输出;
时序关系网络TRN算法总体流程为:
A.先均匀地按照要求抽帧;
B.然后均匀地采样出不同尺度的分段;
C.在这些分段中随机选择一帧组合成2帧、3帧、...、N帧的一段视频信息;
D.然后对每个分段里小片提取空间特征,进行神经网络MLP的时序融合,送进分类器;
E.最后将不同尺度的分类分数叠加来作为最后预测值。
上式卷积计算公式,其中y表示卷积计算输出,n表示神经元个数,wi表示第i个神经元的权重,xi表示第i个神经元的输入数据,b为计算结果添加一个偏移量。
上式为批归一化层计算公式,其中BN表示批归一化计算输出,x表示输入数据,E[x]表示x张量的均值,Var[x]表示x张量的方差,ξ表示一个极小的参数为保证分母不为0,γ和β为可学习系数。
ReLU=max(0,x)
上式表示ReLU激活函数的公式,其中表示输入张量,表示取其中的最大值。
2帧关系表达方程:
3帧关系表达方程:
使用如下方程,把不同数量的前后帧依赖方程累加在一起捕获不同时间尺度时间依赖关系。
MTN(V)=T2(V)+T3(V)+...+TN(V)
使用手术阶段及异常事件时序标注数据库、关键解剖处理状态分类标注数据库和器官病变状态分类标注数据库,通过时序关系网络TRN算法的以上计算程序,最终训练得到手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型。
如图4所示,图4中的box是YOLOv3神经网络预测的边界框。
用于对关键解剖结构处理状态进行范围提取的YOLOv3神经网络以darknet-53为主干网络,其后面连接了三个检测器;
主干网络由多个残差模块构成,每个残差模块由2D卷积层、批归一化层和leakyReLU层组成。由于没有池化层,使用步幅为2的2D卷积层替代池化层进行特征图的降采样过程,可以有效阻止由于池化层导致的低层级特征的损失;
由于YOLOv3神经网络借鉴了金字塔特征图思想,小尺寸特征图用于检测大尺寸物体,而大尺寸特征图检测小尺寸物体,所以使用了多个检测器检测目标;
3个检测器也都包括了2D卷积层、批归一化层和leakyReLU层,不过在检测头部没有使用残差结构,3个检测器分别输出3个特征图,第一个特征图下采样32倍,第二个特征图下采样16倍,第三个下采样8倍。均是由主干网络输出的特征图串行经过不同次数上采样得到的;其总体流程如下:
①、抽取原图送入darknet-53主干网络得到特征图1,特征图1的边界框数量为52×52;
②、将特征图1输入检测头1得到尺寸最小的检测结果特征图1;
③、将特征图1上采样一次,得到特征图2,特征图2的边界框数量为26×26;
④、将特征图2输入检测头2得到尺寸居中的检测结果特征图2;
⑤、将特征图2上采样一次,得到特征图3,特征图3的边界框数量为13×13;
⑥、将特征图3输入检测头3得到尺寸最大的检测结果特征图3;
⑦、根据检测结果特征图1、2、3信息得到图中需要的所有目标检测结果。
训练过程中,我们会给定9个先验框,表示大部分目标基本可以用这9个先验框表示。这9个先验框我们会把表述数据中所有目标框进行聚类,聚成9类,这9类的中心点就是先验框的大小;
在训练关键解剖处理状态分类模型的过程中,先通过YOLOv3神经网络对关键解剖处理状态的最小评估范围(矩形框)进行预先自动提取,之后将该算法提取出的提取框及与原图片对应的评分结果输入至TRN算法进行训练关键解剖处理状态分类模型。
以上模型的评价指标包括精确性(Precision)、召回率(Recall)、平均精度准确率(Mean Average Precision)、准确性(Accuracy)等指标。
如图5所示,术式决策模型通过专家知识图谱融合包括手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型的识别结果,并融合患者的基本信息,其中:
患者的基本信息包括病历***中与手术视频对应患者的基本人口学信息、诊断学信息、以及既往病史等内容,包括:性别、年龄、体重质量指数、既往病史、个人史、婚育月经史、诊断结果、手术方式等基本病历信息内容;
如图6所示,专家知识图谱的构建,包括了知识建模、知识存储、知识抽取、知识融合、知识计算等环节;
知识建模为专家根据患者的基本信息及其对应的手术视频和以上三模型的识别结果,建立数据关联,如:在腹腔镜脾脏手术中,30岁的中年男性伴有II级高血压患者,诊断为脾破裂,器官病变状态、关键解剖处理状态、手术阶段/异常事件识别结果分别提示患者脾破裂等级4级和伴有视野下严重出血,脾门血管解剖结构模糊不清、和当前处于腹腔探查阶段,其对应的决策结果为中转开腹,其具体步骤如下:
手术视频收集过程中,将患者病历***中的基本信息与其对应的手术视频之间进行关联,使用FFmpeg软件抽取手术视频图片后,分别使用手术阶段及异常事件识别模型、关键解剖处理状态分类模型、以及器官病变状态分类模型对手术图片中对应的手术元素进行识别,并在对应的图片中生成以上手术要素的标签;
使用附带患者基本信息、手术阶段/异常事件、关键解剖处理状态、器官病变状态等手术要素标签的微创手术图片,通过精灵标注助手软件对手术方式的决策进行标注,构建术式决策标注数据库;该标注根据不同手术对应的专科,由副主任医师及以上的外科工作者进行,标注内容和规范的确定以专家共识、专著、论文、及其他高可信度外科文献进行,如腹腔镜脾脏手术中的“脾缝合修补术”、“脾缝合修补术+应用止血剂”、“脾部分切除术”、“脾全切除术”、“中转开腹”等标签选项,或腹腔镜胆囊切除术之“腹腔镜顺行胆囊切除术”、“腹腔镜逆行胆囊切除术”、“腹腔镜胆囊次全切”、“中转开腹”等标签选项。
知识存储用于存储包括手术视频图片、患者基本信息、以及器官病变状态、关键解剖处理状态、手术阶段/异常事件识别结果的信息节点及节点与手术决策结果之间的信息关联,存储方式包括基于Neo4j等图数据库等方式。
知识抽取包括实体提取、关系抽取和属性抽取等不同的方式,其实施根据源信息的结构进行完成,患者的基本信息及其字段通过属性抽取完成,患者基本信息与手术图片之间的关联、以及手术图片与模型识别结果之间的关联均通过关系抽取进行完成,此外,对于以无格式文本形式储存的患者的基本信息,可通过实体抽取进行完成。
知识融合包括实体连接和实体合并两个流程,前者用于上述信息节点的处理,即:通过相似度计算进行实体消歧和共指消解,确认正确实体对象后,再将该实体指称项链接到知识库中对应实体。其中实体消歧解决同名实体产生歧义问题,共指消解解决多个指称对应同一实体对象的问题;后者用于专家构建的关系数据库的处理,包括合并外部知识库及使用RDB2RDF合并关系数据库等方式。
知识计算包括本体构建、知识推理、质量评估和知识更新等内容;
本体构建为通过实体并列关系相似度计算、实体上下位关系抽取、本体的生成,完成自动化的本体构建,实现将数据归类成人工的概念集合/概念框架,如“肝脏”、“脾脏”、“肺”等。
知识推理为通过基于逻辑的推理、基于图的推理和基于深度学***均准确率等衡量术式决策模型的准确性。
质量评估为对知识的可信度进行量化,通过舍弃置信度较低的知识来保障知识库的质量。
知识更新包括概念层的更新和数据层的更新,前者指新增数据后获得了新的概念,需要自动将新的概念添加到知识库的概念层中;后者指新增或更新实体、关系、属性值,对数据层进行更新需要考虑数据源的可靠性、数据的一致性(是否存在矛盾或冗杂等问题)等可靠数据源,并选择在各数据源中高频出现的事实和属性加入知识库。
用于微创手术的辅助决策装置,包括:
储存器;储存器内储存有计算机程序;
处理器;处理器用于运行所述计算机程序,所述计算机程序被所述处理器执行时实现如上述的用于微创手术的辅助决策方法的步骤。
本发明的技术方案不限于上述具体实施例的限制,凡是根据本发明的技术方案做出的技术变形,均落入本发明的保护范围之内。
Claims (9)
1.用于微创手术的辅助决策方法,其特征在于,包括以下步骤:
S1、构建手术阶段及异常事件时序标注数据库、关键解剖处理状态分类标注数据库和器官病变状态分类标注数据库;
S2、通过手术阶段及异常事件时序标注数据库、关键解剖处理状态分类标注数据库和器官病变状态分类标注数据库分别对人工智能计算机视觉模型进行训练,分别得到手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型;
S3、根据专家知识图谱构建术式决策模型,术式决策模型用于根据手术阶段及异常事件识别结果、手术解剖处理状态识别结果、手术视野下的器官病变状态识别结果和患者的基本信息得出术式决策建议;
S4、实时采集微创手术的视频,并分别导入手术阶段及异常事件识别模型、关键解剖处理状态分类模型和器官病变状态分类模型输出三个识别结果;
S5、采集患者的基本信息,并与三个识别结果一起导入术式决策模型,获得术式决策建议提供给手术医生。
2.根据权利要求1所述的用于微创手术的辅助决策方法,其特征在于,在S1中包括以下步骤:
S11、收集微创手术视频并进行转码;
S12、对转码后的微创手术视频进行处理,构建手术阶段及异常事件时序标注数据库、关键解剖处理状态分类标注数据库和器官病变状态分类标注数据库,具体为:
构建手术阶段及异常事件时序标注数据库;标注转码后微创手术视频中的手术阶段和不同异常事件,并导出相应的标注文件构建成为手术阶段及异常事件时序标注数据库;
构建关键解剖处理状态分类标注数据库;抽取转码后的微创手术视频的图片,标注图片中关键解剖区域的处理状态,并导出相应的标注文件构建成为关键解剖处理状态分类标注数据库;
构建器官病变状态分类标注数据库;抽取转码后的微创手术视频中手术开始阶段的图片,标注图片中关键解剖区域的病变状态,并导出相应的标注文件构建成为器官病变状态分类标注数据库。
3.根据权利要求1所述的用于微创手术的辅助决策方法,其特征在于,在S2中,对手术阶段及异常事件时序标注数据库和器官病变状态分类标注数据库中的数据使用时序关系网络TRN算法训练,分别得到手术阶段及异常事件识别模型和器官病变状态分类模型,对关键解剖处理状态分类标注数据库中的数据使用YOLOv3神经网络提取关键解剖区域的范围,再使用时序关系网络TRN算法训练得到关键解剖处理状态分类模型。
4.根据权利要求3所述的用于微创手术的辅助决策方法,其特征在于,YOLOv3神经网络包括darknet-53网络和三个检测器,darknet-53网络和三个检测器依次连接。
5.根据权利要求4所述的用于微创手术的辅助决策方法,其特征在于,darknet-53网络包括多个残差模块,每个残差模块包括2D卷积层、批归一化层和leaky ReLU层,每个检测器包括2D卷积层、批归一化层和leaky ReLU层。
6.根据权利要求3所述的用于微创手术的辅助决策方法,其特征在于,时序关系网络TRN算法包括以下步骤:
A、先均匀地按照要求对标注文件进行抽帧;
B、采样出不同尺度的分段;
C、在分段中随机选择一帧组合成2帧、3帧、...、N帧的一段视频信息;
D、提取每个分段中视频信息的空间特征,并进行神经网络MLP时序融合,再导入分类器;
E、将不同尺度的分类分数叠加来作为最后预测值。
8.根据权利要求6所述的用于微创手术的辅助决策方法,其特征在于,神经网络MLP包括以下步骤:
1)、拼接多尺度特征向量;
2)、将特征向量通过ReLU激活函数;
3)、将激活后的结果输入全连接层;
4)、重复步骤2)和步骤3)两次后的输出作为神经网络MLP的输出结果。
9.用于微创手术的辅助决策装置,其特征在于,包括:
储存器;储存器内储存有计算机程序;
处理器;处理器用于运行所述计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-8中任一项所述的用于微创手术的辅助决策方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210640730.2A CN114724682B (zh) | 2022-06-08 | 2022-06-08 | 用于微创手术的辅助决策装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210640730.2A CN114724682B (zh) | 2022-06-08 | 2022-06-08 | 用于微创手术的辅助决策装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114724682A true CN114724682A (zh) | 2022-07-08 |
CN114724682B CN114724682B (zh) | 2022-08-16 |
Family
ID=82232461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210640730.2A Active CN114724682B (zh) | 2022-06-08 | 2022-06-08 | 用于微创手术的辅助决策装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114724682B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115187596A (zh) * | 2022-09-09 | 2022-10-14 | 中国医学科学院北京协和医院 | 用于腹腔镜结直肠癌手术的神经智能辅助识别*** |
CN115359873A (zh) * | 2022-10-17 | 2022-11-18 | 成都与睿创新科技有限公司 | 用于手术质量的控制方法 |
CN116187448A (zh) * | 2023-04-25 | 2023-05-30 | 之江实验室 | 一种信息展示的方法、装置、存储介质及电子设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107296650A (zh) * | 2017-06-01 | 2017-10-27 | 西安电子科技大学 | 基于虚拟现实和增强现实的智能手术辅助*** |
CN107582097A (zh) * | 2017-07-18 | 2018-01-16 | 中山大学附属第医院 | 一种基于多模态超声组学的智能辅助决策*** |
CN110009007A (zh) * | 2019-03-18 | 2019-07-12 | 武汉大学 | 一种面向多类型疾病的人工智能手术辅助*** |
CA3107582A1 (en) * | 2018-07-25 | 2020-01-30 | The Trustees Of The University Of Pennsylvania | Methods, systems, and computer readable media for generating and providing artificial intelligence assisted surgical guidance |
US20200273581A1 (en) * | 2019-02-21 | 2020-08-27 | Theator inc. | Post discharge risk prediction |
CN112932663A (zh) * | 2021-03-02 | 2021-06-11 | 成都与睿创新科技有限公司 | 一种提高腹腔镜胆囊切除术安全性的智能辅助方法及*** |
CN113205504A (zh) * | 2021-05-12 | 2021-08-03 | 青岛大学附属医院 | 基于知识图谱的人工智能肾肿瘤预测*** |
CN113239208A (zh) * | 2021-05-06 | 2021-08-10 | 广东博维创远科技有限公司 | 一种基于知识图谱的标注训练模型 |
US20210313077A1 (en) * | 2013-03-15 | 2021-10-07 | James Paul Smurro | Augmenting Clinical Intelligence with Federated Learning, Imaging Analytics and Outcomes Decision Support |
CN114299072A (zh) * | 2022-03-11 | 2022-04-08 | 四川大学华西医院 | 一种基于人工智能的解剖变异识别提示方法及*** |
-
2022
- 2022-06-08 CN CN202210640730.2A patent/CN114724682B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210313077A1 (en) * | 2013-03-15 | 2021-10-07 | James Paul Smurro | Augmenting Clinical Intelligence with Federated Learning, Imaging Analytics and Outcomes Decision Support |
CN107296650A (zh) * | 2017-06-01 | 2017-10-27 | 西安电子科技大学 | 基于虚拟现实和增强现实的智能手术辅助*** |
CN107582097A (zh) * | 2017-07-18 | 2018-01-16 | 中山大学附属第医院 | 一种基于多模态超声组学的智能辅助决策*** |
CA3107582A1 (en) * | 2018-07-25 | 2020-01-30 | The Trustees Of The University Of Pennsylvania | Methods, systems, and computer readable media for generating and providing artificial intelligence assisted surgical guidance |
US20200273581A1 (en) * | 2019-02-21 | 2020-08-27 | Theator inc. | Post discharge risk prediction |
CN110009007A (zh) * | 2019-03-18 | 2019-07-12 | 武汉大学 | 一种面向多类型疾病的人工智能手术辅助*** |
CN112932663A (zh) * | 2021-03-02 | 2021-06-11 | 成都与睿创新科技有限公司 | 一种提高腹腔镜胆囊切除术安全性的智能辅助方法及*** |
CN113239208A (zh) * | 2021-05-06 | 2021-08-10 | 广东博维创远科技有限公司 | 一种基于知识图谱的标注训练模型 |
CN113205504A (zh) * | 2021-05-12 | 2021-08-03 | 青岛大学附属医院 | 基于知识图谱的人工智能肾肿瘤预测*** |
CN114299072A (zh) * | 2022-03-11 | 2022-04-08 | 四川大学华西医院 | 一种基于人工智能的解剖变异识别提示方法及*** |
Non-Patent Citations (3)
Title |
---|
K. BHASKAR等: "Decision support requirements for intelligent operation of southern grid in India", 《2006 IEEE POWER INDIA CONFERENCE》 * |
刘杰等: "乳腺癌治疗决策:从个体化治疗到精准医学", 《临床医药文献电子杂志》 * |
古衡: "基于深度学习的人体狭窄腔道中内窥镜插管辅助决策", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115187596A (zh) * | 2022-09-09 | 2022-10-14 | 中国医学科学院北京协和医院 | 用于腹腔镜结直肠癌手术的神经智能辅助识别*** |
CN115359873A (zh) * | 2022-10-17 | 2022-11-18 | 成都与睿创新科技有限公司 | 用于手术质量的控制方法 |
CN116187448A (zh) * | 2023-04-25 | 2023-05-30 | 之江实验室 | 一种信息展示的方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114724682B (zh) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114724682B (zh) | 用于微创手术的辅助决策装置 | |
Rieger et al. | Interpretations are useful: penalizing explanations to align neural networks with prior knowledge | |
CN112932663B (zh) | 一种提高腹腔镜胆囊切除术安全性的智能辅助*** | |
US7653227B2 (en) | Hierarchical modeling in medical abnormality detection | |
CN114299072B (zh) | 一种基于人工智能的解剖变异识别提示方法及*** | |
Navarrete-Welton et al. | Current applications of artificial intelligence for intraoperative decision support in surgery | |
Lecuyer et al. | Assisted phase and step annotation for surgical videos | |
Seok et al. | Expert system for automated bone age determination | |
Chhabra et al. | A smart healthcare system based on classifier DenseNet 121 model to detect multiple diseases | |
CN113222064A (zh) | 一种图像目标对象实时检测方法、***、终端及存储介质 | |
CN113662664B (zh) | 一种基于仪器追踪的外科手术质量客观自动化评估方法 | |
Stoean et al. | Deep learning for the detection of frames of interest in fetal heart assessment from first trimester ultrasound | |
Demir et al. | Automated knee ligament injuries classification method based on exemplar pyramid local binary pattern feature extraction and hybrid iterative feature selection | |
Xi et al. | Forest graph convolutional network for surgical action triplet recognition in endoscopic videos | |
Binol et al. | OtoXNet—Automated identification of eardrum diseases from otoscope videos: A deep learning study for video-representing images | |
Singh et al. | Semantic segmentation of bone structures in chest X-rays including unhealthy radiographs: A robust and accurate approach | |
Khodaee et al. | Automatic placental distal villous hypoplasia scoring using a deep convolutional neural network regression model | |
Zhao et al. | Murphy: relations matter in surgical workflow analysis | |
US20240112809A1 (en) | Interpretation of intraoperative sensor data using concept graph neural networks | |
Liu et al. | Yolo-angio: an algorithm for coronary anatomy segmentation | |
JP7497930B2 (ja) | 臨床記録データ生成方法及び装置 | |
You et al. | Automated computer evaluation of acute ischemic stroke and large vessel occlusion | |
CN114145844A (zh) | 一种基于深度学习算法的腹腔镜手术人工智能云辅助*** | |
Mahmoud et al. | CatStep: Automated Cataract Surgical Phase Classification and Boundary Segmentation Leveraging Inflated 3D-Convolutional Neural Network Architectures and BigCat | |
Xiao et al. | Denxfpn: pulmonary pathologies detection based on dense feature pyramid networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |