CN114299072A - 一种基于人工智能的解剖变异识别提示方法及*** - Google Patents
一种基于人工智能的解剖变异识别提示方法及*** Download PDFInfo
- Publication number
- CN114299072A CN114299072A CN202210235270.5A CN202210235270A CN114299072A CN 114299072 A CN114299072 A CN 114299072A CN 202210235270 A CN202210235270 A CN 202210235270A CN 114299072 A CN114299072 A CN 114299072A
- Authority
- CN
- China
- Prior art keywords
- image
- anatomical
- variation
- organ
- variant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003484 anatomy Anatomy 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 22
- 210000000056 organ Anatomy 0.000 claims abstract description 117
- 230000011218 segmentation Effects 0.000 claims abstract description 94
- 238000003384 imaging method Methods 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000001356 surgical procedure Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 28
- 238000002372 labelling Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 21
- 210000004185 liver Anatomy 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 11
- 210000003445 biliary tract Anatomy 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 210000000496 pancreas Anatomy 0.000 claims description 9
- 210000000013 bile duct Anatomy 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 210000001198 duodenum Anatomy 0.000 claims description 7
- 230000007717 exclusion Effects 0.000 claims description 7
- 210000000702 aorta abdominal Anatomy 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 210000002784 stomach Anatomy 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000000968 intestinal effect Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 230000002496 gastric effect Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000002674 endoscopic surgery Methods 0.000 abstract description 15
- 230000000007 visual effect Effects 0.000 abstract description 10
- 210000001519 tissue Anatomy 0.000 description 19
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 210000000232 gallbladder Anatomy 0.000 description 7
- 210000003459 common hepatic duct Anatomy 0.000 description 6
- 230000006378 damage Effects 0.000 description 5
- 210000001367 artery Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 210000002767 hepatic artery Anatomy 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000000952 spleen Anatomy 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 241000512668 Eunectes Species 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000028389 Nerve injury Diseases 0.000 description 1
- 206010051077 Post procedural haemorrhage Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000015271 coagulation Effects 0.000 description 1
- 238000005345 coagulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009297 electrocoagulation Methods 0.000 description 1
- 238000011902 gastrointestinal surgery Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000002440 hepatic effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于人工智能的解剖变异识别提示方法及***,包括实时采集腔镜图像,并根据腔镜器官分割模型和器械关键点检测模型获取实时器官分割数据以及器械关键点数据;通过分析手术前影像学图像获取变异结构和周围器官的位置关系,提取影像学图像变异结构周围器官组织分割数据进行对比,判断变异结构的位置;实时检测器械关键点和变异结构的位置信息,当器械在变异解剖结构区域进行操作时,对变异解剖结构区域进行提示,根据提示进行操作。本发明通过建立影像学检查和腔镜手术视野之间的对应关系,手术中关键操作的脉络管道结构得到了准确有效的定位,为外科手术更为精确的进行提供了重要的条件。
Description
技术领域
本发明涉及医学图像处理技术领域,尤其涉及一种基于人工智能的解剖变异识别提示方法及***。
背景技术
在各专科的外科手术中,解剖变异的存在是各类手术过程中普遍面临的一大难题,而一旦出现,便极有可能引起该变异结构的损伤,导致手术过程中出血、管道损伤、神经损伤,以及术后出血、感染、丧失相关功能乃至不必要的术后残疾及死亡等不良事件的发生,从而使得手术实施存在较高的危险性和潜在的医患纠纷。
一方面,由于解剖变异的多元性、罕见性、以及难以预见性,目前医学上往往通过CT、核磁共振、神经电生理和术中各类别造影方式等鉴别解剖变异的存在及其种类;然而即便是如此,手术医师仍在一些情况下因不能预见其确切位置或者操作失误等原因,导致上述不良后果的发生;另一方面,随着人工智能计算机深度学习技术的进一步成熟,及其在医学影像、图片集手术视频处理上的逐步应用,计算机模型已经可以有效的处理CT、MRI等影像图片以及手术过程的视频进行实时处理,此类技术的应用可以自动检测异常的解剖结构,并在手术开展过程中实时根据手术的视野进行对应范围的呈现;因此,如何通过人工智能的方式实时提示异常解剖结构的位置,以解决不能预见或判断解剖变异存在与否及其位置而导致的变异结构损伤的问题,是现阶段需要考虑的问题。
发明内容
本发明的目的在于克服现有技术的缺点,提供了一种基于人工智能的解剖变异识别提示方法及***,解决了目前医师因种种原因不能预见或判断解剖变异存在与否及其位置而导致的变异结构损伤的问题。
本发明的目的通过以下技术方案来实现:一种基于人工智能的解剖变异识别提示方法,所述识别提示方法包括手术实时识别提示步骤,所述手术实时识别提示步骤包括:
实时采集腔镜图像,并根据腔镜器官分割模型和器械关键点检测模型获取实时器官分割数据以及器械关键点数据;
通过分析手术前影像学图像获取变异结构和周围器官的位置关系,提取影像学图像变异结构周围器官组织分割数据,并与腔镜分割数据进行对比,实时判断变异结构的位置;
实时检测器械关键点和变异结构的位置信息,当器械在变异解剖结构区域进行操作时,对变异解剖结构区域进行提示,手术操作者根据提示进行操作;
重复上述步骤,直到手术结束。
所述识别提示方法还包括影像学图像及手术图像的标注数据库构建步骤以及模型构建步骤;所述影像学图像及手术图像的标注数据库构建步骤包括:
构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分割标注数据库;
对手术图片进行抽取,标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据;
所述模型构建步骤包括:构建影像学图像变异解剖结构分割模型、影像学图像器官分割模型、腔镜图像器官分割模型、腔镜图像器械关键点检测模型。
所述构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分割标注数据库包括:
收集影像学图像,根据需要标注的解剖结构及其周围的标志性解剖区域所在的区域、***以及影像学图像采集的角度,初步筛选需要标注的图片或图片组;
根据需要标注的变异解剖结构及其周围所在区域对应的不同外科专科,安排多名相应科室且满足主治医师级别的医师通过多边形标注的方式,标注变异解剖结构组织及周围标志性解剖器官,并由至少1名满足主任医师级别的医师对标注结果进行核查;
完成用于训练影像学图像器官分割模型和影像学图像变异解剖结构分割模型的数据库的构建。
所述对手术图片进行抽取,标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据包括:
根据需要训练的不同变异结构部位所在的解剖区域及其对应负责的科室,收集对应科室的各种类型手术视频数据,并将其通过格式转码软件转换为相应格式,按照1秒/帧的时间间隔抽取手术图片;
对抽取的图片通过多边形标记器官分割标注图片中的器官分割数据,和通过点标注法标注操作器械的关键点数据,安排多名相应科室且满足主治医师级别的医师进行标注,并由至少1名相应科室且满足主任医师级别的医师对标注结果进行核查;
完成用于训练腔镜图像器官分割模型、腔镜图像器械关键点检测模型的数据库的构建。
所述影像学图像变异解剖结构分割模型、影像学图像器官分割模型和腔镜图像器官分割模型分别通过影像学图片下的变异解剖结构、影像学图片下与变异结构邻近的器官组织、腔镜手术图片下的器官结构标注数据,使用UNet++网络算法进行训练得到;腔镜图像器械关键点检测模型通过腔镜手术图片下的器械关键点标注数据,使用级联金字塔神经网络训练得到。
所述影像学图像变异解剖结构分割模型、影像学图像器官分割模型和腔镜图像器官分割模型的UNet++由下采样、上采样和跳跃连接三个部分组成,每个节点均由基于2D卷积的数据处理层构成,其中下采样提取图像语义特征,在上采样的时候根据语义信息对原图每个像素进行分类,以达到分割的目的;在跳跃连接中通过增加基于2D卷积的数据处理层,根据不同数据处理层所在的下采样层数分别在数据处理层之间建立两两之间的跳跃连接和相邻采样层之间的上采样连接,以及在不同下采样层数构成的子网络中增加基于L函数的深度监督的剪枝结构,使每个图片的标注数据在不同的卷积深度下的分割结果得以整合,在保证数据处理效率的基础上整合不同下采样深度的训练结果,以提高模型训练的准确度。
用于训练腔镜图像器械关键点检测模型的级联金字塔神经网络由GlobalNet和RefineNet两部分构成;GlobalNet实现对器械关键点中简单的点进行有效的关键点检测,RefineNet实现对不同层信息的融合,更好的综合特征***械关键点;
GlobalNet基础网络采用ResNet网络,用ResNet的不同尺度的特征图的最后一个残差块作为输出组合为特征金字塔,然后各层进行2D卷积将通道数变为相同,将分辨率小的层上采样一次,再对应神经元相加,再对每层都进行2D卷积,生成不同尺寸且具有高级语义的特征图,实现对器械关键点中简单的点进行有效的关键点检测;
RefineNet对GlobalNet的4层输出分别接上不同个数的bottleneck模块,再分别经过不同倍率的上采样到同一分辨率,按通道拼接在一起,实现对不同尺度特征的结合,最后经过一个bottleneck模块,再经过变换,得到网络的最终的输出;其中,bottleneck模块由2D卷积、批数据归一化、非线性激活函数组成,对于来自上一层的多通道特征图,首先使用卷积核大小为1的2D卷积将特征图在通道维度上进行降维,再使用卷积核大小为3的2D卷积进行特征计算,最后使用卷积核大小为1的2D卷积在通道维度上升维,从而达到减少参数的数量的目的,进而减少计算量,且在降维之后可以更加有效、直观地进行数据的训练和特征提取。
所述影像学图像变异解剖结构分割模型和影像学图像器官分割模型首先使用UNet++分割出影像学图片中出现的变异解剖结构及其周围的器官组织,并对变异的解剖结构与其周围的器官组织进行预设条件和互斥;
预设条件包括:肝外胆管树一定在肝脏的下方并汇入胰腺或十二指肠,腹腔干及其分支一定在胰腺的上缘并发自腹主动脉,胃十二指肠动脉网一定起源自腹主动脉的上部;不会出现孤立且不发生汇合或分支的脉管和胆管;胆管或动静脉不会穿过胃腔或肠腔;
互斥条件包括:肝脏、胃、十二指肠、胆道***和动静脉***同时只可能出现一个,且胆道***或局部区域的主要动静脉网应为连续的管道网络。
所述通过分析手术前影像学图像获取变异结构和周围器官的位置关系包括:
将影像学图像中各结构的分割识别结果通过Python根据其横竖坐标中心点及其极值,生成在最小外界框基础上向外扩大延伸而形成的扩大外界框,扩大外界框中包括变异解剖结果或者周围器官的识别结果,以及周围结构的识别结果;
根据扩大外界框与其周围器官识别结果对应范围之间的相交关系,确定获取变异结构和周围器官组织的位置关系。
一种基于人工智能的解剖变异识别提示***,它包括影像图像获取模块、变异解剖结构检测模块、解剖要素区域检测模块和器械检测模块;
所述影像图像获取模块用于获取多种类型的影像学图像及相关手术视频数据,并进行处理后得到影像学关键图片序列和视频帧序列;
所述变异解剖结构检测模块用于通过UNet++网络进行特征提取,将得到的特征图作为后续网络的输入,最后得到对应视频帧中变异结构出现的区域;
所述解剖要素区域检测模块用于通过UNet++网络进行特征提取,将得到的特征图作为后续网络的输入,最后得到对应视频帧中出现的解剖要素区域的位置,并为变异结构检测模块的运行提供数据支持;
所述器械检测模块用于通过CPNet网络进行特征提取,将得到的特征图作为后续网络的输入,最后得到对应的视频中出现的器械尖部的位置。
本发明具有以下优点:
1、采用人工智能深度学习模型,通过影像学图像识别变异解剖结构及周围器官分布数据,将手术腔镜的器官分割识别结果和影像学器官位置及其标签作比较,从而建立识别提示解剖变异的人工智能***。在实际手术操作过程中,该***通过实时在术野中提示变异解剖的位置,形象的为外科医师预先指明变异结构存在的有无及其存在位置,从而使其在手术过程中避免因疏漏而引起的变异结构损伤以及后续带来的严重后果。
2、通过更加形象实时的指明变异结构的位置,使得外科医师更好的加深对特殊病例的印象及对该内容的掌握。其对应的病例报道亦能够更为直观的指出解剖变异存在的位置及其规避的方式,为学者提供了更详实的资料。
3、通过建立影像学检查和腔镜手术视野之间的对应关系,手术中关键操作的脉络管道结构得到了准确有效的定位,其功能的推演可以延伸至肿瘤、结石、以及异物的定位,为外科手术更为精确的进行提供了重要的条件。
附图说明
图1 为本发明方法的流程示意图;
图2 为构建用于训练模型的数据库流程示意图;
图3 为通过数据库构建本发明中各个模型的流程示意图;
图4 为影像学图片和腔镜图片下的变异解剖结构及器官分割模型的结构示意图;
图5 为器械头部关键点检测模型的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
如图1所示,本发明的一种实施方式涉及一种基于人工智能的解剖变异识别提示方法,具体包括以下步骤:
S1、收集CT、MRI等影像学图片和腔镜手术图片,通过标注影像学图片和腔镜手术图片构建用于训练模型的数据库;
S2、通过构建的数据库,使用计算机视觉算法模型训练得到用于识别影像学图片下变异解剖结构、邻近器官组织、腔镜视野下解剖结构、手术操作器械关键点的人工智能计算机模型;
S3、根据变异解剖结构周围器官分布情况和腔镜下视野的解剖识别结果,实时推断变异结构在腔镜手术视野下的位置;
S4、根据模型在视野下推断出的变异解剖位置和检测到的手术器械头部之间的位置关系,提示手术医师变异结构在相应位置的存在。
如图2所示,用于训练模型的标注数据库由CT、MRI等影像学图像上标注的变异解剖结构及其邻近器官组织,与腔镜手术视频图片上标注的图片中出现的器官结构及主操作器械关键点等构成;
其中影像学图片包括但不限于CT、MRI等影像学检查方式得到的对人体组织、器官等进行扫描的医学图片;
其中腔镜手术视频包括但不限于肝胆胰外科、胃肠外科、妇科、胸外科、甲状腺外科等科室的腔镜微创手术视频;
标注CT、MRI等影像学图片中的变异解剖结构及其邻近器官组织、腔镜手术图片中与影像学图片中对应的器官结构、以及腔镜手术图片中的器械关键点的过程,由Labelme软件分别通过标注相应解剖结构的多边形边界框和手术器械的头部操作点进行,其中的腔镜手术图片通过对收集到的腔镜手术视频使用FFmpeg软件转码为MPEG-4格式并等时长抽取视频图片的方式进行获取;
影像学图片和腔镜手术视频图片的标注由相应科室的2到3名主治及以上级别的医师或阅览过超过500台次手术视频的专业标注人员进行,并由1名相应科室的主任医师对标注结果进行检查;
根据标注类别和所需使用计算机视觉算法模型训练的到的模型的不同,对影像学图片和腔镜手术视频图片标注的结果分别用于构建影像学图像变异解剖结构分割模型、影像学图像器官分割模型、腔镜图像器官分割模型、和腔镜图像器械关键点检测模型。
CT、MRI等影像学图片下标注的变异解剖结构,包括但不限于变异的动脉、静脉、神经、器官结构的主要管道等结构,如副右肝管等,其变异类型包括但不限于走行路径的改变、分支方向或分支数目的改变、管道的缺失或增加、形状的重大改变等,如穿过胰腺实质的异位肝动脉等;
影像学图片下标注的变异解剖结构临近器官组织包括但不限于主要脉管结构、肺、心脏、肝脏、胆囊、胰腺、脾脏、胃、子宫、膀胱等位置相对固定且能够对局部解剖位置进行明确定位的结构;
解剖结构标注数据库的构建通过***性标注进行,包括但不限于肝左动脉及其主要分支、肝内胆管树、肝动脉及其肝内分支、腹腔干及其主要分支等标注过程中定义的局部脉管***。
腔镜手术图片中所标注的器官结构,应根据因不同的科室、手术而定义的不同的变异解剖结构周围的器官组织进行选择和定义,其定义的内容和类别,包括但不限于手术过程中涉及的动静脉及其主要分支、胆管及其主要分支、以及主要器官等,应与影像学图片下标注的与变异解剖结构邻近的器官组织相同。
腔镜手术图片中标注的器械关键点为主操作器械的尖部及其操作杆的末端,包括但不限于电钩、超声刀、电凝、施夹器、剪刀、持针器、切割闭合器、钉仓等有创腔镜操作器械。
如图3所示,影像学图像变异解剖结构分割模型、影像学图像器官分割模型、腔镜图像器官分割模型分别通过影像学图片下的变异解剖结构、影像学图片下的与变异结构邻近的器官组织、和腔镜手术图片下的器官结构等标注数据,使用UNet++网络算法训练得到;腔镜图像器械关键点检测模型通过腔镜手术图片下的器械关键点标注数据,使用级联金字塔神经网络训练得到;
上述标注完成的影像学图片下的变异解剖结构、影像学图片下的与变异结构邻近的器官组织、腔镜手术图片下的器官结构、以及腔镜手术图片下的器械关键点等标注数据,按照训练集:验证集:测试集=8:1:1的比例,以视频或病例作为单位,随机分配至3个集合中进行模型的训练和开发。其中影像学图像变异解剖结构分割模型、影像学图像器官分割模型、以及腔镜图像器官分割模型的准确性通过准确度、召回率、平均精度均值、平均交并比等进行衡量;腔镜图像器械关键点检测模型的准确性通过准确度、召回率、平均精度均值和目标关键点相似度(OKS)等进行衡量,其中目标关键点相似度的计算公式如下:
其中,p表示在真值中某个目标的ID,pi表示某个目标关键点的ID,表示关键点的可见性为1,即在图片上可见,Sp表示对应器械所占的面积大小的平方根,di表示标注值和预测关键点之间的欧氏距离,σi表示第i个骨骼点的归一化因子,δ用于将可见点选出来进行计算的函数。
以上模型的开发通过Anaconda 2021.05(对应Python 3.8)平台进行,并以特斯拉V100图形处理器(GPU)作为图形处理器进行模型训练;所有的模型均在ImageNet数据库中进行预训练。
如图4所示,用于影像学图像变异解剖结构分割模型、影像学图像器官分割模型、和腔镜图像器官分割模型的UNet++,由下采样(左侧)、上采样(右侧)、和跳跃连接(图中左右之间的连接)三个部分组成,每个节点(X i,j )均由基于2D卷积的数据处理层构成,其中下采样提取图像语义特征,在上采样的时候根据语义信息对原图每个像素进行分类,即达成分割效果,其层数根据数据的性质和不同层数下模型构建的效果进行确定,并以构建效果最优为准;
优选的,在原有的UNet神经网络的基础上,UNet++在跳跃连接中通过相应的增加基于基于2D卷积的数据处理层、根据不同数据处理层所在的下采样层数分别在处理层之间建立两两之间的跳跃连接(同下采样层)和相邻采样层之间的上采样连接(仅限相邻节点)、以及在不同下采样层数构成的子网络中增加基于L函数的深度监督的“剪枝”结构,使得每一个图片的标注数据在不同的卷积深度下的分割结果得以整合,由此在保证数据处理效率的基础上整合不同下采样深度的训练结果,以进择优一步提高模型训练的准确度;
其中,每个节点(X i,j )按照如下公式输出数据输出结果(x i,j ):
其中,i,j分别代表节点所在的下采样层数和在跳跃连接层致密块中所在的卷积层数;k表示公式计算过程中节点X i,j 中的j之不同整数取值,取值范围在0和j-1之间;函数为一个卷积运算,其后紧随一个激活函数;表示上采样运算;而该公式的中括号则表示卷积运算。由此j=0所在的节点只接收一个来自上一节点数据的输入,而j>0所在的节点则接收来自j+1个所在通路的上一节点的数据输入。
添加于不同语义层的“剪枝”结构由损失函数L实现其功能,其为结合了二元交叉熵和Dice系数的损失函数,其公式表达如下:
由于影像学图片和腔镜采集图像差异较大,腔镜图像器官分割模型和影像学图像变异解剖结构分割模型、影像学图像器官分割模型的建模会相互完全独立并分别单独进行,形成彼此完全独立的分割模型。唯独在构建模型的时候会比较分割结果和标注数据,根据模型识别结果和标注值之间的差距进行算法的调整与模型的迭代。
影像学图片中的变异解剖结构标签及其周围器官的标注标签会通过基于UNet++的计算机网络结构进行学习,最终输出影像学图片中的变异解剖结构及其周围器官的分割结果,通过内置逻辑使得变异解剖结构与周围器官的识别结果互相排斥,即影像学图片中的每个坐标点只有一种识别结果,且以概率最大者为准。
为确定变异解剖结构标签及其周围器官之间的位置关系,这些影像学图片中的各结构的分割识别结果会通过Python根据其横竖坐标中心点及其极值,生成相对于最小外界框(横边和竖边分别为纵坐标和横坐标极值所在的横线和竖线)的基础之上稍扩大(长、宽分别以横竖坐标中心点为基准,扩大1.2倍左右,以包括到周围其他识别标签为准)而形成的外界框。该外界框除分别包括变异解剖结构(如副右肝管)或其周围器官(如肝脏、胆囊等)的识别结果本身外,亦因其扩大而包括其周围结构的识别结果,如副右肝管识别结果中生成的外界框中包括肝脏、胆囊,而肝脏的外界框则包括胆囊、副右肝管等临近结构。由于变异解剖结构的外界框会圈入其他周围器官结构的识别标签,Python语句亦根据外界框和各标签之间的相交关系确定变异解剖结构的外界框中所圈入的其他标签类型。
如图5所示,用于训练腔镜图像器械关键点检测模型的级联金字塔神经网络,由GlobalNet和RefineNet两部分构成。其中,GlobalNet部分对器械关键点进行粗提取,RefineNet精细加工难以识别的器械关键点特征。
GlobalNet基础网络采用ResNet网络,用ResNet的不同尺度的特征图的最后一个残差块作为输出组合为特征金字塔,然后各层进行2D卷积将通道数变为相同,将分辨率小的层上采样一次,再对应神经元相加,再对每层都进行2D卷积。GlobalNet网络的目的是生成不同尺寸的特征图,都具有高级语义,对不同尺寸的目标,就可以选用不同尺寸的特征图去做识别。通过GlobalNet网络,可以对器械关键点中简单的点进行有效的关键点检测。
RefineNet对GlobalNet的4层输出分别接上不同个数的bottleneck模块,再分别经过不同倍率的上采样到同一分辨率,按通道拼接在一起,达到了对不同尺度特征的结合,最后经过一个bottleneck模块,再经过简单的变换,得到网络的最终的输出。其中,bottleneck模块由2D卷积、批数据归一化、非线性激活函数组成,对于来自上一层的多通道特征图,首先使用卷积核大小为1的2D卷积将特征图在通道维度上进行降维,再使用卷积核大小为3的2D卷积进行特征计算,最后使用卷积核大小为1的2D卷积在通道维度上升维。从而达到减少参数的数量的目的,进而减少计算量。且在降维之后可以更加有效、直观地进行数据的训练和特征提取。RefineNet对不同层信息进行了融合,可以更好的综合特征***械关键点。
在GlobalNet中,使用L2 loss对GlobalNet网络的输出和标签计算所有关键点的损失;在RefineNet中,使用L2 loss对网络输出和标签计算所有关键点的损失,然后对损失进行从大到小排序,最后选择top-k个loss用于网络的反向传播。
L2 loss的公式如下所示:
影像学图像变异解剖结构分割模型和影像学图像器官分割模型首先使用UNet++分割出影像学图片中出现的变异解剖结构及其周围的器官组织,并对变异的解剖结构与其周围的器官组织进行预设条件和互斥。
进一步地,预设条件包括但不限于:肝外胆管树一定在肝脏的下方并汇入胰腺或十二指肠;腹腔干及其分支一定在胰腺的上缘并发自腹主动脉;胃十二指肠动脉网一定起源自腹主动脉的上部;不会出现孤立且不发生汇合或分支的脉管和胆管;胆管或动静脉不会穿过胃腔或肠腔等;
进一步地,互斥条件即同种大体器官或脉管***,如肝脏、胃、十二指肠、胆道***、动静脉***等,同时只可能出现一个,且诸如胆道***或局部区域的主要动静脉网应为连续的管道网络。
最终通过以上处理方式确定影像学图片中出现的变异解剖结构及其与周围器官之间的位置关系。
腔镜图像器官分割模型和腔镜图像器械关键点检测模型亦设有相似的逻辑:腔镜图像器官分割模型包括分割结果互斥处理,即同种解剖结构只可能出现一个,识别结果以预测概率最高的分割区域为准;腔镜图像器械关键点检测模型包括电钩、超声刀、电凝、施夹器、剪刀、持针器、切割闭合器、钉仓等有创腔镜操作器械只可能在图片中同时出现一次。
手术过程中,影像学图像变异解剖结构分割模型和影像学图像器官分割模型将患者影像学检查的模型识别结果与腔镜图像器官分割模型对实时输入该模型的腔镜手术图像的识别结果进行对照,当后者识别到前者所识别到的诸如肝脏、胃、十二指肠、胰腺、脾、肾、肺等大体器官结构时,结合影像学图像变异解剖结构分割模型和影像学图像器官分割模型所识别得到的变异解剖结构及其与周围器官之间的位置关系,推断变异结构在视野下的所在区域。
为了在腹腔镜图像上找出影像学图片中分割出的变异结构位置,首先根据前面得出的影像学图片变异结构(如副右肝管)识别结果的扩大外界框与其周围临近器官(如肝脏、胆囊等标签)识别结果对应的范围之间的相交关系,确定获取变异结构和周围器官组织的位置关系,同时在手术过程中,腔镜图像器官分割模型实时接收腹腔镜手术图片,并在腹腔镜图像上通过基于UNet++的器官分割对视野下的解剖结构(如肝脏、胆囊等)进行识别。这个识别结果的标签将连同影像学图片变异结构及其周围临近器官的识别结果,通过Python等技术进行识别标签比对,并使用一个预定义窗口大小的滑动窗口在图中遍历,以对比窗口中出现的器官组织临近关系是否符合影像学图片中变异结构附近器官位置信息。当滑动窗口检索到腹腔镜手术图片中多个变异解剖外界框中所包含的解剖结构(如肝脏、胆囊等)时,诸如副右肝管在内的变异结构的所在范围便可通过器官的相交关系在视野中提示其在投射视野中所在的范围。
手术过程中,腔镜图像器械关键点检测模型实时就实时输入该模型的腔镜手术图像对主操作器械的头部关键点的位置进行检测,当器械头部关键点的位置接近变异解剖结构在视野中的区域或与之重合时,根据变异解剖结构的类别,实时在手术辅助操作屏幕中提示相应变异解剖结构的存在。
本发明的另一实施例涉及一种基于人工智能的解剖变异结构识别提示***,其主要由影像图像获取模块、变异解剖结构检测模块、解剖要素区域检测模块、器械检测模块构成。
影像学图像获取模块,其配置来获取腹部CT、CTA、MRI等影像学检查图片及腔镜胰十二指肠切除术视频流,分别得到影像学关键图片序列和视频帧序列;
变异解剖结构检测模块,其配置来利用UNet++网络进行特征提取,得到的特征图作为后续的侦测网络的输入,最后得到对应视频帧中变异结构出现的区域;
解剖要素区域检测模块,其配置来利用UNet++网络进行特征提取,得到的特征图作为后续的侦测网络的输入,最后得到对应视频帧中出现的解剖要素区域的位置,并为变异结构检测模块的运作提供信息支持;
器械检测模块,其配置来利用级联金字塔神经网络进行特征提取,得到的特征图作为后续的侦测网络的输入,最后得到对应的视频中出现的器械尖部的位置。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种基于人工智能的解剖变异识别提示方法,其特征在于:所述识别提示方法包括手术实时识别提示步骤,所述手术实时识别提示步骤包括:
实时采集腔镜图像,并根据腔镜器官分割模型和器械关键点检测模型获取实时器官分割数据以及器械关键点数据;
通过分析手术前影像学图像获取变异结构和周围器官的位置关系,提取影像学图像变异结构周围器官组织分割数据,并与腔镜分割数据进行对比,实时判断变异结构的位置;
实时检测器械关键点和变异结构的位置信息,当器械在变异解剖结构区域进行操作时,对变异解剖结构区域进行提示,手术操作者根据提示进行操作;
重复上述步骤,直到手术结束。
2.根据权利要求1所述的一种基于人工智能的解剖变异识别提示方法,其特征在于:所述识别提示方法还包括影像学图像及手术图像的标注数据库构建步骤以及模型构建步骤;所述影像学图像及手术图像的标注数据库构建步骤包括:
构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分割标注数据库;
对手术图片进行抽取,标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据;
所述模型构建步骤包括:构建影像学图像变异解剖结构分割模型、影像学图像器官分割模型、腔镜图像器官分割模型、腔镜图像器械关键点检测模型。
3.根据权利要求2所述的一种基于人工智能的解剖变异识别提示方法,其特征在于:所述构建多种类型的影像学图像变异解剖结构分割标注数据库和影像学图像器官分割标注数据库包括:
收集影像学图像,根据需要标注的解剖结构及其周围的标志性解剖区域所在的区域、***以及影像学图像采集的角度,初步筛选需要标注的图片或图片组;
根据需要标注的变异解剖结构及其周围所在区域对应的不同外科专科,安排多名相应科室且满足主治医师级别的医师通过多边形标注的方式,标注变异解剖结构组织及周围标志性解剖器官,并由至少1名满足主任医师级别的医师对标注结果进行核查;
完成用于训练影像学图像器官分割模型和影像学图像变异解剖结构分割模型的数据库的构建。
4.根据权利要求2所述的一种基于人工智能的解剖变异识别提示方法,其特征在于:所述对手术图片进行抽取,标注构建手术图片下的器官结构分割标注数据和器械关键点标注数据包括:
根据需要训练的不同变异结构部位所在的解剖区域及其对应负责的科室,收集对应科室的各种类型手术视频数据,并将其通过格式转码软件转换为相应格式,按照1秒/帧的时间间隔抽取手术图片;
对抽取的图片通过多边形标记器官分割标注图片中的器官分割数据,和通过点标注法标注操作器械的关键点数据,安排多名相应科室且满足主治医师级别的医师进行标注,并由至少1名相应科室且满足主任医师级别的医师对标注结果进行核查;
完成用于训练腔镜图像器官分割模型、腔镜图像器械关键点检测模型的数据库的构建。
5.根据权利要求2所述的一种基于人工智能的解剖变异识别提示方法,其特征在于:所述影像学图像变异解剖结构分割模型、影像学图像器官分割模型和腔镜图像器官分割模型分别通过影像学图片下的变异解剖结构、影像学图片下与变异结构邻近的器官组织、腔镜手术图片下的器官结构标注数据,使用UNet++网络算法进行训练得到;腔镜图像器械关键点检测模型通过腔镜手术图片下的器械关键点标注数据,使用级联金字塔神经网络训练得到。
6.根据权利要求5所述的一种基于人工智能的解剖变异识别提示方法,其特征在于:所述影像学图像变异解剖结构分割模型、影像学图像器官分割模型和腔镜图像器官分割模型的UNet++由下采样、上采样和跳跃连接三个部分组成,每个节点均由基于2D卷积的数据处理层构成,其中下采样提取图像语义特征,在上采样的时候根据语义信息对原图每个像素进行分类;在跳跃连接中通过增加基于2D卷积的数据处理层,根据不同数据处理层所在的下采样层数分别在数据处理层之间建立两两之间的跳跃连接和相邻采样层之间的上采样连接,以及在不同下采样层数构成的子网络中增加基于L函数的深度监督的剪枝结构。
7.根据权利要求5所述的一种基于人工智能的解剖变异识别提示方法,其特征在于:用于训练腔镜图像器械关键点检测模型的级联金字塔神经网络由GlobalNet和RefineNet两部分构成;GlobalNet实现对器械关键点中简单的点进行有效的关键点检测,RefineNet实现对不同层信息的融合;
GlobalNet基础网络采用ResNet网络,用ResNet的不同尺度的特征图的最后一个残差块作为输出组合为特征金字塔,然后各层进行2D卷积将通道数变为相同,将分辨率小的层上采样一次,再对应神经元相加,再对每层都进行2D卷积,生成不同尺寸且具有高级语义的特征图;
RefineNet对GlobalNet的4层输出分别接上不同个数的bottleneck模块,再分别经过不同倍率的上采样到同一分辨率,按通道拼接在一起,实现对不同尺度特征的结合,最后经过一个bottleneck模块,再经过变换,得到网络的最终的输出;其中,bottleneck模块由2D卷积、批数据归一化、非线性激活函数组成,对于来自上一层的多通道特征图,首先使用卷积核大小为1的2D卷积将特征图在通道维度上进行降维,再使用卷积核大小为3的2D卷积进行特征计算,最后使用卷积核大小为1的2D卷积在通道维度上升维。
8.根据权利要求5所述的一种基于人工智能的解剖变异识别提示方法,其特征在于:所述影像学图像变异解剖结构分割模型和影像学图像器官分割模型首先使用UNet++分割出影像学图片中出现的变异解剖结构及其周围的器官组织,并对变异的解剖结构与其周围的器官组织进行预设条件和互斥;
预设条件包括:肝外胆管树一定在肝脏的下方并汇入胰腺或十二指肠,腹腔干及其分支一定在胰腺的上缘并发自腹主动脉,胃十二指肠动脉网一定起源自腹主动脉的上部;不会出现孤立且不发生汇合或分支的脉管和胆管;胆管或动静脉不会穿过胃腔或肠腔;
互斥条件包括:肝脏、胃、十二指肠、胆道***和动静脉***同时只可能出现一个,且胆道***或局部区域的主要动静脉网应为连续的管道网络。
9.根据权利要求1所述的一种基于人工智能的解剖变异识别提示方法,其特征在于:所述通过分析手术前影像学图像获取变异结构和周围器官的位置关系包括:
将影像学图像中各结构的分割识别结果通过Python根据其横竖坐标中心点及其极值,生成在最小外界框基础上向外扩大延伸而形成的扩大外界框,扩大外界框中包括变异解剖结果或者周围器官的识别结果,以及周围结构的识别结果;
根据扩大外界框与其周围器官识别结果对应范围之间的相交关系,确定获取变异结构和周围器官组织的位置关系。
10.一种基于人工智能的解剖变异识别提示***,其特征在于:它包括影像图像获取模块、变异解剖结构检测模块、解剖要素区域检测模块和器械检测模块;
所述影像图像获取模块用于获取多种类型的影像学图像及相关手术视频数据,并进行处理后得到影像学关键图片序列和视频帧序列;
所述变异解剖结构检测模块用于通过UNet++网络进行特征提取,将得到的特征图作为后续网络的输入,最后得到对应视频帧中变异结构出现的区域;
所述解剖要素区域检测模块用于通过UNet++网络进行特征提取,将得到的特征图作为后续网络的输入,最后得到对应视频帧中出现的解剖要素区域的位置,并为变异结构检测模块的运行提供数据支持;
所述器械检测模块用于通过级联金字塔神经网络进行特征提取,将得到的特征图作为后续网络的输入,最后得到对应的视频中出现的器械尖部的位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210235270.5A CN114299072B (zh) | 2022-03-11 | 2022-03-11 | 一种基于人工智能的解剖变异识别提示方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210235270.5A CN114299072B (zh) | 2022-03-11 | 2022-03-11 | 一种基于人工智能的解剖变异识别提示方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114299072A true CN114299072A (zh) | 2022-04-08 |
CN114299072B CN114299072B (zh) | 2022-06-07 |
Family
ID=80978453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210235270.5A Active CN114299072B (zh) | 2022-03-11 | 2022-03-11 | 一种基于人工智能的解剖变异识别提示方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114299072B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114724682A (zh) * | 2022-06-08 | 2022-07-08 | 成都与睿创新科技有限公司 | 用于微创手术的辅助决策方法及装置 |
CN115040241A (zh) * | 2022-08-15 | 2022-09-13 | 湖南医科医工科技有限公司 | 一种病变区术前定位*** |
CN115486939A (zh) * | 2022-08-31 | 2022-12-20 | 北京长木谷医疗科技有限公司 | 骨科机手术器人智能感知解剖结构的方法、装置及*** |
CN116269749A (zh) * | 2023-03-06 | 2023-06-23 | 东莞市东部中心医院 | 一种改良保留性神经的腹腔镜下膀胱癌手术*** |
CN117224231A (zh) * | 2023-11-16 | 2023-12-15 | 四川大学华西医院 | 用于肝切除术解剖时的血管暴露分析装置 |
CN118096772A (zh) * | 2024-04-29 | 2024-05-28 | 西安交通大学医学院第一附属医院 | 一种解剖部位识别***、控制方法、介质、设备及终端 |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982238A (zh) * | 2012-11-13 | 2013-03-20 | 深圳市环球博洋机电科技有限公司 | 一种基于ct胶片的三维肾肿瘤手术模拟方法及其平台 |
CN104346821A (zh) * | 2013-08-09 | 2015-02-11 | 西门子公司 | 用于医学成像的自动规划 |
US20150305700A1 (en) * | 2012-11-23 | 2015-10-29 | Surgiceye Gmbh | Hybrid imaging system and method for intraoperative, interventional, and diagnostic applications |
CN107592802A (zh) * | 2015-05-07 | 2018-01-16 | 西门子公司 | 通过解剖模型增强引导腹腔镜手术过程的***和方法 |
CN107704661A (zh) * | 2017-09-13 | 2018-02-16 | 南方医科大学南方医院 | 用于胃癌腔镜手术实时导航***的混合有限元形变模型的构建方法 |
CN108475436A (zh) * | 2015-12-29 | 2018-08-31 | 皇家飞利浦有限公司 | 使用轮廓标志的外科手术图像采集设备的配准 |
CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
CN109886967A (zh) * | 2019-01-16 | 2019-06-14 | 成都蓝景信息技术有限公司 | 基于深度学习技术的肺部解剖学位置定位算法 |
CN110010249A (zh) * | 2019-03-29 | 2019-07-12 | 北京航空航天大学 | 基于视频叠加的增强现实手术导航方法、***及电子设备 |
US20190272634A1 (en) * | 2018-03-01 | 2019-09-05 | Intuitive Surgical Operations, Inc. | Systems and methods for segmentation of anatomical structures for image-guided surgery |
CN110705555A (zh) * | 2019-09-17 | 2020-01-17 | 中山大学 | 基于fcn的腹部多器官核磁共振图像分割方法、***及介质 |
CN111317567A (zh) * | 2018-12-13 | 2020-06-23 | 柯惠有限合伙公司 | 胸腔成像、距离测量以及通知***和方法 |
US20200237187A1 (en) * | 2019-01-30 | 2020-07-30 | Covidien Lp | Method for displaying tumor location within endoscopic images |
US20200373013A1 (en) * | 2019-05-22 | 2020-11-26 | Theseus AI, Inc. | Method And System For Analysis Of Spine Anatomy And Spine Disease |
CN112037200A (zh) * | 2020-08-31 | 2020-12-04 | 上海交通大学 | 一种医学影像中解剖特征自动识别与模型重建方法 |
CN112241966A (zh) * | 2020-09-21 | 2021-01-19 | 西北大学 | 多任务多分类的胸部器官分割模型建立、分割方法及*** |
CN112241766A (zh) * | 2020-10-27 | 2021-01-19 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
CN112488996A (zh) * | 2020-11-18 | 2021-03-12 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 非齐次三维食管癌能谱ct弱监督自动标注方法与*** |
CN112541893A (zh) * | 2020-12-11 | 2021-03-23 | 清华大学 | 一种三维断层扫描图像中树状结构分叉关键点的检测方法 |
CN112932663A (zh) * | 2021-03-02 | 2021-06-11 | 成都与睿创新科技有限公司 | 一种提高腹腔镜胆囊切除术安全性的智能辅助方法及*** |
US20210315645A1 (en) * | 2018-10-03 | 2021-10-14 | Cmr Surgical Limited | Feature identification |
CN113516659A (zh) * | 2021-09-15 | 2021-10-19 | 浙江大学 | 一种基于深度学习的医学影像自动分割方法 |
CN113538522A (zh) * | 2021-08-12 | 2021-10-22 | 广东工业大学 | 一种用于腹腔镜微创手术的器械视觉跟踪方法 |
CN114005022A (zh) * | 2021-12-30 | 2022-02-01 | 四川大学华西医院 | 一种手术器械使用的动态预测方法及*** |
CN114092439A (zh) * | 2021-11-18 | 2022-02-25 | 深圳大学 | 一种多器官实例分割方法及*** |
-
2022
- 2022-03-11 CN CN202210235270.5A patent/CN114299072B/zh active Active
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982238A (zh) * | 2012-11-13 | 2013-03-20 | 深圳市环球博洋机电科技有限公司 | 一种基于ct胶片的三维肾肿瘤手术模拟方法及其平台 |
US20150305700A1 (en) * | 2012-11-23 | 2015-10-29 | Surgiceye Gmbh | Hybrid imaging system and method for intraoperative, interventional, and diagnostic applications |
CN104346821A (zh) * | 2013-08-09 | 2015-02-11 | 西门子公司 | 用于医学成像的自动规划 |
CN107592802A (zh) * | 2015-05-07 | 2018-01-16 | 西门子公司 | 通过解剖模型增强引导腹腔镜手术过程的***和方法 |
CN108475436A (zh) * | 2015-12-29 | 2018-08-31 | 皇家飞利浦有限公司 | 使用轮廓标志的外科手术图像采集设备的配准 |
CN107704661A (zh) * | 2017-09-13 | 2018-02-16 | 南方医科大学南方医院 | 用于胃癌腔镜手术实时导航***的混合有限元形变模型的构建方法 |
US20190272634A1 (en) * | 2018-03-01 | 2019-09-05 | Intuitive Surgical Operations, Inc. | Systems and methods for segmentation of anatomical structures for image-guided surgery |
CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
US20210315645A1 (en) * | 2018-10-03 | 2021-10-14 | Cmr Surgical Limited | Feature identification |
CN111317567A (zh) * | 2018-12-13 | 2020-06-23 | 柯惠有限合伙公司 | 胸腔成像、距离测量以及通知***和方法 |
CN109886967A (zh) * | 2019-01-16 | 2019-06-14 | 成都蓝景信息技术有限公司 | 基于深度学习技术的肺部解剖学位置定位算法 |
US20200237187A1 (en) * | 2019-01-30 | 2020-07-30 | Covidien Lp | Method for displaying tumor location within endoscopic images |
CN110010249A (zh) * | 2019-03-29 | 2019-07-12 | 北京航空航天大学 | 基于视频叠加的增强现实手术导航方法、***及电子设备 |
US20200373013A1 (en) * | 2019-05-22 | 2020-11-26 | Theseus AI, Inc. | Method And System For Analysis Of Spine Anatomy And Spine Disease |
CN110705555A (zh) * | 2019-09-17 | 2020-01-17 | 中山大学 | 基于fcn的腹部多器官核磁共振图像分割方法、***及介质 |
CN112037200A (zh) * | 2020-08-31 | 2020-12-04 | 上海交通大学 | 一种医学影像中解剖特征自动识别与模型重建方法 |
CN112241966A (zh) * | 2020-09-21 | 2021-01-19 | 西北大学 | 多任务多分类的胸部器官分割模型建立、分割方法及*** |
CN112241766A (zh) * | 2020-10-27 | 2021-01-19 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
CN112488996A (zh) * | 2020-11-18 | 2021-03-12 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 非齐次三维食管癌能谱ct弱监督自动标注方法与*** |
CN112541893A (zh) * | 2020-12-11 | 2021-03-23 | 清华大学 | 一种三维断层扫描图像中树状结构分叉关键点的检测方法 |
CN112932663A (zh) * | 2021-03-02 | 2021-06-11 | 成都与睿创新科技有限公司 | 一种提高腹腔镜胆囊切除术安全性的智能辅助方法及*** |
CN113538522A (zh) * | 2021-08-12 | 2021-10-22 | 广东工业大学 | 一种用于腹腔镜微创手术的器械视觉跟踪方法 |
CN113516659A (zh) * | 2021-09-15 | 2021-10-19 | 浙江大学 | 一种基于深度学习的医学影像自动分割方法 |
CN114092439A (zh) * | 2021-11-18 | 2022-02-25 | 深圳大学 | 一种多器官实例分割方法及*** |
CN114005022A (zh) * | 2021-12-30 | 2022-02-01 | 四川大学华西医院 | 一种手术器械使用的动态预测方法及*** |
Non-Patent Citations (5)
Title |
---|
LU LIU 等: "Anatomy-aided deep learning for medical image segmentation: a review", 《PHYSICS IN MEDICINE & BIOLOGY》 * |
MATTHIAS IVANTSITS 等: "DL-based segmentation of endoscopic scenes for mitral valve repair", 《CURRENT DIRECTIONS IN BIOMEDICAL ENGINEERING》 * |
李赛: "医学图像解剖点自动检测方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
赵硕: "不同气腹压力对腹腔镜胆囊切除术(LC)病人的胰腺、肝功能影响对比研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
郭坚溪: "肝癌精准化消融治疗的增强现实导航***的研发及实验研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114724682A (zh) * | 2022-06-08 | 2022-07-08 | 成都与睿创新科技有限公司 | 用于微创手术的辅助决策方法及装置 |
CN114724682B (zh) * | 2022-06-08 | 2022-08-16 | 成都与睿创新科技有限公司 | 用于微创手术的辅助决策装置 |
CN115040241A (zh) * | 2022-08-15 | 2022-09-13 | 湖南医科医工科技有限公司 | 一种病变区术前定位*** |
CN115486939A (zh) * | 2022-08-31 | 2022-12-20 | 北京长木谷医疗科技有限公司 | 骨科机手术器人智能感知解剖结构的方法、装置及*** |
CN116269749A (zh) * | 2023-03-06 | 2023-06-23 | 东莞市东部中心医院 | 一种改良保留性神经的腹腔镜下膀胱癌手术*** |
CN116269749B (zh) * | 2023-03-06 | 2023-10-10 | 东莞市东部中心医院 | 一种改良保留性神经的腹腔镜下膀胱癌手术*** |
CN117224231A (zh) * | 2023-11-16 | 2023-12-15 | 四川大学华西医院 | 用于肝切除术解剖时的血管暴露分析装置 |
CN117224231B (zh) * | 2023-11-16 | 2024-02-13 | 四川大学华西医院 | 用于肝切除术解剖时的血管暴露分析装置 |
CN118096772A (zh) * | 2024-04-29 | 2024-05-28 | 西安交通大学医学院第一附属医院 | 一种解剖部位识别***、控制方法、介质、设备及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN114299072B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114299072B (zh) | 一种基于人工智能的解剖变异识别提示方法及*** | |
US11657087B2 (en) | Surgical video retrieval based on preoperative images | |
CN112932663B (zh) | 一种提高腹腔镜胆囊切除术安全性的智能辅助*** | |
CN113506334B (zh) | 基于深度学习的多模态医学图像融合方法及*** | |
ES2914387T3 (es) | Estudio inmediato | |
US7773791B2 (en) | Analyzing lesions in a medical digital image | |
US20150187118A1 (en) | Three-dimensional image display apparatus, method, and program | |
KR20160058812A (ko) | 질환을 진단하기 위한 영상 분석 기법 | |
CN113420826B (zh) | 一种肝脏病灶图像处理***及图像处理方法 | |
CN114724682B (zh) | 用于微创手术的辅助决策装置 | |
CN111797901A (zh) | 一种基于拓扑结构估计的视网膜动静脉分类方法及装置 | |
Egger et al. | Vertebral body segmentation with GrowCut: Initial experience, workflow and practical application | |
CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及*** | |
CN116050691A (zh) | 医疗影像报告评估方法、装置、电子设备及存储介质 | |
CN116934683A (zh) | 人工智能辅助超声诊断脾创伤的方法 | |
CN116664592A (zh) | 基于图像的动静脉血管分离方法、装置、电子设备及介质 | |
Pla-Alemany et al. | Automatic multi-atlas liver segmentation and Couinaud classification from CT volumes | |
Sadikine et al. | Semi-overcomplete convolutional auto-encoder embedding as shape priors for deep vessel segmentation | |
Wang et al. | A 3D cross-hemisphere neighborhood difference Convnet for chronic stroke lesion segmentation | |
CN113177945A (zh) | 用于将分割图链接到体数据的***和方法 | |
CN116863469B (zh) | 一种基于深度学习的手术解剖部位识别标注方法 | |
CN111803111B (zh) | 一种脑部血管显示装置及方法 | |
CN115222665B (zh) | 一种斑块检测方法、装置、电子设备及可读存储介质 | |
Markiewicz et al. | Computerized system for quantitative assessment of atherosclerotic plaques in the femoral and iliac arteries visualized by multislice computed tomography | |
CN112862833B (zh) | 血管分段方法、电子装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |