CN109215079A - 图像处理方法、手术导航设备、电子设备、存储介质 - Google Patents
图像处理方法、手术导航设备、电子设备、存储介质 Download PDFInfo
- Publication number
- CN109215079A CN109215079A CN201810781480.8A CN201810781480A CN109215079A CN 109215079 A CN109215079 A CN 109215079A CN 201810781480 A CN201810781480 A CN 201810781480A CN 109215079 A CN109215079 A CN 109215079A
- Authority
- CN
- China
- Prior art keywords
- network model
- image
- surgical instrument
- instrument
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000002156 mixing Methods 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000002674 endoscopic surgery Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 27
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 14
- 238000001356 surgical procedure Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000001839 endoscopy Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012279 drainage procedure Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 201000010536 head and neck cancer Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- KBPHJBAIARWVSC-RGZFRNHPSA-N lutein Chemical compound C([C@H](O)CC=1C)C(C)(C)C=1\C=C\C(\C)=C\C=C\C(\C)=C\C=C\C=C(/C)\C=C\C=C(/C)\C=C\[C@H]1C(C)=C[C@H](O)CC1(C)C KBPHJBAIARWVSC-RGZFRNHPSA-N 0.000 description 1
- 229960005375 lutein Drugs 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- KBPHJBAIARWVSC-XQIHNALSSA-N trans-lutein Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C(=CC(O)CC2(C)C)C KBPHJBAIARWVSC-XQIHNALSSA-N 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- FJHBOVDFOQMZRV-XQIHNALSSA-N xanthophyll Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C=C(C)C(O)CC2(C)C FJHBOVDFOQMZRV-XQIHNALSSA-N 0.000 description 1
- 235000008210 xanthophylls Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Robotics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供图像处理方法、手术导航设备、电子设备、存储介质,该方法包括:对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注,得到标准数据集;将所述标准数据集输入到深度卷积神经网络模型中进行训练,得到器械判断网络模型;根据所述器械判断网络模型从手术图像中获取手术器械信息;根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整,并将调整色彩后的手术器械图像融合到所述手术图像中,得到融合图像;显示所述融合图像。本发明提供的方法及设备,能够基于器械判断网络模型对内窥镜图像中的手术器械进行精确地分割和姿态判定,便于精确显示手术器械的相关信息,从而可以提高手术导航的安全性。
Description
技术领域
本发明涉及手术导航领域,尤其涉及一种图像处理方法、手术导航设备、电子设备、存储介质。
背景技术
目前手术机器人在医疗技术和临床上都已经取得了飞速发展,有些手术机器人已经能够在微创条件下进行胸外科、泌尿外科、妇产科、头颈外科以及心脏手术等医疗操作能力。虽然绝大多数手术机器人都有成像***能够为医生提供实时的手术操作监控,但在临床使用的时候,仅通过视频图像观察,仍然面临着无法准确***械位姿,以及难以精确辨识器械的剪切、缝合、引流操作等问题。另外,由于术者临床经验不足,操作不熟练等问题,可能增加手术风险。所以在内窥镜实时成像的同时,有必要对手术器械进行分割和坐标位姿估计,通过对手术器械进行分割和坐标位姿估计,可以判断手术操作是否正确,在手术机器人或内窥镜手术领域都有极大的应用前景。
针对图片网络ImageNet的深度卷积神经网络AlexNet开始,深度学习在数字图像处理的领域得到广泛应用,其应用范围从仅用于单张小图像分类,到现在实例分割、定位、语义辨析、清晰度增强、风格迁移等。然而,在临床手术应用中,由于呼吸、心跳等影响,会造成内窥镜图像较大的图像畸变;另外,由于器械和湿滑组织表面的强烈高光反射,造成目前大多数的手术器械分割算法的稳定性较差、精准度不足,导致手术器械分割效果并不理想。
发明内容
本发明的目的在于提供一种图像处理方法、手术导航设备、电子设备,存储介质,解决现有技术中的手术器械分割效果比较差的技术问题。
为解决上述技术问题,本发明提供了一种图像处理方法,包括:
对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注,得到标准数据集;
将所述标准数据集输入到深度卷积神经网络模型中进行训练,得到器械判断模型;
根据所述器械判断网络模型从手术图像中获取手术器械信息;
根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整,并将调整色彩后的手术器械图像融合到所述手术图像中,得到融合图像;
显示所述融合图像。
优选地,所述将所述标准数据集输入到深度卷积神经网络中进行训练,得到器械判断网络模型之前还包括:
将所述标准数据集调整为统一的尺寸和格式;
所述深度卷积神经网络模型包括:残差网络模型及特征金字塔网络模型;
所述将所述标准数据集输入到深度卷积神经网络中进行训练,得到器械判断网络模型包括:
对残差网络模型及特征金字塔网络模型设置初始化参数,得到初始神经网络模型;
将所述调整后的标准数据集输入所述初始神经网络模型,进行并行运算加速训练,得到所述器械判断网络模型,所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
优选地,所述手术器械信息包括:关键点及器械位姿;
所述根据所述器械判断网络模型从手术图像中获取手术器械信息包括:
将所述手术图像输入所述调整参数后的残差网络模型,得到第一输出结果;
将所述第一输出结果输入所述调整参数后的特征金字塔网络模型,得到第二输出结果;
采用回归函数模型从所述第二输出结果中检测所述关键点;
通过连接所述关键点中的固定关节点确定所述器械位姿。
优选地,所述根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整包括:
根据所述手术器械信息,将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
为解决上述技术问题,本发明还提供一种手术导航设备,包括:
标注模块,用于对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注,得到标准数据集;
输入模块,用于将所述标准数据集输入到深度卷积神经网络模型中进行训练,得到器械判断网络模型;
第一获取模块,用于根据所述器械判断网络模型从手术图像中获取手术器械信息;
调整模块,用于根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整,并将调整色彩后的手术器械图像融合到所述手术图像中,得到融合图像;
显示模块,用于显示所述融合图像。
优选地,所述深度卷积神经网络模型包括:残差网络模型及特征金字塔网络模型;所述手术导航设备还包括:
处理模块,用于将所述标准数据集调整为统一的尺寸和格式;
所述输入模块:
初始子模块,用于对残差网络模型及特征金字塔网络模型设置初始化参数,得到初始神经网络模型;
训练子模块,用于将所述调整后的标准数据集输入所述初始神经网络模型,进行并行运算加速训练,得到所述器械判断网络模型,所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
优选地,所述手术器械信息包括:关键点及器械位姿;
所述第一获取模块包括:
第一输入子模块,用于将所述手术图像输入所述调整参数后的残差网络模型,得到第一输出结果;
第二输入子模块,用于将所述第一输出结果输入所述调整参数后的特征金字塔网络模型,得到第二输出结果;
第一确定子模块,用于采用回归函数模型从所述第二输出结果中确定所述关键点;
第二确定子模块,用于通过连接所述关键点中的固定关节点确定所述器械位姿。
优选地,所述调整模块,还用于根据所述手术器械信息,将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
为解决上述技术问题,本发明提供了一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述的图像处理方法的步骤。
为解决上述技术问题,本发明提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的图像处理方法的步骤。
本发明提供的图像处理方法及手术导航设备,能够基于器械判断网络模型对手术图像中的手术器械图像进行色彩调整,便于精确地在手术图像中对手术器械相关信息进行突出显示,便于精确理解手术器械的相关信息,从而可以提高手术导航的安全性。
附图说明
图1为本发明提供的图像处理方法一实施例的流程图;
图2为本发明提供的图1所示的图像处理方法的步骤S2的一实施例的流程图;
图3为本发明提供的图1所示的图像处理方法的步骤S3的一实施例的流程图;
图4为本发明提供的残差网络模型的原理图;
图5为本发明提供的关键点检测的一实施例的示意图;
图6为本发明提供的图像处理方法的另一实施例的流程图;
图7为本发明提供的手术导航设备的一实施例的结构示意图;
图8为本发明提供的手术当设备的另一实施例的结构示意图;
图9为本发明提供的图7所示手术导航设备的第一获取模块一实施例的结构示意图;
图10为本发明提供的电子设备的一实施例的结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。
参见图1,图1为本发明提供的图像处理方法一实施例的流程图,图1所示的图像处理方法可以应用于手术导航设备,如图1所示,图像处理方法包括以下步骤:
步骤S1、对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注,得到标准数据集。
在本实施中,所述预先获取的内窥镜手术视频图像可以为从内窥镜视频数据中按照预设帧率获取的内窥镜手术视频图像。标准数据集的数量越大,训练结果越准确,但是为了减少资源损耗,需要对训练标准数据集的数据进行合理估计。
步骤S2、将所述标准数据集输入到深度卷积神经网络模型中进行训练,得到器械判断网络模型。
在本实施例中,所述深度卷积神经网络模型可以包括残差网络模型及特征金字塔网络模型。举例来说,残差网络模型可以为ResNet50。可以利用已有模型的训练结果进行参数的初始化,加快训练速度并保证收敛性。
可选的,在该步骤S2之前,还可以包括以下步骤:
将所述标准数据集调整为统一的尺寸和格式。
在本实施例中,对训练标准数据集进行预处理,去除运动模糊的帧图,进行高光抑制和非线性滤波,然后对训练标准数据集进行统一尺寸和格式的调整。
请参阅图2,图2为本发明提供的图1所示的图像处理方法的步骤S2的一实施例的流程图。步骤S2可以包括以下步骤:
步骤S21、对残差网络模型及特征金字塔网络模型设置初始化参数,得到初始神经网络模型。
在本实施例中,残差网络模型可以为ResNet50。可以利用已有模型的训练结果进行参数的初始化,加快训练速度并保证收敛性。
步骤S22、将所述调整后的标准数据集输入所述初始神经网络模型,进行并行运算加速训练,得到所述器械判断网络模型。
在本实施例中,所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。也可以获得所述器械判断网络模型的构建参数,通过所述构建参数在同步的平台上建立所述器械判断网络模型。
这样,可以从大量手术图像中快速获取器械判断网络模型,提高获取器械判断网络模型的效率。
步骤S3、根据所述器械判断网络模型从手术图像中获取手术器械信息。
在本实施例中,器械判断网络模型为根据大量手术图像对残差网络模型及特征金字塔网络模型模型进行训练所得到的网络模型。也就是说,所述器械判断网络模型包括:残差网络模型及特征金字塔网络模型模型。所述手术图像为通过手术器械进行的手术过程中所采集的图像,例如,可以是临床内窥镜图像、临床内窥镜视频等。所述手术器械信息包括:手术器械的种类、关键点、器械位姿及关键点的类型等,所述关键点的类型可以包括手术器械的连接部位、固定关节点、前端位置、后端位置等。
具体来说,参阅图3,图3所示为图1所示的图像处理方法的步骤S3的一实施例的流程图。
步骤S31、将所述手术图像输入所述调整参数后的残差网络模型,得到第一输出结果。
具体的,可以参阅图4,图4为本发明提供的残差网络模型的原理图。在图4中,F(X)为普通映射,F(X)+X为全等映射,relu为非线性激活单元,采用全等映射层(identitymapping)可以降低网络本身的深度以避免出现过拟合和不收敛的问题。weightlayer为待训练参数,残差网络模型的计算公式为y=F(x,{Wi})+Wsx。感兴趣区域(Region ofInterest,RoI)损失函数为L=Lcls+Lbox+Lmask。通过使用RoI损失函数,可以对关键点的匹配距离损失及位姿损失进行计算,加快训练效率的同时保证关键点的匹配性,及保证对手术器械进行分割过程中的匹配性。
请参阅图5,图5为本发明提供的关键点检测的一实施例的示意图。在图5中包括第一池化层501、残差网络模型502、第二池化层503及特征金字塔网络模型504,回归函数模型505。
在本实施例中,所述残差网络模型502可以为ResNet50,在图5中,从第一池化层501输出的图像数据进入ResNet50,即输入到8个堆叠的3×3×512卷积层,经过残差网络模型502对图像数据提取手术器械图像及对应的掩膜和关键点,将关键点的位置建模为二进制掩膜,预测每个关键点的类型,得到第一输出结果,并将第一输出结果导入第二池化层503。
步骤S32、将所述第一输出结果输入所述调整参数后的特征金字塔网络模型,得到第二输出结果。
请再次参阅图5,将经过第二池化层503后的第一输出结果输入特征金字塔网络模型504,通过反卷积和双线性采样等过程,能够得到56×56的输出结果,即得到第二输出结果,在所述第二输出结果中包括手术器械信息,其中,所述手术器械信息包括手术器械的种类、关键点、位姿、位姿类别及关键点的类别等信息。
步骤S33、采用回归函数模型从所述第二输出结果中检测所述关键点。
在本实施例中,回归函数模型可以为softmax回归代价函数。具体的,softmax回归代价函数为:
其中,J为回归代价函数,m为目标个数,y(i),x(i)为对应的数据类型。通过使用softmax回归代价函数从第二输出结果中检测关键点。可以通过softmax回归代价函数的交叉熵计算关键点的估计值与真实值之间的差距,用于衡量测量结果的好坏。其中,对多个关键点的检测是独立的。
步骤S34、通过连接所述关键点中的固定关节点确定所述器械位姿。
在本实施例中,所述关键点的类型可以有多种,例如可以包括手术器械的固定关节点、前端位置、后端位置等类型,对固定关节点进行连接,可以得到手术器械的位姿。
这样,在本实施例中,采用残差网络模型进行图像处理,具有加强的鲁棒性,能够适应人体内部手术图像的噪声,降低噪声干扰。在图像语义分割的基础上,进行了实例分割,能够精确地预测手术器械的种类和数量,并利用残差网络模型在分割的基础上,利用关键点进行手术器械位姿的识别,扩展了手术器械信息的内容。通过手术器械的器械位姿信息,可以进行下一步的数据处理,例如,可以进行进程判断,手术情况判断及操作过程识别等等。通过残差网络模型、特征金字塔网络模型及回归函数模型,可以获取手术图像中的手术器械信息,提高手术器械信息的精确度。
步骤S4、根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整,并将调整色彩后的手术器械图像融合到所述手术图像中,得到融合图像。
可选的,所述根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整包括:
根据所述手术器械信息,将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
具体来说,可以在手术器械图像中,根据检测得到的手术器械类型、不同部位、关键点和位姿等信息,沿手术器械从头部到尾部由浅到深设置不同的透明度和/或设置不同颜色。
在本实施例中,将调整透明度和/或颜色的手术器械图像融合到原来的手术图像中,可以确保医生在手术过程中可以直观对手术器械进行观察,并在手术之后的评价环节中可以获取关于手术器械的直观信息。
步骤S5、显示所述融合图像。
在本实施例中,可以在便于医生观察的显示设备上显示融合图像,也可以在其他手术监控设备上显示融合图像。在本实施例中,可以通过图形处理器(GraphicsProcessing Unit,GPU)进行图像处理,并显示所述融合图像,可以确保并行加速运算效率,对于手术中内窥镜获取的实时视频图像,在保证手术的及时性和连贯性的同时,可以按照预设的帧率提取手术图像,并按照预设帧率显示融合图像,为医生提供更全面的手术过程信息。
这样,本实施例提供的图像处理方法,能够基于器械判断网络模型对手术图像中的手术器械图像进行色彩调整,便于精确地在手术图像中对手术器械相关信息进行突出显示,便于精确理解手术器械的相关信息,从而可以提高手术导航的安全性。
本发明实施例中提供的图像处理方法,能够基于器械判断网络模型对内窥镜图像中的手术器械图像进行精确地分割好姿态判定,便于精确地在手术图像显示手术器械的相关信息,从而可以提高手术导航的安全性。
请参阅图6,图6所示为本发明提高的图像处理方法的另一实施例的流程图。
步骤S601、摄像头获取内窥镜手术视频。
在本实施例中,可以在使用内窥镜的手术过程中,通过摄像头获取内窥镜手术视频。
步骤S602、对内窥镜手术视频按照预设帧率抽取手术图像,并对手术图像进行预处理。
可以理解的是,为了保证手术的及时性和连贯性的同时,可以按照预设的帧率提取手术图像,并对手术图像进行预处理,以供提供更全面的手术过程信息。
步骤S603、获取标准数据集。
在本实施例中,对多张预处理后的手术图像中的手术器械信息进行标注,得到训练标准数据集。所述多张预处理后的手术图像可以为对内窥镜手术过程中的手术图像进行预处理后的图像。训练标准数据集的数量越大,训练结果越准确,但是为了减少资源损耗,需要对训练标准数据集的数据进行合理估计。
步骤S604、残差网络模型及特征金字塔网络模型设置初始化参数,得到初始神经网络模型。
在本实施例中,可以利用已有模型的训练结果进行参数的初始化,加快训练速度并保证收敛性。所述残差网络模型可以为ResNet50模型。
步骤S605、对初始神经网络模型输入标准数据集,得到器械判断网络模型,器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
在本实施例中,可以将所述调整后的标准数据集输入所述初始神经网络模型,进行并行运算加速训练,得到所述器械判断网络模型。也可以获得所述器械判断网络模型的构建参数,通过所述构建参数在同步的平台上建立所述器械判断网络模型。
步骤S606、抽取待检测图像。
在本实施例中,可以按照预设的帧率从内窥镜手术视频中提取手术图像,并对手术图像进行去除噪声等预处理,得到待检测图像。
步骤S607、对待检测图像进行统一格式及尺寸。
可以理解的是,对待检测图像统一格式及尺寸可以提高图像处理效率。
步骤S608、将调整后的待检测图像输入器械判断网络模型,检测手术器械信息,并对手术器械图像进行分割,对手术器械图像进行颜色调整。
在本实施例中,具体来说,可以在手术器械图像中,根据检测得到的器械类型、不同部位、关键点和位姿等信息,沿手术器械从头部到尾部由浅到深设置不同的透明度和/或设置不同颜色。
步骤S609、将调整颜色后的手术器械图像与手术图像进行融合,并显示融合后的手术图像。
在本实施例中,可以在便于医生观察的显示设备上显示融合图像,也可以在其他手术监控设备上显示融合图像。在本实施例中,可以通过图形处理器(GraphicsProcessing Unit,GPU)进行图像处理,并显示所述融合图像,可以确保并行加速运算效率,提高显示图像的速率。
本发明实施例提供的图像处理方法,能够基于器械判断网络模型对内窥镜图像中的手术器械进行精确地分割和姿态判定,便于精确理解手术器械的相关信息,从而可以提高手术导航的安全性。
本发明进一步提供一种手术导航设备。参见图7,图7为本发明提供的手术导航设备一实施例的流程图,所述手术导航设备700包括标注模块701、输入模块702、第一获取模块703、调整模块704及显示模块705,其中:
标注模块701,用于对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注,得到标准数据集;输入模块702,用于将所述标准数据集输入到深度卷积神经网络模型中进行训练,得到器械判断网络模型;第一获取模块703,用于根据预先获取的器械判断网络模型从手术图像中获取手术器械信息;调整模块702,用于根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整,并将调整色彩后的手术器械图像融合到所述手术图像中,得到融合图像;显示模块703,用于显示所述融合图像。
在本实施中,所述预先获取的内窥镜手术视频图像可以为从内窥镜视频数据中按照预设帧率获取的内窥镜手术视频图像。标准数据集的数量越大,训练结果越准确,但是为了减少资源损耗,需要对训练标准数据集的数据进行合理估计。
在本实施例中,所述深度卷积神经网络模型可以包括残差网络模型及特征金字塔网络模型。举例来说,残差网络模型可以为ResNet50。可以利用已有模型的训练结果进行参数的初始化,加快训练速度并保证收敛性。
可选的,参见图8,图8为本发明提供的手术当设备的另一实施例的结构示意图。所述手术导航设备700还包括处理模块706,用于将所述标准数据集调整为统一的尺寸和格式;
所述输入模块702包括:
初始子模块7021,用于对残差网络模型及特征金字塔网络模型设置初始化参数,得到初始神经网络模型;
训练子模块7022,用于将所述调整后的标准数据集输入所述初始神经网络模型,进行并行运算加速训练,得到所述器械判断网络模型,所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
在本实施例中,处理模块706对训练标准数据集进行预处理,去除运动模糊的帧图,进行高光抑制和非线性滤波,然后对训练标准数据集进行统一尺寸和格式的调整。
这样,可以从大量手术图像中快速获取器械判断网络模型,提高获取器械判断网络模型的效率。
在本实施例中,残差网络模型可以为ResNet50。可以利用已有模型的训练结果进行参数的初始化,加快训练速度并保证收敛性。
在本实施例中,所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。也可以获得所述器械判断网络模型的构建参数,通过所述构建参数在同步的平台上建立所述器械判断网络模型。
在本实施例中,器械判断网络模型为根据大量手术图像对残差网络模型及特征金字塔网络模型进行训练所得到的网络模型,也就是说,所述器械判断网络模型包括残差网络模型及特征金字塔网络模型。所述手术图像为通过手术器械进行的手术过程中所采集的图像,例如,可以是临床内窥镜图像、临床内窥镜视频等。所述手术器械信息包括手术器械的种类、类型、关键点及器械位姿等,所述关键点包括器械连接部位、固定关节点、前端位置、后端位置等。
可选的,参见图9,图9为本发明提供的图7所示手术导航设备的第一获取模块一实施例的结构示意图。所述第一获取模块703可以包括第一输入子模块7031、第二输入子模块7032、第一确定子模块7033及第二确定子模块7034,第一输入子模块7031与第二输入子模块7032连接,第二输入子模块7032与第一确定子模块7033连接,第一确定子模块7033与第二确定子模块7034连接,其中:
第一输入子模块7031,用于将所述手术图像输入所述调整参数后的残差网络模型,得到第一输出结果;第二输入子模块7032,用于将所述第一输出结果输入所述调整参数后的特征金字塔网络模型,得到第二输出结果;第一确定子模块7033,用于采用回归函数模型从所述第二输出结果中确定所述关键点;第二确定子模块7034,用于通过连接所述关键点中的固定关节点确定所述器械位姿。
具体的,请再次参阅图4,在图4中,F(X)为普通映射,F(X)+X为全等映射,relu为非线性激活单元,采用全等映射层(identity mapping)可以降低网络本身的深度以避免出现过拟合和不收敛的问题。weightlayer为待训练参数,残差网络模型的计算式为y=F(x,{Wi})+Wsx。感兴趣区域(Region of Interest,RoI)损失函数为L=Lcls+Lbox+Lmask。通过使用RoI损失函数,可以对关键点的匹配距离损失及位姿损失进行计算,加快训练效率的同时,保证关键点的匹配性,及保证对手术器械进行分割过程中的匹配性。
请再次参阅图5,在图5中包括第一池化层501、残差网络模型502、第二池化层503及特征金字塔网络模型504,回归函数模型505。在本实施例中,所述残差网络模型502可以为ResNet50,第一输入子模块7031将从第一池化层501输出的图像数据输入ResNet50,即输入到8个堆叠的3×3×512卷积层,经过残差网络模型502对图像数据提取手术器械图像,并对手术器械图像提取对应的掩膜和关键点,将关键点的位置建模为二进制掩膜,预测每个关键点的类型,得到第一输出结果,并将第一输出结果导入第二池化层503。
第二输入子模块7052将经过第二池化层503后的第一输出结果输入特征金字塔网络模型504,通过反卷积和双线性采用等过程,能够得到56×56的输出结果,即得到第二输出结果,在所述第二输出结果中包括手术器械信息,其中,所述手术器械信息包括器械种类、器械类别、关键点和位姿等信息。
在本实施例中,回归函数模型可以为softmax回归代价函数。具体的,softmax回归代价函数为:
其中,J为回归代价函数,m为目标个数,y(i),x(i)为对应的数据类型。第一确定子模块7013通过使用softmax回归代价函数从第二输出结果中检测关键点。可以通过softmax回归代价函数的交叉熵计算关键点的估计值与真实值之间的差距,用于衡量测量结果的好坏。其中,对多个关键点的检测是独立的。
在本实施例中,所述关键点的类型可以有多种,例如可以包括固定关节点、前端、后端等类型,第二确定子模块7034对固定关节点进行连接,可以得到器械的位姿。
这样,在本实施例中,采用残差网络模型进行图像处理,具有加强的鲁棒性,能够适应人体内部手术图像的噪声,降低噪声干扰。在图像语义分割的基础上,减小了实例分割,能够精确地预测手术器械的种类和数量,并利用残差网络模型在分割的基础上,利用关键点进行手术器械位姿的识别,扩展了手术器械信息的内容。通过手术器械的器械位姿信息,可以进行下一步的数据处理,例如,可以进行进程判断,手术情况判断及操作过程识别等等。通过残差网络模型、特征金字塔网络模型及回归函数模型,可以获取手术图像中的手术器械信息,提高手术器械信息的精确度。
可选的,所述调整模块702还用于根据所述手术器械信息,将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
具体来说,所述调整模块702可以在手术器械图像中,根据检测得到的器械类型、不同部位、关键点和位姿等信息,沿手术器械从头部到尾部由浅到深设置不同的透明度和/或设置不同颜色。
在本实施例中,将调整透明度和/或颜色的手术器械图像融合到原来的手术图像中,可以确保医生在手术过程中可以直观对手术器械进行观察,并在手术之后的评价环节中可以获取关于手术器械的直观信息。
在本实施例中,所述显示模块703可以在便于医生观察的显示设备上显示融合图像,也可以在其他手术监控设备上显示融合图像。在本实施例中,可以通过图形处理器(Graphics Processing Unit,GPU)进行图像处理,并显示所述融合图像,可以确保并行加速运算效率,对于手术中内窥镜获取的实时视频图像,在保证手术的及时性和连贯性的同时,可以按照预设的帧率提取手术图像,并按照预设帧率显示融合图像,为医生提供更全面的手术过程信息。
本发明实施例中提供的手术导航设备,能够基于器械判断网络模型对手术图像中的手术器械图像进行色彩调整,便于精确地在手术图像中对手术器械相关信息进行突出显示,便于精确理解手术器械的相关信息,从而可以提高手术导航的安全性。
本发明进一步提供一种电子设备。参见图10,图10是本发明实施例提供的电子设备的结构图,如图10所示,电子设备1000包括:处理器1001、总线接口及收发机1002,其中:
处理器1001,用于对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注,得到标准数据集;将所述标准数据集输入到深度卷积神经网络模型中进行训练,得到器械判断网络模型;根据所述器械判断网络模型从手术图像中获取手术器械信息;根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整,并将调整色彩后的手术器械图像融合到所述手术图像中,得到融合图像;显示所述融合图像。
可选的,所述处理器1001还用于,将所述标准数据集调整为统一的尺寸和格式;所述深度卷积神经网络模型包括:残差网络模型及特征金字塔网络模型;所述处理器1001执行所述将所述标准数据集输入到深度卷积神经网络中进行训练,得到器械判断网络模型包括:对残差网络模型及特征金字塔网络模型设置初始化参数,得到初始神经网络模型;将所述调整后的标准数据集输入所述初始神经网络模型,进行并行运算加速训练,得到所述器械判断网络模型,所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
可选的,所述手术器械信息包括:关键点及器械位姿;
所述处理器1001执行所述根据所述器械判断网络模型从手术图像中获取手术器械信息包括:将所述手术图像输入所述调整参数后的残差网络模型,得到第一输出结果;将所述第一输出结果输入所述调整参数后的特征金字塔网络模型,得到第二输出结果;采用回归函数模型从所述第二输出结果中检测所述关键点;通过连接所述关键点中的固定关节点确定所述器械位姿。
可选的,所述处理器1001执行所述根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整包括:根据所述手术器械信息,将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
在本发明实施例中,电子设备还包括:存储器1003。在图10中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器1001代表的一个或多个处理器和存储器1003代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机1002可以是多个元件,即包括发送机和接收机,提供用于在传输介质上与各种其他装置通信的单元。处理器1001负责管理总线架构和通常的处理,存储器1003可以存储处理器1001在执行操作时所使用的数据。
本发明实施例还提供一种存储介质,存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像处理方法的实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注,得到标准数据集;
将所述标准数据集输入到深度卷积神经网络模型中进行训练,得到器械判断网络模型;
根据所述器械判断网络模型从手术图像中获取手术器械信息;
根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整,并将调整色彩后的手术器械图像融合到所述手术图像中,得到融合图像;
显示所述融合图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述将所述标准数据集输入到深度卷积神经网络中进行训练,得到器械判断网络模型之前还包括:
将所述标准数据集调整为统一的尺寸和格式;
所述深度卷积神经网络模型包括:残差网络模型及特征金字塔网络模型;
所述将所述标准数据集输入到深度卷积神经网络中进行训练,得到器械判断网络模型包括:
对残差网络模型及特征金字塔网络模型设置初始化参数,得到初始神经网络模型;
将所述调整后的标准数据集输入所述初始神经网络模型,进行并行运算加速训练,得到所述器械判断网络模型,所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
3.如权利要求2所述的图像处理方法,其特征在于,
所述手术器械信息包括:关键点及器械位姿;
所述根据所述器械判断网络模型从手术图像中获取手术器械信息包括:
将所述手术图像输入所述调整参数后的残差网络模型,得到第一输出结果;
将所述第一输出结果输入所述调整参数后的特征金字塔网络模型,得到第二输出结果;
采用回归函数模型从所述第二输出结果中检测所述关键点;
通过连接所述关键点中的固定关节点确定所述器械位姿。
4.如权利要求1所述的图像处理方法,其特征在于,所述根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整包括:
根据所述手术器械信息,将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
5.一种手术导航设备,其特征在于,包括:
标注模块,用于对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注,得到标准数据集;
输入模块,用于将所述标准数据集输入到深度卷积神经网络模型中进行训练,得到器械判断网络模型;
第一获取模块,用于根据所述器械判断网络模型从手术图像中获取手术器械信息;
调整模块,用于根据所述手术器械信息,对从所述手术图像中分割到的手术器械图像进行色彩调整,并将调整色彩后的手术器械图像融合到所述手术图像中,得到融合图像;
显示模块,用于显示所述融合图像。
6.如权利要求5所述的手术导航设备,其特征在于,所述深度卷积神经网络模型包括:残差网络模型及特征金字塔网络模型;所述手术导航设备还包括:
处理模块,用于将所述标准数据集调整为统一的尺寸和格式;
所述输入模块包括:
初始子模块,用于对残差网络模型及特征金字塔网络模型设置初始化参数,得到初始神经网络模型;
训练子模块,用于将所述调整后的标准数据集输入所述初始神经网络模型,进行并行运算加速训练,得到所述器械判断网络模型,所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
7.如权利要求6所述的手术导航设备,其特征在于,所述手术器械信息包括:关键点及器械位姿;
所述第一获取模块包括:
第一输入子模块,用于将所述手术图像输入所述调整参数后的残差网络模型,得到第一输出结果;
第二输入子模块,用于将所述第一输出结果输入所述调整参数后的特征金字塔网络模型,得到第二输出结果;
第一确定子模块,用于采用回归函数模型从所述第二输出结果中确定所述关键点;
第二确定子模块,用于通过连接所述关键点中的固定关节点确定所述器械位姿。
8.如权利要求5所述的手术导航设备,其特征在于,所述调整模块,还用于根据所述手术器械信息,将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的图像处理方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810781480.8A CN109215079B (zh) | 2018-07-17 | 2018-07-17 | 图像处理方法、手术导航设备、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810781480.8A CN109215079B (zh) | 2018-07-17 | 2018-07-17 | 图像处理方法、手术导航设备、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109215079A true CN109215079A (zh) | 2019-01-15 |
CN109215079B CN109215079B (zh) | 2021-01-15 |
Family
ID=64989985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810781480.8A Expired - Fee Related CN109215079B (zh) | 2018-07-17 | 2018-07-17 | 图像处理方法、手术导航设备、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109215079B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111311561A (zh) * | 2020-02-10 | 2020-06-19 | 浙江未来技术研究院(嘉兴) | 一种基于显微手术成像***的术区自动测光方法及装置 |
CN111507334A (zh) * | 2019-01-30 | 2020-08-07 | 中国科学院宁波材料技术与工程研究所 | 一种基于关键点的实例分割方法 |
CN111931626A (zh) * | 2020-08-03 | 2020-11-13 | 天津理工大学 | 一种基于深度学习的血管介入机器人自动手术方法 |
CN112396601A (zh) * | 2020-12-07 | 2021-02-23 | 中山大学 | 一种基于内窥镜图像的实时的神经外科手术器械分割方法、设备及存储介质 |
CN112967300A (zh) * | 2021-02-23 | 2021-06-15 | 艾瑞迈迪医疗科技(北京)有限公司 | 基于多尺度融合网络的三维超声甲状腺分割方法及装置 |
CN112991333A (zh) * | 2021-04-21 | 2021-06-18 | 强基(上海)医疗器械有限公司 | 一种内窥镜手术中基于语音分析的图像处理方法及*** |
CN114220060A (zh) * | 2021-12-24 | 2022-03-22 | 萱闱(北京)生物科技有限公司 | 基于人工智能的器具标注方法、装置、介质和计算设备 |
CN117224231A (zh) * | 2023-11-16 | 2023-12-15 | 四川大学华西医院 | 用于肝切除术解剖时的血管暴露分析装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航*** |
CN106326856A (zh) * | 2016-08-18 | 2017-01-11 | 厚凯(天津)医疗科技有限公司 | 一种手术图像处理方法及装置 |
CN107256552A (zh) * | 2017-06-14 | 2017-10-17 | 成都康托医疗设备有限公司 | 息肉图像识别***及方法 |
CN107977969A (zh) * | 2017-12-11 | 2018-05-01 | 北京数字精准医疗科技有限公司 | 一种内窥镜荧光图像的分割方法、装置及存储介质 |
CN108040243A (zh) * | 2017-12-04 | 2018-05-15 | 南京航空航天大学 | 多光谱立体视觉内窥镜装置及图像融合方法 |
-
2018
- 2018-07-17 CN CN201810781480.8A patent/CN109215079B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航*** |
CN106326856A (zh) * | 2016-08-18 | 2017-01-11 | 厚凯(天津)医疗科技有限公司 | 一种手术图像处理方法及装置 |
CN107256552A (zh) * | 2017-06-14 | 2017-10-17 | 成都康托医疗设备有限公司 | 息肉图像识别***及方法 |
CN108040243A (zh) * | 2017-12-04 | 2018-05-15 | 南京航空航天大学 | 多光谱立体视觉内窥镜装置及图像融合方法 |
CN107977969A (zh) * | 2017-12-11 | 2018-05-01 | 北京数字精准医疗科技有限公司 | 一种内窥镜荧光图像的分割方法、装置及存储介质 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507334A (zh) * | 2019-01-30 | 2020-08-07 | 中国科学院宁波材料技术与工程研究所 | 一种基于关键点的实例分割方法 |
CN111507334B (zh) * | 2019-01-30 | 2024-03-12 | 中国科学院宁波材料技术与工程研究所 | 一种基于关键点的实例分割方法 |
CN111311561B (zh) * | 2020-02-10 | 2023-10-10 | 浙江未来技术研究院(嘉兴) | 一种基于显微手术成像***的术区自动测光方法及装置 |
CN111311561A (zh) * | 2020-02-10 | 2020-06-19 | 浙江未来技术研究院(嘉兴) | 一种基于显微手术成像***的术区自动测光方法及装置 |
CN111931626A (zh) * | 2020-08-03 | 2020-11-13 | 天津理工大学 | 一种基于深度学习的血管介入机器人自动手术方法 |
CN111931626B (zh) * | 2020-08-03 | 2023-12-26 | 深圳市爱博医疗机器人有限公司 | 一种基于深度学习的血管介入机器人自动手术方法 |
CN112396601A (zh) * | 2020-12-07 | 2021-02-23 | 中山大学 | 一种基于内窥镜图像的实时的神经外科手术器械分割方法、设备及存储介质 |
CN112967300A (zh) * | 2021-02-23 | 2021-06-15 | 艾瑞迈迪医疗科技(北京)有限公司 | 基于多尺度融合网络的三维超声甲状腺分割方法及装置 |
CN112991333B (zh) * | 2021-04-21 | 2021-08-10 | 强基(上海)医疗器械有限公司 | 一种内窥镜手术中基于语音分析的图像处理方法及*** |
CN112991333A (zh) * | 2021-04-21 | 2021-06-18 | 强基(上海)医疗器械有限公司 | 一种内窥镜手术中基于语音分析的图像处理方法及*** |
CN114220060A (zh) * | 2021-12-24 | 2022-03-22 | 萱闱(北京)生物科技有限公司 | 基于人工智能的器具标注方法、装置、介质和计算设备 |
CN117224231A (zh) * | 2023-11-16 | 2023-12-15 | 四川大学华西医院 | 用于肝切除术解剖时的血管暴露分析装置 |
CN117224231B (zh) * | 2023-11-16 | 2024-02-13 | 四川大学华西医院 | 用于肝切除术解剖时的血管暴露分析装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109215079B (zh) | 2021-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109215079A (zh) | 图像处理方法、手术导航设备、电子设备、存储介质 | |
JP6947759B2 (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
US20180174311A1 (en) | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation | |
US11907849B2 (en) | Information processing system, endoscope system, information storage medium, and information processing method | |
CN110807829B (zh) | 一种基于超声成像构建三维心脏模型的方法 | |
CN111161290B (zh) | 一种图像分割模型的构建方法、图像分割方法及*** | |
CN107624193A (zh) | 腹腔镜和内窥镜2d/2.5d图像数据中语义分割的方法和*** | |
Mourgues et al. | 3D reconstruction of the operating field for image overlay in 3D-endoscopic surgery | |
KR20210051141A (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
CN108814717B (zh) | 手术机器人*** | |
CN110838140A (zh) | 基于混合监督学习的超声和核磁图像配准融合方法及装置 | |
Bourbakis | Detecting abnormal patterns in WCE images | |
KR102433473B1 (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
CN108090954A (zh) | 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法 | |
Su et al. | Comparison of 3d surgical tool segmentation procedures with robot kinematics prior | |
CN109191475A (zh) | 椎体终板分割方法、装置及计算机可读存储介质 | |
CN117218127B (zh) | 超声内镜辅助监测***及方法 | |
Zhou et al. | Synchronizing detection and removal of smoke in endoscopic images with cyclic consistency adversarial nets | |
US10413364B1 (en) | Internal organ localization of a subject for providing assistance during surgery | |
CN111640127A (zh) | 一种用于骨科的精准临床诊断导航方法 | |
US20220175457A1 (en) | Endoscopic image registration system for robotic surgery | |
CN116993805A (zh) | 面向手术规划辅助的术中剩余器官体积估计*** | |
Liu et al. | LSKANet: Long strip kernel attention network for robotic surgical scene segmentation | |
US10299864B1 (en) | Co-localization of multiple internal organs based on images obtained during surgery | |
Shinohara et al. | Branch identification method for CT-guided bronchoscopy based on eigenspace image matching between real and virtual bronchoscopic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210115 |