CN112802185A - 面向微创手术空间感知的内窥镜图像三维重构方法和*** - Google Patents

面向微创手术空间感知的内窥镜图像三维重构方法和*** Download PDF

Info

Publication number
CN112802185A
CN112802185A CN202110106321.XA CN202110106321A CN112802185A CN 112802185 A CN112802185 A CN 112802185A CN 202110106321 A CN202110106321 A CN 202110106321A CN 112802185 A CN112802185 A CN 112802185A
Authority
CN
China
Prior art keywords
point cloud
image
depth
endoscope
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110106321.XA
Other languages
English (en)
Other versions
CN112802185B (zh
Inventor
李霄剑
李玲
丁帅
杨善林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110106321.XA priority Critical patent/CN112802185B/zh
Publication of CN112802185A publication Critical patent/CN112802185A/zh
Application granted granted Critical
Publication of CN112802185B publication Critical patent/CN112802185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种面向微创手术空间感知的内窥镜图像三维重构方法和***，涉及三维重构技术领域。本发明通过获取内窥镜图像，基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；基于点云深度和相机模型获取局部点云；对多个局部点云进行配准融合；对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。本发明克服了现有的基于深度学习的内窥镜图像三维重构方法仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型的技术问题，实现面向微创手术空间感知的内窥镜图像三维重构。

Description

面向微创手术空间感知的内窥镜图像三维重构方法和***
技术领域
本发明涉及三维重构技术领域，具体涉及一种面向微创手术空间感知的内窥镜图像三维重构方法和***。
背景技术
微创手术，是指利用内窥镜等现代医疗器械及相关设备进行的手术。在过去的十年里，微创手术以创口小、疼痛轻、出血少、恢复快等优势，成为普外、泌尿、脑外、心外等多个科室的重要诊疗手段。
在微创手术中，由于内窥镜视场角的限制，医生难以获得全面的体内环境信息。此外，术前和术中器官位移，术中手术操作可能导致解剖学特征缺失，给术中病灶点定位、缝合、切割等操作带来挑战，降低手术精度。体内模型三维重构可以解决上述问题，辅助微创手术的开展。
现有的基于深度学习的内窥镜图像三维重构方法仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种面向微创手术空间感知的内窥镜图像三维重构方法和***，解决了现有的方法无法重构并动态更新整体三维模型的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供了一种面向微创手术空间感知的内窥镜图像三维重构方法，所述方法包括：
S1、获取内窥镜图像；
S2、基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；
S3、基于所述点云深度和相机模型获取局部点云；
S4、对多个局部点云进行配准融合；
S5、对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。
优选的，所述预设的多任务神经网络模型包括：三类卷积块和全局池化层，所述三类卷积块包括卷积块一、卷积块二和卷积块三，所述多任务神经网络模型处理内窥镜图像的过程包括：
通过两个卷积块一对两帧内窥镜图像提取内窥镜图像的特征图，得到第一特征图和第二特征图，两个卷积块一之间的网络参数权值共享；
对所述第一特征图和第二特征图进行拼接，通过所述卷积块二对拼接后的特征图进行特征提取，得到帧间运动向量估计特征；
通过所述全局池化层对帧间运动向量估计特征进行池化处理，得到两帧内窥镜图像之间的相机运动向量；
通过所述卷积块三对拼接后的特征图进行调整特征提取，得到深度信息特征；第二特征图与深度信息特征跳层连接，输出适用于第二张内窥镜图像的多尺度视差图。
优选的，所述预设的多任务神经网络模型的训练过程包括：
获取内窥镜图像并进行处理；
将处理后的内窥镜图像输入到初始神经网络模型，采用自监督的方式对初始神经网络模型进行训练，得到多任务神经网络模型；
其中，训练过程中的损失函数包括：
相机帧间运动估计损失：
Figure BDA0002917765700000031
其中，
Figure BDA0002917765700000032
表示神经网络模型预设的相机平移向量；
Figure BDA0002917765700000033
表示神经网络模型预设的相机旋转向量；δ1和δ2分别为适用于平移向量和旋转向量的Huber函数的参数；
其中，Huber函数
Figure BDA0002917765700000034
计算如下：
Figure BDA0002917765700000035
其中，y和
Figure BDA0002917765700000036
表示需要进行比较的两个数；
图像还原损失，包括像素误差损失和相似性误差损失，具体为：
像素误差损失：
Figure BDA0002917765700000037
其中：M和N分别表示图像的像素宽和高的值；I(i,j)表示第二张图在坐标(i,j)下的真实像素值；
Figure BDA0002917765700000041
表示通过算法重建的第二张图在坐标(i,j)的像素值；θ为代表像素误差的Huber函数参数；
相似性误差损失：
Figure BDA0002917765700000042
其中：Sim表示图像相似性评估函数，其值位于0～1之间；I表示真实的第二张图；
Figure BDA0002917765700000043
表示通过算法重建的第二张图；
深度平滑误差损失：
Figure BDA0002917765700000044
其中：D(i,j)表示在坐标(i,j)处，所估计的第二张图的深度的倒数；
总的损失函数为损失函数的加权和，各部分的权重分配通过神经网络超参数学习获得。
优选的，所述S3包括：
根据相机外参对内窥镜图像进行畸变校正，对于非畸变图像像素坐标(u v)，其像素值还原步骤包括：
对于非畸变图像的归一化平面，有：
Figure BDA0002917765700000045
其中，(x′y′)表示非畸变图像像素坐标(u v)在归一化平面上对应的坐标；
坐标经畸变后，在归一化平面上的坐标为(x″ y″)，有:
Figure BDA0002917765700000051
其中，r2＝x′2+y′2
畸变后的归一化平面坐标经过投影到像素平面上，得到像素坐标为：
Figure BDA0002917765700000052
因此非畸变图像坐标(u v)的像素值即为畸变图像坐标(ud vd)所对应的像素值；而ud和vd通常为非整数，可以根据双线性插值法求得(ud vd)所对应的像素值；
双线性插值法如下：
若ud和vd均为非整数，则取u1<ud<u1+1,v1<vd<v1+1；若u1和v1均为整数，则有：
I(ud,vd)＝(v1+1-vd)I(ud,v1)+(vd-v1)I(ud,v1+1)
其中，
I(ud,v1)＝(u1+1-ud)I(u1,v1)+(ud-u1)I(u1+1,v1)
I(ud,v1+1)＝(u1+1-ud)I(u1,v1+1)+(ud-u1)I(u1+1,v1+1)；
根据像素值还原后的坐标和相机模型求解点云的x和y，具体为：
x＝z(u-cx)/fx
y＝z(v-cy)/fy
根据点云的x和y，将步骤S2中的点云深度作为z，得到在当前帧所对应的内窥镜相机坐标系下的局部点云。
优选的，所述S4包括：
若内窥镜是由机器人扶持，获得每一帧图像所对应的相机位姿，通过位姿转换获得内窥镜相机帧间运动信息；
将帧间运动信息作为点云配准的初始值，采用相干点漂移算法对多个局部点云进行配准融合。
优选的，所述S4还包括：
若内窥镜不是由机器人扶持，通过多任务神经网络模型获得帧间运动信息；
将帧间运动信息作为点云配准的初始值，采用相干点漂移算法对多个局部点云进行配准融合。
优选的，所述S5包括：
采用动态更新机制对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，采用三维数据处理库对全局点云进行可视化展示。
本发明还提供一种面向微创手术空间感知的内窥镜图像三维重构***，其特征在于，包括：
获取模块，用于获取内窥镜图像；
深度估计模块，用于基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；
局部点云获取模块，用于基于点云深度和相机模型获取局部点云；
配准融合模块，用于对多个局部点云进行配准融合；
全局点云生成模块，用于对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1～7任一项所述的方法。
本发明还提供一种电子设备，所述电子设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1～7任一项所述的方法。
(三)有益效果
本发明提供了一种面向微创手术空间感知的内窥镜图像三维重构方法和***。与现有技术相比，具备以下有益效果：
本发明通过获取内窥镜图像，基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；基于点云深度和相机模型获取局部点云；对多个局部点云进行配准融合；对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。本发明克服了现有的基于深度学习的内窥镜图像三维重构方法仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型的技术问题，实现面向微创手术空间感知的内窥镜图像三维重构。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种面向微创手术空间感知的内窥镜图像三维重构方法的框图；
图2为本发明实施例中多任务神经网络模型的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种面向微创手术空间感知的内窥镜图像三维重构方法和***，解决了现有的方法无法重构并动态更新整体三维模型的技术问题，实现面向微创手术空间感知的内窥镜图像三维重构。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
内窥镜图像三维重构可以辅助微创手术的开展，给主刀医生带来更好的感知体验，提高手术精度。现有的基于深度学习的内窥镜图像三维重构方法仅限于单张图像的三维重构(深度估计)，较少涉及全局三维重构。全局三维重构模型大部分的研究集中于与术前CT/MRI三维模型进行非刚性配准，当没有术前三维模型时，该方法失效。为解决上述问题，提出了本发明实施例的方法，克服现有的基于深度学习的内窥镜图像三维重构***仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型的现状，同时本发明实施例无需术前CT/MRI图像的支持，实现内窥镜图像的无监督实时动态全局三维重构。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例提供了一种面向微创手术空间感知的内窥镜图像三维重构方法，该方法包括步骤S1～S5：
S1、获取内窥镜图像；
S2、基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；
S3、基于点云深度和相机模型获取局部点云；
S4、对多个局部点云进行配准融合；
S5、对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。
本发明实施例克服了现有的基于深度学习的内窥镜图像三维重构方法仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型的技术问题，实现面向微创手术空间感知的内窥镜图像三维重构。
下面对各个步骤进行详细说明：
在步骤S1中，获取内窥镜图像。具体实施过程如下：
采用Opencv和棋盘格对内窥镜参数进行标定，得到内窥镜相机内参fx，fy，cx，cy和外参k1，k2，k3，p1，p2。其中k1，k2，k3为径向畸变参数，p1和p2为切向畸变参数。
利用标定好的内窥镜对软组织图像进行拍摄，采用Opencv获取内窥镜图像，并修改内窥镜图像的分辨率使其满足多任务神经网络模型输入。
在步骤S2中，基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度。具体实施过程如下：
在本发明实施例中，预设的多任务神经网络模型的构建过程包括：
A1、获取内窥镜图像并进行处理，包括：
采用Opencv和棋盘格对内窥镜参数进行标定，得到内窥镜相机内参fx，fy，cx，cy和外参k1，k2，k3，p1，p2。其中k1，k2，k3为径向畸变参数，p1和p2为切向畸变参数。
利用机器人扶持标定好的内窥镜对软组织图像进行拍摄，采用Opencv获取内窥镜图像，并修改内窥镜图像的分辨率使其满足模型输入。在获取内窥镜图像时，同时根据机器人正运动学建模求解每一帧图像对应的相机位姿。通过计算可求得每两帧内窥镜图像之间的位姿转换关系。
正向运动学建模是指采用机器人的运动方程，根据机器人各关节的相关状态参数求解末端执行器的位姿，然后通过末端执行器到内窥镜相机位姿转换，最终求得内窥镜相机位姿。常用的正向运动学求解方法有D-H参数法。该过程为本领域人员的公知常识，此处不再赘述。
A2、将处理后的内窥镜图像输入到初始神经网络模型，对初始神经网络模型进行训练，得到多任务神经网络模型。具体为：
初始神经网络模型的输入为任意两帧具有较多匹配点的内窥镜图像，输出为相机位姿转换向量这两帧内窥镜图像之间的相机位姿转换向量，包括旋转(rx ry rz)和平移(txty tz)，和后面那帧图像各像素的深度信息的倒数组成的矩阵。
该多任务神经网络模型的结构如图2所示，包括：三类卷积块层和一层全局池化层，其中卷积块代表一系列由卷积层组成的块。
两帧内窥镜图像分别由两个卷积块一提取内窥镜图像的特征图，卷积块一之间的网络参数权值共享，所获得的特征图拼接之后再通过卷积块二进行适用于帧间运动向量估计的特征提取，得到帧间运动向量估计特征，然后通过全局池化层得到这两帧内窥镜图像之间的相机运动向量；与此同时，经拼接的特征图会经过卷积块三进行适用于求解第二张内窥镜图像深度信息的特征提取，得到深度信息特征，第二张内窥镜图像经过卷积块一操作时所输出的多尺度特征图会与卷积块三操作所生成的深度信息特征跳层连接，最终输出适用于第二张内窥镜图像的多尺度视差图(即深度的倒数构成的矩阵)。
在训练过程中，首先对相机帧间运动估计这一分支的网络模型进行训练，结束后固定公共部分的权值，进一步训练深度估计部分的网络权值。这么做的好处是可以保证在尺度不统一的情况下，模型能够达到较好的效果。
在模型的训练过程中，采用自监督的方式进行训练。损失函数如下：
相机帧间运动估计损失：
Figure BDA0002917765700000121
其中，
Figure BDA0002917765700000122
表示神经网络模型预设的相机平移向量；
Figure BDA0002917765700000123
表示神经网络模型预设的相机旋转向量；δ1和δ2分别为适用于平移向量和旋转向量的Huber函数的参数；
其中，Huber函数
Figure BDA0002917765700000124
计算如下：
Figure BDA0002917765700000125
其中，y和
Figure BDA0002917765700000126
表示需要进行比较的两个数。
图像还原损失，包括像素误差损失和相似性误差损失，具体为：
像素误差损失：
Figure BDA0002917765700000127
其中：M和N分别表示图像的像素宽和高的值。I(i,j)表示第二张图在坐标(i,j)下的真实像素值，
Figure BDA0002917765700000128
表示通过算法重建的第二张图在坐标(i,j)的像素值，θ为代表像素误差的Huber函数参数。
相似性误差损失：
Figure BDA0002917765700000129
其中：Sim表示图像相似性评估函数，可采用SSIM，PSNR等，其值位于0-1之间。I表示真实的第二张图，
Figure BDA0002917765700000131
表示通过算法重建的第二张图。
深度平滑误差损失：
Figure BDA0002917765700000132
其中：D(i,j)表示在坐标(i,j)处，所估计的第二张图的深度的倒数。
最后总的损失函数为上述损失函数的加权和。各部分的权重分配通过神经网络超参数学习获得。
需要说明的是，模型训练好后，可反复多次运用，无需重复训练。
在实际使用过程中，也可收集使用过程中的内窥镜图像数据，定期对模型进行更新，保证模型的精度。
采用训练好的多任务神经网络模型以时间窗为M帧，M通常取3，对当前帧进行深度估计。(即：假设当前帧为i，则采用i-3，i-2，i-1这三帧分别与第i帧组合进入神经网络模型来求取第i帧的深度，最后求取平均值作为第i帧的深度。)
在步骤S3中，基于点云深度和相机模型获取局部点云。具体实施过程如下：
首先根据相机外参对内窥镜图像进行畸变校正。对于非畸变图像像素坐标(u v)，其像素值还原步骤如下：
对于非畸变图像的归一化平面，有：
Figure BDA0002917765700000141
其中，(x′y′)表示非畸变图像像素坐标(u v)在归一化平面上对应的坐标。
而该坐标经畸变后，在归一化平面上的坐标为(x″ y″),有:
Figure BDA0002917765700000142
其中，r2＝x′2+y′2。
该畸变后的归一化平面坐标经过投影到像素平面上，得到像素坐标为：
Figure BDA0002917765700000143
故非畸变图像坐标(u v)的像素值即为畸变图像坐标(ud vd)所对应的像素值。而ud和vd通常为非整数，此时可以根据双线性插值法求得(ud vd)所对应的像素值。
双线性插值法如下：
若ud和vd均为非整数。则取u1<ud<u1+1,v1<vd<v1+1.u1和v1均为整数。则有：
I(ud,vd)＝(v1+1-vd)I(ud,v1)+(vd-v1)I(ud,v1+1)
其中，
I(ud,v1)＝(u1+1-ud)I(u1,v1)+(ud-u1)I(u1+1,v1)
I(ud,v1+1)＝(u1+1-ud)I(u1,v1+1)+(ud-u1)I(u1+1,v1+1)
然后根据相机模型求解点云的x和y；
求解公式如下：
x＝z(u-cx)/fx
y＝z(v-cy)/fy
根据点云的x和y，将步骤S2中的深度作为z。得到在当前帧所对应的内窥镜相机坐标系下的局部点云。
在步骤S4中，对多个局部点云进行配准融合。具体实施过程如下：
在具体实施过程中，在执行配准融合前，还需对局部点云进行滤波处理，在本发明实施例中，采用滤波算法对局部点云的离群点和噪声数据进行过滤。
配准融合分为两种情况：
情况一、内窥镜是由机器人扶持，获得每一帧图像所对应的相机位姿，通过位姿转换获得内窥镜相机帧间运动信息。
情况二、内窥镜不是由机器人扶持，通过多任务神经网络模型获得帧间运动信息。
将帧间运动信息作为点云配准的初始值，然后采用适用于柔性点云配准的相干点漂移算法对多个局部点云进行配准融合。
在步骤S5中，对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。具体实施过程如下：
采用动态更新机制对点云进行拼接，形成随着时间推移柔性变换的全局点云采用PCL，Open3D，Chai3D等库对全局点云进行可视化展示。
基于同一发明构思，本发明实施例还提供一种面向微创手术空间感知的内窥镜图像三维重构***，包括：
获取模块，用于获取内窥镜图像；
深度估计模块，用于基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；
局部点云获取模块，用于基于点云深度和相机模型获取局部点云；
配准融合模块，用于对多个局部点云进行配准融合；
全局点云生成模块，用于对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。
可理解的是，本发明实施例提供的面向微创手术空间感知的内窥镜图像三维重构***与本发明提供的面向微创手术空间感知的内窥镜图像三维重构方法相对应，其有关内容的解释、举例和有益效果等部分可以参考面向微创手术空间感知的内窥镜图像三维重构方法中的相应部分，此处不再赘述。
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序代码，该程序代码用于执行上述面向微创手术空间感知的内窥镜图像三维重构方法。
基于同一发明构思，本发明实施例还提供了一种电子设备，该电子设备包括处理器以及存储器：
该存储器用于存储程序代码，并将该程序代码传输给该处理器；
该处理器用于根据该程序代码中的指令执行上述面向微创手术空间感知的内窥镜图像三维重构方法。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例克服现有的基于深度学习的内窥镜图像三维重构方法仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型的现状，实现面向微创手术空间感知的内窥镜图像三维重构。
2、本发明实施例的多任务神经网络模型的训练数据只需要机器人扶持内窥镜获取内窥镜图像数据，和相机位姿数据，无需深度信息。数据容易获得，适用性强。
3、本发明实施例设计多任务神经网络模型，一个网络模型就可还原景深信息和相机帧间运动信息。
4、本发明实施例能实现无监督实时动态全局三维重构，无需术前CT/MRI图像的支持。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述方法包括：
S1、获取内窥镜图像；
S2、基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；
S3、基于所述点云深度和相机模型获取局部点云；
S4、对多个局部点云进行配准融合；
S5、对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对所述全局点云进行可视化展示。
2.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述预设的多任务神经网络模型包括：三类卷积块和全局池化层，所述三类卷积块包括卷积块一、卷积块二和卷积块三，所述多任务神经网络模型处理内窥镜图像的过程包括：
通过两个卷积块一对两帧内窥镜图像提取内窥镜图像的特征图，得到第一特征图和第二特征图，两个卷积块一之间的网络参数权值共享；
对所述第一特征图和第二特征图进行拼接，通过所述卷积块二对拼接后的特征图进行特征提取，得到帧间运动向量估计特征；
通过所述全局池化层对帧间运动向量估计特征进行池化处理，得到两帧内窥镜图像之间的相机运动向量；
通过所述卷积块三对拼接后的特征图进行调整特征提取，得到深度信息特征；第二特征图与深度信息特征跳层连接，输出适用于第二张内窥镜图像的多尺度视差图。
3.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述预设的多任务神经网络模型的训练过程包括：
获取内窥镜图像并进行处理；
将处理后的内窥镜图像输入到初始神经网络模型，采用自监督的方式对初始神经网络模型进行训练，得到多任务神经网络模型；
其中，训练过程中的损失函数包括：
相机帧间运动估计损失：
Figure FDA0002917765690000021
其中，
Figure FDA0002917765690000022
表示神经网络模型预设的相机平移向量；
Figure FDA0002917765690000023
表示神经网络模型预设的相机旋转向量；δ1和δ2分别为适用于平移向量和旋转向量的Huber函数的参数；
其中，Huber函数
Figure FDA0002917765690000024
计算如下：
Figure FDA0002917765690000025
其中，y和
Figure FDA0002917765690000026
表示需要进行比较的两个数；
图像还原损失，包括像素误差损失和相似性误差损失，具体为：
像素误差损失：
Figure FDA0002917765690000031
其中：M和N分别表示图像的像素宽和高的值；I(i，j)表示第二张图在坐标(i，j)下的真实像素值；
Figure FDA0002917765690000032
表示通过算法重建的第二张图在坐标(i，j)的像素值；θ为代表像素误差的Huber函数的参数；
相似性误差损失：
Figure FDA0002917765690000033
其中：Sim表示图像相似性评估函数，其值位于0～1之间；I表示真实的第二张图；
Figure FDA0002917765690000034
表示通过算法重建的第二张图；
深度平滑误差损失：
Figure FDA0002917765690000035
其中：D(i，j)表示在坐标(i，j)处，所估计的第二张图的深度的倒数；
总的损失函数为上述损失函数的加权和，各部分的权重分配通过神经网络超参数学习获得。
4.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述S3包括：
根据相机外参对内窥镜图像进行畸变校正，对于非畸变图像像素坐标(u v)，其像素值还原步骤包括：
对于非畸变图像的归一化平面，有：
Figure FDA0002917765690000036
其中，(x′ y′)表示非畸变图像像素坐标(u v)在归一化平面上对应的坐标；
坐标经畸变后，在归一化平面上的坐标为(x″ y″)，有：
Figure FDA0002917765690000041
其中，r2＝x′2+y′2
畸变后的归一化平面坐标经过投影到像素平面上，得到像素坐标为：
Figure FDA0002917765690000042
因此非畸变图像坐标(u v)的像素值即为畸变图像坐标(ud vd)所对应的像素值；而ud和vd通常为非整数，可以根据双线性插值法求得(ud vd)所对应的像素值；
双线性插值法如下：
若ud和vd均为非整数，则取u1＜ud＜u1+1，v1＜vd＜v1+1；若u1和v1均为整数，则有：
I(ud，vd)＝(v1+1-vd)I(ud，v1)+(vd-v1)I(ud，v1+1)
其中，
I(ud，v1)＝(u1+1-ud)I(u1，v1)+(ud-u1)I(u1+1，v1)
I(ud，v1+1)＝(u1+1-ud)I(u1，v1+1)+(ud-u1)I(u1+1，v1+1)；
根据像素值还原后的坐标和相机模型求解点云的x和y，具体为：
x＝z(u-cx)/fx
y＝z(v-cy)/fy
根据点云的x和y，将步骤S2中的点云深度作为z，得到在当前帧所对应的内窥镜相机坐标系下的局部点云。
5.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述S4包括：
若内窥镜是由机器人扶持，获得每一帧图像所对应的相机位姿，通过位姿转换获得内窥镜相机帧间运动信息；
将帧间运动信息作为点云配准的初始值，采用相干点漂移算法对多个局部点云进行配准融合。
6.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述S4还包括：
若内窥镜不是由机器人扶持，通过多任务神经网络模型获得帧间运动信息；
将帧间运动信息作为点云配准的初始值，采用相干点漂移算法对多个局部点云进行配准融合。
7.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述S5包括：
采用动态更新机制对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，采用三维数据处理库对全局点云进行可视化展示。
8.一种面向微创手术空间感知的内窥镜图像三维重构***，其特征在于，包括：
获取模块，用于获取内窥镜图像；
深度估计模块，用于基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；
局部点云获取模块，用于基于点云深度和相机模型获取局部点云；
配准融合模块，用于对多个局部点云进行配准融合；
全局点云生成模块，用于对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1～7任一项所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1～7任一项所述的方法。
CN202110106321.XA 2021-01-26 2021-01-26 面向微创手术空间感知的内窥镜图像三维重构方法和*** Active CN112802185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110106321.XA CN112802185B (zh) 2021-01-26 2021-01-26 面向微创手术空间感知的内窥镜图像三维重构方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110106321.XA CN112802185B (zh) 2021-01-26 2021-01-26 面向微创手术空间感知的内窥镜图像三维重构方法和***

Publications (2)

Publication Number Publication Date
CN112802185A true CN112802185A (zh) 2021-05-14
CN112802185B CN112802185B (zh) 2022-08-02

Family

ID=75811926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110106321.XA Active CN112802185B (zh) 2021-01-26 2021-01-26 面向微创手术空间感知的内窥镜图像三维重构方法和***

Country Status (1)

Country Link
CN (1) CN112802185B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435573A (zh) * 2021-06-07 2021-09-24 华中科技大学 内窥镜图像的视差预测模型建立方法及深度估计方法
CN113436338A (zh) * 2021-07-14 2021-09-24 中德（珠海）人工智能研究院有限公司 火灾现场的三维重建方法、装置、服务器及可读存储介质
CN113925441A (zh) * 2021-12-17 2022-01-14 极限人工智能有限公司 一种基于内窥镜的成像方法及成像***
CN114387153A (zh) * 2021-12-13 2022-04-22 复旦大学 一种用于插管机器人的视野拓展方法
CN116439825A (zh) * 2023-04-14 2023-07-18 合肥工业大学 面向微创术中辅助决策的体内三维信息测量***
CN117671012A (zh) * 2024-01-31 2024-03-08 临沂大学 术中内窥镜绝对与相对位姿计算的方法、装置及设备
CN117953165A (zh) * 2024-03-26 2024-04-30 合肥工业大学 基于神经辐射场的人脸新视图合成方法和***
CN118216863A (zh) * 2024-05-24 2024-06-21 北京大学第三医院（北京大学第三临床医学院） 一种基于观测三维空间深度表征的紧凑型广角手术内窥镜
CN116439825B (zh) * 2023-04-14 2024-07-30 合肥工业大学 面向微创术中辅助决策的体内三维信息测量***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448041A (zh) * 2018-10-29 2019-03-08 重庆金山医疗器械有限公司 一种胶囊内镜图像三维重建方法及***
US20200219272A1 (en) * 2019-01-07 2020-07-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for deriving a three-dimensional (3d) textured surface from endoscopic video
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、***和可读存储介质
US20200402250A1 (en) * 2017-11-15 2020-12-24 Google Llc Unsupervised learning of image depth and ego-motion prediction neural networks
WO2020259248A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200402250A1 (en) * 2017-11-15 2020-12-24 Google Llc Unsupervised learning of image depth and ego-motion prediction neural networks
CN109448041A (zh) * 2018-10-29 2019-03-08 重庆金山医疗器械有限公司 一种胶囊内镜图像三维重建方法及***
US20200219272A1 (en) * 2019-01-07 2020-07-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for deriving a three-dimensional (3d) textured surface from endoscopic video
WO2020259248A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、***和可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WU, AIRONG等: "Diagnostic value of endoscopic ultrasonography for submucosal tumors of upper gastrointestinal tract", 《CHINESE JOURNAL OF GASTROINTESTINAL SURGERY》 *
耿国华等: "交互式实时虚拟内窥镜***中的关键技术", 《计算机应用》 *
衡怡伶等: "基于序列内窥镜视频图像的膀胱三维场景重建", 《科学技术与工程》 *
赵矿军: "基于RGB-D摄像机的室内三维彩色点云地图构建", 《哈尔滨商业大学学报(自然科学版)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435573A (zh) * 2021-06-07 2021-09-24 华中科技大学 内窥镜图像的视差预测模型建立方法及深度估计方法
CN113435573B (zh) * 2021-06-07 2022-04-29 华中科技大学 内窥镜图像的视差预测模型建立方法及深度估计方法
CN113436338A (zh) * 2021-07-14 2021-09-24 中德（珠海）人工智能研究院有限公司 火灾现场的三维重建方法、装置、服务器及可读存储介质
CN114387153A (zh) * 2021-12-13 2022-04-22 复旦大学 一种用于插管机器人的视野拓展方法
CN113925441A (zh) * 2021-12-17 2022-01-14 极限人工智能有限公司 一种基于内窥镜的成像方法及成像***
CN116439825A (zh) * 2023-04-14 2023-07-18 合肥工业大学 面向微创术中辅助决策的体内三维信息测量***
CN116439825B (zh) * 2023-04-14 2024-07-30 合肥工业大学 面向微创术中辅助决策的体内三维信息测量***
CN117671012A (zh) * 2024-01-31 2024-03-08 临沂大学 术中内窥镜绝对与相对位姿计算的方法、装置及设备
CN117671012B (zh) * 2024-01-31 2024-04-30 临沂大学 术中内窥镜绝对与相对位姿计算的方法、装置及设备
CN117953165A (zh) * 2024-03-26 2024-04-30 合肥工业大学 基于神经辐射场的人脸新视图合成方法和***
CN118216863A (zh) * 2024-05-24 2024-06-21 北京大学第三医院（北京大学第三临床医学院） 一种基于观测三维空间深度表征的紧凑型广角手术内窥镜

Also Published As

Publication number Publication date
CN112802185B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN112802185B (zh) 面向微创手术空间感知的内窥镜图像三维重构方法和***
CN111161290B (zh) 一种图像分割模型的构建方法、图像分割方法及***
JP5153620B2 (ja) 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム
JP5335280B2 (ja) 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
Wu et al. Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning
CN111080778B (zh) 一种双目内窥镜软组织图像的在线三维重建方法
WO2005020155A1 (en) Device and method for generating a three-dimensional vascular model
JP2008511395A (ja) 一連の画像における動き修正のための方法およびシステム
US20220198693A1 (en) Image processing method, device and computer-readable storage medium
CN114842154B (zh) 一种基于二维x射线图像重建三维影像的方法和***
CN114399527A (zh) 单目内窥镜无监督深度和运动估计的方法及装置
CN105616003B (zh) 一种基于径向样条插值的软组织三维视觉跟踪方法
CN111161330B (zh) 非刚性图像配准方法、装置、***、电子设备、存储介质
CN112562070A (zh) 基于模板匹配的颅缝早闭手术切割坐标生成***
CN116993805A (zh) 面向手术规划辅助的术中剩余器官体积估计***
CN110473241A (zh) 图像配准方法、存储介质及计算机设备
CN113538335A (zh) 一种无线胶囊内窥镜的体内相对定位方法和装置
Deligianni et al. Non-rigid 2d-3d registration with catheter tip em tracking for patient specific bronchoscope simulation
CN112150404B (zh) 基于联合显著图的全局到局部非刚性图像配准方法及装置
JP2022052210A (ja) 情報処理装置、情報処理方法及びプログラム
JP2010005109A (ja) 画像生成装置、プログラム、および画像生成方法
Bouattour et al. 4D reconstruction of coronary arteries from monoplane angiograms
CN115281584B (zh) 柔性内窥镜机器人控制***及柔性内窥镜机器人模拟方法
Tsuda et al. Recovering size and shape of polyp from endoscope image by RBF-NN modification
CN116439825B (zh) 面向微创术中辅助决策的体内三维信息测量***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant