CN108154552A - 一种立体腹腔镜三维模型重建方法和装置 - Google Patents

一种立体腹腔镜三维模型重建方法和装置 Download PDF

Info

Publication number
CN108154552A
CN108154552A CN201711435914.0A CN201711435914A CN108154552A CN 108154552 A CN108154552 A CN 108154552A CN 201711435914 A CN201711435914 A CN 201711435914A CN 108154552 A CN108154552 A CN 108154552A
Authority
CN
China
Prior art keywords
point
dimensional
cloud
hand
density cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711435914.0A
Other languages
English (en)
Inventor
罗火灵
何圣昊
贾富仓
尹大龙
宋瑞鹏
刘连新
方驰华
范应方
项楠
杨剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital Of Harbin Medical University
Shenzhen Institute of Advanced Technology of CAS
Southern Medical University Zhujiang Hospital
Original Assignee
First Affiliated Hospital Of Harbin Medical University
Shenzhen Institute of Advanced Technology of CAS
Southern Medical University Zhujiang Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital Of Harbin Medical University, Shenzhen Institute of Advanced Technology of CAS, Southern Medical University Zhujiang Hospital filed Critical First Affiliated Hospital Of Harbin Medical University
Priority to CN201711435914.0A priority Critical patent/CN108154552A/zh
Publication of CN108154552A publication Critical patent/CN108154552A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

一种立体腹腔镜三维模型重建方法和装置。包括：左右相机采集物体的二维彩色图像，记录立体腹腔镜上光学跟踪工具的空间姿态信息；求得稀疏的关键特征点，以稀疏的关键特征点为种子点，遍历迭代得到密集点云并生成左右图像的视差图，将视差图反投影至相机坐标***下的三维密集点云，再变换至光学定位***的坐标空间中，得到三维密集点云信息,根据三维密集点云信息重建得到物体的表面模型。本申请利用从疏到密的策略，使得重建的三维点云和表面模型更加符合对象的真实拓扑结构，无需三维表面模型扫描设备即可重建出三维密集点云数据和面模型，充分利用现有光学定位***，无需引入其他硬件设备，更加经济、直接。

Description

一种立体腹腔镜三维模型重建方法和装置
技术领域
本申请涉及图像处理，尤其涉及一种立体腹腔镜三维模型重建方法和装置。
背景技术
在腹腔镜外科手术导航中，实时获取腹腔镜图像下器官表面的三维信息(三维点云或表面模型)是一个关键的步骤。该步骤的输出结果将用于与器官的术前表面模型进行配准，计算术中物理空间与术前图像空间之间的空间变换信息，是决定腹腔镜手术导航***成功与否以及影响导航精度的重要过程。为获取更高精度的器官表面的三维点云信息或面模型，一种解决方案是借助手持式三维表面采集设备。但这种方案需要引入昂贵的采集硬件设备，而且对于腹腔镜外科手术导航的操作流程也会产生影响。所以通过现有导航设备，从立体腹腔镜所采集的左右图像重建三维表面信息的方法更加经济、直接。
现有的立体腹腔镜三维点云重建技术是计算机视觉中的经典方法的延伸或移植。首先通过双目相机的立体标定步骤获取双目相机的内外参数；然后采集左右相机的二维彩色图像；再通过立体匹配算法寻找左右图像的匹配特征点；最后将所匹配的特征点通过三角化、结合左右相机的内外参数反投影至相机的三维空间，获得最终的三维点云。
经典计算机视觉三维点云重建技术的一个关键步骤是匹配左右图像的关键特征点，这对于低纹理、重复纹理、透明、镜面反射的区域而言，难以匹配到关键特征点，在上述场景下所重建的三维点云极其稀疏，无法重建出对象的拓扑结构信息，特别是镜面反射(高亮)的情况，由于腹腔镜上有光源的存在以及器官表面的平滑特性，通常会在器官表面形成高亮区域，导致现有的三维点云重建方案难以得到密集点云信息；另一方面，腹腔镜成像区域有限，在某个立体腹腔镜的姿态下，只能对对象的局部表面区域重建三维点云，较难满足实际的使用需求。
发明内容
本申请提供一种立体腹腔镜三维模型重建方法和装置。
根据本申请的第一方面，本申请提供一种立体腹腔镜三维模型重建方法，包括：
左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息；
基于所述二维彩色图像求得稀疏的关键特征点，以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云；
根据所述密集点云生成左右图像的视差图；
根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标***下的三维密集点云，再将所述三维密集点云变换至光学定位***的坐标空间中，得到三维密集点云信息；
根据所述三维密集点云信息重建得到物体的表面模型。
上述方法，所述以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云，具体包括：
以所述稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；
计算每个种子点在所述邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。
上述方法，所述根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标***下的三维点云，再将该所述三维密集点云变换至光学定位***的坐标空间中，具体通过以下公式实现：
POINTStracker＝trackerThand*handTeye*POINTScamera
其中，POINTStracker为光学定位***中的点，trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，handTeye为手眼校准矩阵，POINTScamera为相机坐标***中的点。
上述方法，所述根据所述三维密集点云信息重建得到物体的表面模型后，还包括：
对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据；
根据排除异常点云数据后的数据重建出物体的表面模型。
根据本申请的第二方面，本申请提供一种立体腹腔镜三维点云重建装置，，包括：
图像采集模块，用于使用左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息；
密集点云生成模块，用于基于所述二维彩色图像求得稀疏的关键特征点，以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云；
空间转换模块，用于根据所述密集点云生成左右图像的视差图，根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标***下的三维密集点云，再将所述三维密集点云变换至光学定位***的坐标空间中，得到三维密集点云信息；
重建模块，用于根据所述三维密集点云信息重建得到物体的表面模型。
上述装置，所述密集点云生成模块，还用于以所述稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；计算每个种子点在所述邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。
上述装置，所述空间转换模块具体通过以下公式实现空间转换：
POINTStracker＝trackerThand*handTeye*POINTScamera
其中，POINTStracker为光学定位***中的点，trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，handTeye为手眼校准矩阵，POINTScamera为相机坐标***中的点。
上述装置，还包括后处理模块，用于对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据；根据排除异常点云数据后的数据重建出物体的表面模型。
根据本申请的第三方面，本申请提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述方法。
由于采用了以上技术方案，使本申请具备的有益效果在于：
在本申请的具体实施方式中，由于包括根据二维彩色图像求得稀疏的关键特征点，以稀疏的关键特征点为种子点，遍历迭代得到密集点云，本申请利用从疏到密的策略，使得重建的三维点云和表面模型更加符合对象的真实拓扑结构，且无需三维表面模型扫描设备即可重建出三维密集点云数据和面模型，而且充分利用现有外科手术导航中的光学定位***，无需引入其他硬件设备，不会对现有腹腔镜导航的工作流程产生影响，更加经济、直接。
附图说明
图1为本申请的方法在一种实施方式中的流程图；
图2为本申请立体腹腔镜三维点云场景布置示意图；
图3为本申请的立体腹腔镜在某一状态下三维点云重建结果示意图；
图4为根据本申请的方法形成的完整的对象表面的三维密集点云；
图5为根据本申请的方法处理后得到的三维点云和重建结果；
图6为本申请的装置在一种实施方式中的功能模块示意图。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。
本申请在实际的腹腔镜导航***或腹腔镜导航训练***中，结合已有的硬件设备，直接从立体腹腔镜所采集的左右图像，重建出器官表面完整的三维密集点云数据和面模型，对于导航技术的成功实施和导航精度的提高有着关键的作用。本申请可基于计算机视觉领域一些经典的立体匹配方法，先得到左右图像匹配的稀疏关键点，再以这些稀疏关键点为种子点，通过增长策略得到密集的匹配关键点，生成视差图，通过在立体腹腔镜上固定一个光学定位***的跟踪工具，将视差图反投影的三维点云变换至定位***的坐标空间中，移动立体腹腔镜重复以上步骤，生成三维的密集点云数据和表面模型。
实施例一：
如图1所示，本申请的立体腹腔镜三维模型重建方法，其一种实施方式，包括以下步骤：
步骤102：左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息。
步骤104：基于所述二维彩色图像求得稀疏的关键特征点，以稀疏的关键特征点为种子点，遍历迭代得到密集点云。
以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云，具体可以包括：
以稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；
计算每个种子点在邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。
步骤106：根据密集点云生成左右图像的视差图，根据当前姿态信息和手眼校准变换矩阵将视差图反投影至相机坐标***下的三维密集点云，再将三维密集点云变换至光学定位***的坐标空间中，得到三维密集点云信息。
其中，根据所述当前姿态信息和手眼校准变换矩阵将视差图反投影至相机坐标***下的三维密集点云，再将该三维密集点云变换至光学定位***的坐标空间中，具体通过以下公式实现：
POINTStracker＝trackerThand*handTeye*POINTScamera
其中，POINTStracker为光学定位***中的点，trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，handTeye为手眼校准矩阵，POINTScamera为相机坐标***中的点。
步骤108：根据三维密集点云信息重建得到物体的表面模型。
在一种实施方式中，本申请的立体腹腔镜三维模型重建方法，在步骤108后，还可以包括以下步骤：
步骤110：对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据，根据排除异常点云数据后的数据重建出物体的表面模型。
在一种实施方式中,本申请基于左右相机采集的彩色图像，利用计算机视觉领域的立体匹配算法先求得稀疏的关键特征点；然后以这些稀疏的关键特征点为种子点，采用区域增长的思想，求得左右图像上的种子点邻域内的匹配区域，扩展左右图像匹配的关键特征点；再以这个扩展后的左右图像匹配的关键特征点为基础，生成视差图；通过在立体腹腔镜上固定一个光学定位***的跟踪工具，将视差图反投影得到的三维点云变换至光学定位***的坐标空间中；移动立体腹腔镜对器官或其他对象的不同区域进行腹腔镜彩色图像成像，重复以上步骤，重建出器官或对象完整的三维密集点云信息；再采用RANdom SAmpleConsensus(RANSAC，随机抽样一致性算法)对重建结果作后处理，采用泊松表面重建算法得到对象的表面模型。
实施例二：
实施例二为本申请的立体腹腔镜三维模型重建方法的一种具体应用例，包括以下步骤：
步骤202：场景准备。
立体腹腔镜三维点云场景如图2所示，其中，11为光学定位***，12为光学定位***的跟踪工具，13为立体腹腔镜，14为双目相机，21为器官表面，22为腹壁，其准备工作包括：在立体腹腔镜上固定光学定位***的跟踪工具；保证需要三维点云重建的对象在光学定位***的可视范围内。
通过引入手术导航中普遍使用的光学定位***，在立体腹腔镜上固定光学定位***的跟踪工具，通过这个跟踪工具可以将立体相机坐标空间中的三维点云变换至光学定位***坐标空间，这一步操作是保证重建完整的对象表面三维点云的最关键步骤。
通过在立体腹腔镜上固定光学定位***的跟踪工具，能够将立体腹腔镜相机坐标系下的三维点云变换至光学定位***的坐标空间中，相比于传统的三维点云重建方法，本申请方法能够重建出对象表面完整的三维点云和表面模型。
步骤204：相机标定和手眼校准。
立体相机标定主要的目的是获取左右相机的内外参数，包括相机的焦距、畸变参数、左右相机之间的旋转、平移参数等。可以基于棋盘格校准法，如OpenCV、MATLAB等工具包完成这个过程。这些参数将会用于相机图像的二维信息到三维信息的重建过程中。
手眼校准的目的是获取双目相机坐标系到立体腹腔镜上的光学定位工具局部坐标系之间的空间变换，即为了求得图2中的handTeye变换矩阵，通过公式1：POINTStracker＝trackerThand*handTeye*POINTScamera，可以把相机坐标系下的三维点云变换至光学定位***的坐标系下。
步骤206：立体腹腔镜采集彩色二维图像。
保证腹腔镜上固定的跟踪工具能被光学定位***所见，采集立体腹腔镜左右相机在某个状态下的二维彩色图像，同时记录该状态下跟踪工具在光学定位***下的空间姿态信息。
步骤208：立体匹配。
基于计算机视觉领域的立体匹配方法得到左右图像匹配的稀疏关键点；然后以这些稀疏关键点为种子点，设置一个固定尺寸的邻域搜索空间，计算每个种子点的邻域空间内的Zero-based Normalized Cross Correlation(ZNCC,零均值归一化互相关)的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。立体匹配方法可以是金字塔匹配算法或是其他算法。
对左右图像进行匹配的时候，先采用任何计算机视觉中立体匹配算法得到稀疏的匹配关键点，再引入区域增长的思想，遍历得到密集的匹配关键点，这一步是重建三维密集点云的核心步骤。
步骤210：生成视差图。
根据上一步的立体匹配结果，生成左右图像的视差图。
步骤212：生成三维点云。
结合相机标定的内外参数和上一步所计算的视差图，计算相机坐标系下的三维点云。再根据手眼校准变换矩阵handTeye将相机坐标系下的三维点云变换至光学定位***坐标系下，即通过公式1：
POINTStracker＝trackerThand*handTeye*POINTScamera
调整立体腹腔镜的位置，重复步骤206～步骤212，直到重建出整个对象的三维表面点云。
步骤214：三维点云后处理。
对重建后的三维密集点云进行后处理，可以采用RANdom SAmple Consensus(RANSAC，随机抽样一致性算法)或是其他算法，排除重建结果中的异常点云数据；再采用泊松表面重建算法或其他重建算法重建出对象的表面模型。
步骤216：结束。
至此，通过借助腹腔镜手术导航现有的光学定位***，本申请的立体腹腔镜三维点云重建方法即完成了对待重建表面的密集点云的重建过程。
例如，使用本申请的方法对于离体猪肝表面的三维点云重建时，具体可以包括以下步骤：
1.根据步骤202，先放置好光学定位***、在立体腹腔镜上固定光学定位***的跟踪工具，确保离体猪肝在光学定位***的可视范围内。
2.根据步骤204，采用OpenCV或者MATLAB等工具包，对立体相机进行标定和手眼校准，获得相机的内外参数以及手眼校准矩阵。
3.根据步骤206-步骤212，手持立体腹腔镜，对离体猪肝表面采集左右相机的二维彩色图像，同时记录下立体腹腔镜上光学跟踪工具的当前姿态信息(这个姿态信息可通过光学定位***读取)，然后重建该状态相机坐标系下的三维点云，程序自动根据相机的内外参数和手眼校准矩阵，将该状态相机坐标系下的三维点云变换至光学定位***坐标系下如图3所示，其中图3(a)为左右相机对离体猪肝采集的二维彩色图像，图3(b)为某一状态下重建的肝脏某一局部区域三维密集点云。
手持立体腹腔镜对对象表面不同的局部区域进行二维彩色图像的采集，每一块重建所得的三维点云通过腹腔镜上跟踪工具的姿态信息，再拼接成完整的表面区域，这个步骤可以解决因立体腹腔镜的光照和对象表面平滑的特性所造成的镜面反射而无法匹配关键特征点的问题。
通过手持立体腹腔镜对对象的不同局部区域进行数据采集，可以解决因镜面反射(高亮)而无法匹配关键特征点的问题，表明本发明方法是具有更加鲁棒的特性；
4.调整立体腹腔镜的成像区域，重复上一步骤，即可重建得到完整的对象表面的三维密集点云数据，如图4所示，其中图4(a)为左右相机对离体猪肝采集的二维彩色图像，图4(b)为拼接后的离体肝脏表面的三维密集点云。程序自动进行后处理和表面重建，重建结果如图5所示，其中图5(a)为RANSAC处理后的三维点云，图5(b)为泊松表面重建结果。
采用随机抽样一致性算法对所重建的三维密集点云进行后处理，排除重建结果中的异常数据；再根据后处理的三维点云数据，采用泊松表面重建方法重建出对象的表面模型。
实施例三：
如图3所示，本申请的立体腹腔镜三维模型重建装置，其一种实施方式，包括图像采集模块、密集点云生成模块、空间转换模块和重建模块。
其中，图像采集模块，用于使用左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息。
密集点云生成模块，用于基于二维彩色图像求得稀疏的关键特征点，以稀疏的关键特征点为种子点，遍历迭代得到密集点云。
空间转换模块，用于根据密集点云生成左右图像的视差图，根据当前姿态信息和手眼校准变换矩阵将视差图反投影至相机坐标***下的三维密集点云，再将三维密集点云变换至光学定位***的坐标空间中，得到三维密集点云信息。
重建模块，用于根据三维密集点云信息重建得到物体的表面模型。
在一种实施方式中，本申请的密集点云生成模块，还可以用于以稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；计算每个种子点在所述邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。该预设的阈值可以根据经验进行设定。
本申请的空间转换模块，具体通过以下公式实现空间转换：
POINTStracker＝trackerThand*handTeye*POINTScamera
其中，POINTStracker为光学定位***中的点，trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，handTeye为手眼校准矩阵，POINTScamera为相机坐标***中的点。
在一种实施方式中，本申请的立体腹腔镜三维点云重建装置，还可以包括后处理模块。后处理模块可用于对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据；并根据排除异常点云数据后的数据重建出物体的表面模型。
实施例四：
本申请还提供一种计算机可读存储介质，包括程序，程序能够被处理器执行以实现实施例一和实施例二的方法。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。

Claims (9)

1.一种立体腹腔镜三维模型重建方法，其特征在于，包括：
左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息；
基于所述二维彩色图像求得稀疏的关键特征点，以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云；
根据所述密集点云生成左右图像的视差图；
根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标***下的三维密集点云，再将所述三维密集点云变换至光学定位***的坐标空间中，得到三维密集点云信息；
根据所述三维密集点云信息重建得到物体的表面模型。
2.如权利要求1所述的方法，其特征在于，所述以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云，具体包括：
以所述稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；
计算每个种子点在所述邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。
3.如权利要求1所述的方法，其特征在于，所述根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标***下的三维点云，再将该所述三维密集点云变换至光学定位***的坐标空间中，具体通过以下公式实现：
POINTStracker＝trackerThand*handTeye*POINTScamera
其中，POINTStracker为光学定位***中的点，trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，handTeye为手眼校准矩阵，POINTScamera为相机坐标***中的点。
4.如权利要求1所述的方法，其特征在于，所述根据所述三维密集点云信息重建得到物体的表面模型后，还包括：
对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据；
根据排除异常点云数据后的数据重建出物体的表面模型。
5.一种立体腹腔镜三维点云重建装置，其特征在于，包括：
图像采集模块，用于使用左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息；
密集点云生成模块，用于基于所述二维彩色图像求得稀疏的关键特征点，以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云；
空间转换模块，用于根据所述密集点云生成左右图像的视差图，根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标***下的三维密集点云，再将所述三维密集点云变换至光学定位***的坐标空间中，得到三维密集点云信息；
重建模块，用于根据所述三维密集点云信息重建得到物体的表面模型。
6.如权利要求5所述的装置，其特征在于，所述密集点云生成模块，还用于以所述稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；计算每个种子点在所述邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。
7.如权利要求5所述的装置，其特征在于，所述空间转换模块具体通过以下公式实现空间转换：
POINTStracker＝trackerThand*handTeye*POINTScamera
其中，POINTStracker为光学定位***中的点，trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，handTeye为手眼校准矩阵，POINTScamera为相机坐标***中的点。
8.如权利要求5所述的装置，其特征在于，还包括后处理模块，用于对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据；根据排除异常点云数据后的数据重建出物体的表面模型。
9.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-4中任一项所述的方法。
CN201711435914.0A 2017-12-26 2017-12-26 一种立体腹腔镜三维模型重建方法和装置 Pending CN108154552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711435914.0A CN108154552A (zh) 2017-12-26 2017-12-26 一种立体腹腔镜三维模型重建方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711435914.0A CN108154552A (zh) 2017-12-26 2017-12-26 一种立体腹腔镜三维模型重建方法和装置

Publications (1)

Publication Number Publication Date
CN108154552A true CN108154552A (zh) 2018-06-12

Family

ID=62462907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711435914.0A Pending CN108154552A (zh) 2017-12-26 2017-12-26 一种立体腹腔镜三维模型重建方法和装置

Country Status (1)

Country Link
CN (1) CN108154552A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109620390A (zh) * 2018-12-05 2019-04-16 聊城市光明医院 一种腹腔镜烟雾自动清除***
CN109685848A (zh) * 2018-12-14 2019-04-26 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN109840941A (zh) * 2019-02-20 2019-06-04 尹大龙 一种内窥镜探测物体的表面重建方法及***
CN113143459A (zh) * 2020-01-23 2021-07-23 海信视像科技股份有限公司 腹腔镜增强现实手术导航方法、装置及电子设备
CN113536071A (zh) * 2021-09-15 2021-10-22 国能大渡河大数据服务有限公司 一种用于水电工程综合管理的***
CN114224489A (zh) * 2021-12-12 2022-03-25 浙江德尚韵兴医疗科技有限公司 用于手术机器人的轨迹跟踪***及利用该***的跟踪方法
CN114494183A (zh) * 2022-01-25 2022-05-13 哈尔滨医科大学附属第一医院 一种基于人工智能的髋臼半径自动测量方法及***
CN115036000A (zh) * 2022-05-30 2022-09-09 上海微觅医疗器械有限公司 医疗用镜的控制方法、控制装置和扶镜机器人***
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104867183A (zh) * 2015-06-11 2015-08-26 华中科技大学 一种基于区域增长的三维点云重建方法
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和***
CN105069843A (zh) * 2015-08-22 2015-11-18 浙江中测新图地理信息技术有限公司 一种面向城市三维建模的密集点云的快速提取方法
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
CN106373185A (zh) * 2016-08-29 2017-02-01 刘建国 可移动文物的多视角三维重建方法及装置
US20170206674A1 (en) * 2016-01-15 2017-07-20 Delphi Technologies, Inc. Method and a device for estimating an orientation of a camera relative to a road surface

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和***
CN104867183A (zh) * 2015-06-11 2015-08-26 华中科技大学 一种基于区域增长的三维点云重建方法
CN105069843A (zh) * 2015-08-22 2015-11-18 浙江中测新图地理信息技术有限公司 一种面向城市三维建模的密集点云的快速提取方法
US20170206674A1 (en) * 2016-01-15 2017-07-20 Delphi Technologies, Inc. Method and a device for estimating an orientation of a camera relative to a road surface
CN106373185A (zh) * 2016-08-29 2017-02-01 刘建国 可移动文物的多视角三维重建方法及装置
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LUO HUOLING等: "Progressive Hand-Eye Calibration for Laparoscopic Surgery Navigation", 《COMPUTER ASSISTED AND ROBOTIC ENDOSCOPY AND CLINICAL IMAGE-BASED PROCEDURES》 *
TSAI R Y: "A new technique for fully autonomous and efficient 3D robotics hand/eye calibration", 《IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION》 *
王杉杉: "手术导航中三维定位***的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
秦红星等: "基于区域生长的稠密三维点云重建方法", 《计算机工程与设计》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109620390A (zh) * 2018-12-05 2019-04-16 聊城市光明医院 一种腹腔镜烟雾自动清除***
CN109685848B (zh) * 2018-12-14 2023-06-09 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN109685848A (zh) * 2018-12-14 2019-04-26 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN109840941A (zh) * 2019-02-20 2019-06-04 尹大龙 一种内窥镜探测物体的表面重建方法及***
CN113143459A (zh) * 2020-01-23 2021-07-23 海信视像科技股份有限公司 腹腔镜增强现实手术导航方法、装置及电子设备
CN113536071A (zh) * 2021-09-15 2021-10-22 国能大渡河大数据服务有限公司 一种用于水电工程综合管理的***
CN114224489A (zh) * 2021-12-12 2022-03-25 浙江德尚韵兴医疗科技有限公司 用于手术机器人的轨迹跟踪***及利用该***的跟踪方法
CN114224489B (zh) * 2021-12-12 2024-02-13 浙江德尚韵兴医疗科技有限公司 用于手术机器人的轨迹跟踪***及利用该***的跟踪方法
CN114494183A (zh) * 2022-01-25 2022-05-13 哈尔滨医科大学附属第一医院 一种基于人工智能的髋臼半径自动测量方法及***
CN114494183B (zh) * 2022-01-25 2024-04-02 哈尔滨医科大学附属第一医院 一种基于人工智能的髋臼半径自动测量方法及***
CN115036000A (zh) * 2022-05-30 2022-09-09 上海微觅医疗器械有限公司 医疗用镜的控制方法、控制装置和扶镜机器人***
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN116883471B (zh) * 2023-08-04 2024-03-15 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法

Similar Documents

Publication Publication Date Title
CN108154552A (zh) 一种立体腹腔镜三维模型重建方法和装置
Vanezis et al. Facial reconstruction using 3-D computer graphics
CN105279750B (zh) 一种基于ir-uwb和图像矩的装备展示导览***
CN110033465A (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
Edwards et al. SERV-CT: A disparity dataset from cone-beam CT for validation of endoscopic 3D reconstruction
FR3095331A1 (fr) Procédé de chirurgie orthopédique assistée par ordinateur
CN108369736A (zh) 用于根据2d/2.5d术中图像数据计算切除的组织体积的方法和***
JP2020512089A (ja) 奥行き知覚を高める仮想陰影
CN107680688B (zh) 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法
US20210353361A1 (en) Surgical planning, surgical navigation and imaging system
WO2022251814A3 (en) Systems and methods for generating three-dimensional measurements using endoscopic video data
US20130057656A1 (en) System and method for managing face data
CN106648077A (zh) 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航***
Wang et al. Autostereoscopic augmented reality visualization for depth perception in endoscopic surgery
Dimas et al. Endoscopic single-image size measurements
CN103593869A (zh) 一种扫描设备及其图像显示方法
Sylos Labini et al. Depth-awareness in a system for mixed-reality aided surgical procedures
CN104732586A (zh) 一种三维人体动态形体和三维运动光流快速重建方法
Shao et al. Augmented reality navigation with real-time tracking for facial repair surgery
Reichard et al. Intraoperative on-the-fly organ-mosaicking for laparoscopic surgery
CN108010587A (zh) 基于ct影像的盆腔手术视觉导航仿真视频的制备方法
Stoyanov et al. Intra-operative visualizations: Perceptual fidelity and human factors
US20210128243A1 (en) Augmented reality method for endoscope
CN113648060B (zh) 超声引导的软组织形变跟踪方法、装置、存储介质及***
Chang et al. Interactive medical augmented reality system for remote surgical assistance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180612