CN112294453B - 一种显微手术术野三维重建***及方法 - Google Patents

一种显微手术术野三维重建***及方法 Download PDF

Info

Publication number
CN112294453B
CN112294453B CN202011084952.8A CN202011084952A CN112294453B CN 112294453 B CN112294453 B CN 112294453B CN 202011084952 A CN202011084952 A CN 202011084952A CN 112294453 B CN112294453 B CN 112294453B
Authority
CN
China
Prior art keywords
photosensitive element
infrared
dimensional reconstruction
image
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011084952.8A
Other languages
English (en)
Other versions
CN112294453A (zh
Inventor
刘威
邵航
唐洁
廖家胜
阮程
黄海亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze Delta Region Institute of Tsinghua University Zhejiang
Original Assignee
Zhejiang Future Technology Institute (jiaxing)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Future Technology Institute (jiaxing) filed Critical Zhejiang Future Technology Institute (jiaxing)
Priority to CN202011084952.8A priority Critical patent/CN112294453B/zh
Publication of CN112294453A publication Critical patent/CN112294453A/zh
Application granted granted Critical
Publication of CN112294453B publication Critical patent/CN112294453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种显微手术术野三维重建***及方法，通过可见光视点采集单元采集被测量场景的图案信息；通过红外光视点采集单元采集被测量场景的红外散斑图案；采用三维重建计算控制单元控制可见光视点采集单元和红外光视点采集单元的拍摄，并将可见光视点采集单元得到的图案与红外视点采集单元得到的图案进行信息融合，以获得三维重建结果。本技术方案将多视点联合优化和基于红外散斑的物体表面纹理增强机制引入高精度三维重建中，通过设计红外感光元件和散斑投射器的结构，可以精确地获取术野地外形结构，通过将该外形结构作为术野先验优化可见光下的三维重建模型，从而在不影响显微镜主光路的基础上提高了显微镜下的三维重建精度。

Description

一种显微手术术野三维重建***及方法
技术领域
本发明涉及显微立体成像技术领域，具体涉及一种显微手术术野三维重建***及方法。
背景技术
显微镜是外科精细化手术中常用的辅助设备，借助显微镜的放大作用，医生能够清楚的看到术野中人体细小的组织，从而对患者进行精细化的治疗。近些年，术野(手术视野)区域的三维重建技术被医学影像领域的研究人员所重视起来，相比于传统的CT/MRI成像技术，基于视觉的影像重建技术能够看到术野表面的色彩纹理，能够给医生提供更直观的三维视觉感知体验，借助视觉的三维重建结果还能够对术野进行数字化测量，并给医生提供术中指导，因此极具有应用价值。
针对术区的三维重建问题，现有的方法大概分为两类。一类是基于双目立体视觉的方法，这种方法借助显微镜双光路产生的视差对术区进行三维重建，往往只能重建有限视角内的区域。此外，相比于其他视觉领域，显微镜下的场景有其特殊的一面。术野区域在显微镜照明光源照射下存在大量镜面反射区域，术区中也存在很多无纹理的区域，这些因素常常导致立体匹配算法的结果很糟糕，最终导致三维重建结果难以在临床中使用。另一类是结构光三维重建方法，如单帧结构光和多帧结构光，虽然结构光的重建精度很高，但是结构光方法需要引入价格昂贵的结构光投影仪，且这种方法比较耗时，难以在临床中实时使用。综上，亟需一种进行显微手术术野三维重建的新的技术方案。
发明内容
为此，本发明提供一种显微手术术野三维重建***及方法，实现多视点高精度的术野三维重建，以解决术区中镜面反射和无纹理区域的三维重建失效问题。
为了实现上述目的，本发明提供如下技术方案：一种显微手术术野三维重建***，包括：
可见光视点采集单元：用于采集被测量场景的图案信息；所述可见光视点采集单元包括第一感光元件、第一光学变倍体、第二感光元件、第二光学变倍体及主视野物镜；
所述第一感光元件作为术野视点采集中的第一视角接收被测物体表面发出的光子并呈现被测物体在第一观测视角下的像；所述第一光学变倍体采用光学变倍镜组改变被测物体在所述第一感光元件上的放大倍率；
所述第二感光元件作为术野视点采集中的第二视角接收被测物体表面发出的光子并呈现被测物体在第二观测视角下的像；所述第二光学变倍体采用光学变倍镜组改变被测物体在所述第二感光元件上的放大倍率；
所述主视野物镜用于确定和改变由第一观测视角和第一观测视角的光路所形成的显微镜工作距离；
红外光视点采集单元：用于采集被测量场景的红外散斑图案；所述红外光视点采集单元包括第一散斑投射器、第一红外光学透镜组件、第三感光元件、第二散斑投射器、第二红外光学透镜组件和第四感光元件；
所述第一散斑投射器用于投射激光散斑，所述激光散斑通过所述第一红外光学透镜组件投射到被测物体表面形成具有给定图案形式的第一组红外散斑点；被测物体表面上的第一组红外散斑点反射后通过所述第一红外光学透镜组件在所述第三感光元件上成像；
所述第二散斑投射器用于投射激光散斑，所述激光散斑通过所述第二红外光学透镜组件投射到被测物体表面形成具有给定图案形式的第二组红外散斑点；被测物体表面上的第二组红外散斑点反射后通过所述第二红外光学透镜组件在所述第四感光元件上成像；
三维重建计算控制单元：用于控制所述可见光视点采集单元和红外光视点采集单元的拍摄，并将所述可见光视点采集单元得到的图案与所述红外光视点采集单元得到的图案进行信息融合，以获得三维重建结果。
作为显微手术术野三维重建***的优选方案，所述可见光视点采集单元还包括照明光源组件，所述照明光源组件用于给所述被测物体进行照明。
作为显微手术术野三维重建***的优选方案，所述第一散斑投射器、第一红外光学透镜组件和第三感光元件位于所述主视野物镜的一侧；所述第二散斑投射器、第二红外光学透镜组件和第四感光元件位于所述主视野物镜的另外一侧。
作为显微手术术野三维重建***的优选方案，所述第一感光元件和第二感光元件采用对可见光感知的彩色感光元件；所述第三感光元件和第四感光元件采用对红外光的灰度感光元件。
作为显微手术术野三维重建***的优选方案，所述三维重建计算控制单元包括同步相机和计算设备；所述同步相机分别与所述第一感光元件、第二感光元件、第三感光元件和第四感光元件连接；所述计算设备与所述同步相机连接，计算设备用于将第一感光元件、第二感光元件、第三感光元件和第四感光元件获得的数据进行处理得到最终的三维重建结果。
本发明还提供一种显微手术术野三维重建方法，用于上述的显微手术术野三维重建***，包括以下步骤：
步骤1、对第一感光元件、第二感光元件、第三感光元件和第四感光元件在预设显微镜放大倍率下进行标定，获取第一感光元件内参数
Figure GDA0003345195630000031
第二感光元件内参数
Figure GDA0003345195630000032
第三感光元件内参数
Figure GDA0003345195630000033
和第四感光元件内参数
Figure GDA0003345195630000034
并获取第二感光元件相对于第一感光元件的外参数
Figure GDA0003345195630000035
第三感光元件相对于第一感光元件的外参数
Figure GDA0003345195630000036
和第四感光元件相对于第一感光元件的外参数
Figure GDA0003345195630000037
步骤2、在给定显微镜放大倍率i下，通过同步相机控制第一感光元件、第二感光元件、第三感光元件和第四感光元件，使第一感光元件、第二感光元件、第三感光元件和第四感光元件同时拍摄被测物体，记录第一感光元件所生成的图像
Figure GDA0003345195630000038
第二感光元件所生成的图像
Figure GDA0003345195630000039
第三感光元件所生成的图像
Figure GDA00033451956300000310
和第四感光元件所生成的图像
Figure GDA00033451956300000311
步骤3、采用第一感光元件的内参数和外参数、第二感光元件的内参数和外参数，利用计算机视觉中的立体校正算法对图像对
Figure GDA0003345195630000041
进行校正，使得图像对
Figure GDA0003345195630000042
中第一图像
Figure GDA0003345195630000043
和第二图像
Figure GDA0003345195630000044
具有相同特征的点对实现行对齐，得到校正图像对
Figure GDA0003345195630000045
并得到校正后第一感光元件的重投影矩阵Q1；
采用第三感光元件的内参数和外参数、第四感光元件的内参数和外参数，利用计算机视觉中的立体校正算法对图像对
Figure GDA0003345195630000046
进行校正，使得图像对
Figure GDA0003345195630000047
中第三图像
Figure GDA0003345195630000048
和第四图像
Figure GDA0003345195630000049
具有相同特征的点对实现行对齐，得到校正图像对
Figure GDA00033451956300000410
并得到校正后第三感光元件的重投影矩阵Q3；
步骤4、分别对所述校正图像对
Figure GDA00033451956300000411
和校正图像对
Figure GDA00033451956300000412
使用稠密匹配算法，获得所述图像对
Figure GDA00033451956300000413
的视差图d12以及所述图像对
Figure GDA00033451956300000414
Figure GDA00033451956300000415
的视差图d34；
步骤5、对所述校正图像对
Figure GDA00033451956300000416
中的第一校正图像
Figure GDA00033451956300000417
和第二校正图像
Figure GDA00033451956300000418
基于所述重投影矩阵Q1和视差图d12，使用计算机视觉中的三角测量方法得到第一校正图像
Figure GDA00033451956300000419
中每一点在所述第一感光元件的相机坐标系下的空间坐标，生成空间点云P1；
对所述校正图像对
Figure GDA00033451956300000420
中的第三校正图像
Figure GDA00033451956300000421
和第四校正图像
Figure GDA00033451956300000422
基于所述重投影矩阵Q3和视差图d34，使用计算机视觉中的三角测量方法得到第三校正图像
Figure GDA00033451956300000423
中每一点在所述第三感光元件相机坐标系下的空间坐标，生成空间点云P2；
步骤6、采用所述空间点云P1和空间点云P2对无纹理区域的错误重建结果进行消除，以校正所述空间点云P1。
作为显微手术术野三维重建方法的优选方案，所述步骤4中的稠密匹配算法使用稠密光流算法或基于深度学习的立体匹配算法。
作为显微手术术野三维重建方法的优选方案，所述步骤6包括：
步骤6.1、基于所述第三感光元件与第一感光元件的空间关系，将位于第三感光元件坐标系中的空间点云P2变换到第一感光元件的坐标系下，形成变换后的空间点云
Figure GDA00033451956300000424
步骤6.2、使用计算机视觉中的点云三角化对变换后的空间点云
Figure GDA00033451956300000426
进行渲染，得到渲染后的空间点云
Figure GDA00033451956300000425
步骤6.3、采用渲染后的空间点云
Figure GDA0003345195630000051
对空间点云P1进行优化：
对于空间点云P1中的每个点P1t(X1t，Y1t，Z1t)获取临近点集合
Figure GDA0003345195630000052
Figure GDA0003345195630000053
其中n代表领域点的个数，
Figure GDA0003345195630000054
为P1t的领域点；
使用最小二乘方法求出点P1t领域点的拟合平面Ax+By+Cz+D＝0，得到点P1t处的法向量(A，B，C)，再根据点向式方程，求出过P1t的且平行该点法向量的直线l：
Figure GDA0003345195630000055
然后将直线l与渲染后的空间点云
Figure GDA0003345195630000056
的交点作为P1t的新坐标；
迭代上述过程完成空间点云P1中点的位置优化，得到可见光下的优化后的空间点云
Figure GDA0003345195630000057
本发明通过可见光视点采集单元采集被测量场景的图案信息；通过红外光视点采集单元采集被测量场景的红外散斑图案；采用三维重建计算控制单元控制可见光视点采集单元和红外光视点采集单元的拍摄，并将可见光视点采集单元得到的图案与红外光视点采集单元得到的图案进行信息融合，以获得三维重建结果。本技术方案将多视点联合优化和基于红外散斑的物体表面纹理增强机制引入高精度三维重建中，通过设计红外感光元件和散斑投射器的结构，可以精确地获取术野地外形结构，通过将该外形结构作为术野先验优化可见光下的三维重建模型，从而在不影响显微镜主光路的基础上提高了显微镜下的三维重建精度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例中提供的显微手术术野三维重建***架构示意图；
图2为本发明实施例中提供的显微手术术野三维重建***硬件关系示意图；
图3为本发明实施例中提供的显微手术术野三维重建方法流程示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1和图2，提供一种显微手术术野三维重建***，包括：
可见光视点采集单元110：用于采集被测量场景的图案信息；所述可见光视点采集单元110包括第一感光元件111、第一光学变倍体113、第二感光元件112、第二光学变倍体114及主视野物镜116；
所述第一感光元件111作为术野视点采集中的第一视角接收被测物体表面发出的光子并呈现被测物体在第一观测视角下的像；所述第一光学变倍体113采用光学变倍镜组改变被测物体在所述第一感光元件111上的放大倍率；
所述第二感光元件112作为术野视点采集中的第二视角接收被测物体表面发出的光子并呈现被测物体在第二观测视角下的像；所述第二光学变倍体114采用光学变倍镜组改变被测物体在所述第二感光元件112上的放大倍率；
所述主视野物镜116用于确定和改变由第一观测视角和第一观测视角的光路所形成的显微镜工作距离；
红外光视点采集单元120：用于采集被测量场景的红外散斑图案；所述红外光视点采集单元120包括第一散斑投射器123、第一红外光学透镜组件122、第三感光元件121、第二散斑投射器126、第二红外光学透镜组件125和第四感光元件124；
所述第一散斑投射器123用于投射激光散斑，所述激光散斑通过所述第一红外光学透镜组件122投射到被测物体表面形成具有给定图案形式的第一组红外散斑点；被测物体表面上的第一组红外散斑点反射后通过所述第一红外光学透镜组件122在所述第三感光元件上成像；
所述第二散斑投射器126用于投射激光散斑，所述激光散斑通过所述第二红外光学透镜组件125投射到被测物体表面形成具有给定图案形式的第二组红外散斑点；被测物体表面上的第二组红外散斑点反射后通过所述第二红外光学透镜组件125在所述第四感光元件上成像；
三维重建计算控制单元130：用于控制所述可见光视点采集单元110和红外光视点采集单元120的拍摄，并将所述可见光视点采集单元110得到的图案与所述红外光视点采集单元得到的图案进行信息融合，以获得三维重建结果。
具体的，所述可见光视点采集单元110还包括照明光源组件115，所述照明光源组件115用于给所述被测物体进行照明。照明光源组件115给被测物体提供充分照明，保证被测物体在第一感光元件111和第二感光元件112上的成像质量。
具体的，第一感光元件111作为多视点采集中的第一观测视角用于接收被测物体表面发出的光子，最终呈现被测物体的在第一观测视角下的像，第一光学变倍体113是一套光学变倍镜组，该光学变倍镜组可以改变被测物体在第一感光元件111上的放大倍率；第二光学变倍体114和第二感光元件112作为被测物体的第二观测视角，其作用与第一观测视角完全相同，仅在观测物体的视角上存在差异。主视野物镜116用于确定和改变由第一观测视角和第二观测视角的光路所组成显微镜的工作距离。
具体的，所述第一散斑投射器123、第一红外光学透镜组件122和第三感光元件121位于所述主视野物镜116的一侧；所述第二散斑投射器126、第二红外光学透镜组件125和第四感光元件124位于所述主视野物镜116的另外一侧。所述第一感光元件111和第二感光元件112采用对可见光感知的彩色感光元件；所述第三感光元件121和第四感光元件124采用对红外光的灰度感光元件。
红外光视点采集单元120由两路红外光采集装置构成，它们分别位于显微镜主体的两侧。以其中一路红外光采集装置为例，该采集装置由第三感光元件121、第一散斑投射器123和第一红外光学透镜组件122构成。第一散斑投射器123用于投射激光散斑，激光散斑通过第一红外光学透镜组件122投射到物体表面，形成具有特定图案形式的红外散斑点。物体表面上的散斑点反射后通过第一红外光学透镜组件122在第三感光元件上成像。
具体的，第一红外光学透镜组件122有两个作用，一方面通过其内部的分光镜将散斑投射到物体表面，另一方面将物体表面反射的红外光通过第一红外光学透镜组件122投射到第三感光元件121上。第一红外光学透镜组件122的放大倍率与第一光学变倍体113的最小放大倍率相当。第三感光元件121、第一感光元件111和第二感光元件112在成像方式上略有不同，第三感光元件121是对红外感光的灰度感光元件，而第一感光元件111和第二感光元件112是对可见光感知的彩色感光元件。
具体的，在第一感光元件111和第二感光元件112设计上，和第三感光元件121有及第四感光元件124有着原理和功能上的差异。在原理上，第一感光元件111和第二感光元件112依靠可见光成像，第三感光元件121和第四感光元件124在红外光波段成像。功能上，由于第三感光元件121和第四感光元件124上都加装了散斑投射器，这使得第三感光元件121和第四感光元件124除了接收物体表面反射的照明光外还接收物体表面反射的散斑。这种设计的好处是，由于细小散斑的存在，第三感光元件121和第四感光元件124中原本无纹理和高光的区域得到细节加强，从而有效解决了立体匹配问题，使得红外光下三维重建的质量得到加强。
此外，需要指出的是，第一散斑投射器123和第二散斑投射器126发出的光属于红外波段，而第一感光元件111和第二感光元件112属于可见光成像，在红外波段的量子效率较低，因此散斑不会出现可见光感光元件对应的图像上。
具体的。三维重建计算控制单元130包括同步相机131和计算设备132；所述同步相机131分别与所述第一感光元件111、第二感光元件112、第三感光元件121和第四感光元件124连接；所述计算设备132与所述同步相机131连接，计算设备132用于将第一感光元件111、第二感光元件112、第三感光元件121和第四感光元件124获得的数据进行处理得到最终的三维重建结果。同步相机131与四个感光元件连接，负责控制四个感光元件的同时拍摄。计算设备132将光学感光元件中得到的数据进行处理，得到最终的重建结果。
参见图3，本发明还提供一种显微手术术野三维重建方法，用于上述的显微手术术野三维重建***，包括以下步骤：
S1、对第一感光元件111、第二感光元件112、第三感光元件121和第四感光元件124在预设显微镜放大倍率下进行标定，获取第一感光元件111内参数
Figure GDA0003345195630000091
第二感光元件112内参数
Figure GDA0003345195630000092
第三感光元件121内参数
Figure GDA0003345195630000093
和第四感光元件124内参数
Figure GDA0003345195630000094
并获取第二感光元件112相对于第一感光元件111的外参数
Figure GDA0003345195630000095
第三感光元件121相对于第一感光元件111的外参数
Figure GDA0003345195630000096
和第四感光元件124相对于第一感光元件111的外参数
Figure GDA0003345195630000097
S2、在给定显微镜放大倍率i下，通过同步相机131控制第一感光元件111、第二感光元件112、第三感光元件121和第四感光元件124，使第一感光元件111、第二感光元件112、第三感光元件121和第四感光元件124同时拍摄被测物体，记录第一感光元件111所生成的图像
Figure GDA0003345195630000098
第二感光元件112所生成的图像
Figure GDA0003345195630000099
第三感光元件121所生成的图像
Figure GDA00033451956300000910
和第四感光元件124所生成的图像
Figure GDA00033451956300000911
S3、采用第一感光元件111的内参数和外参数、第二感光元件112的内参数和外参数，利用计算机视觉中的立体校正算法对图像对
Figure GDA00033451956300000912
进行校正，使得图像对
Figure GDA00033451956300000913
中第一图像
Figure GDA00033451956300000914
和第二图像
Figure GDA00033451956300000915
具有相同特征的点对实现行对齐，得到校正图像对
Figure GDA00033451956300000916
并得到校正后第一感光元件111的重投影矩阵Q1；
采用第三感光元件121的内参数和外参数、第四感光元件124的内参数和外参数，利用计算机视觉中的立体校正算法对图像对
Figure GDA00033451956300000917
进行校正，使得图像对
Figure GDA00033451956300000918
中第三图像
Figure GDA00033451956300000919
和第四图像
Figure GDA00033451956300000920
具有相同特征的点对实现行对齐，得到校正图像对
Figure GDA00033451956300000921
并得到校正后第三感光元件121的重投影矩阵Q3；
S4、分别对所述校正图像对
Figure GDA00033451956300000922
和校正图像对
Figure GDA00033451956300000923
使用稠密匹配算法，获得所述图像对
Figure GDA00033451956300000924
的视差图d12以及所述图像对
Figure GDA00033451956300000925
Figure GDA00033451956300000926
的视差图d34；
S5、对所述校正图像对
Figure GDA00033451956300000927
中的第一校正图像
Figure GDA00033451956300000928
和第二校正图像
Figure GDA00033451956300000929
基于所述重投影矩阵Q1和视差图d12，使用计算机视觉中的三角测量方法得到第一校正图像
Figure GDA00033451956300000930
中每一点在所述第一感光元件111的相机坐标系下的空间坐标，生成空间点云P1；
对所述校正图像对
Figure GDA00033451956300000931
中的第三校正图像
Figure GDA00033451956300000932
和第四校正图像
Figure GDA00033451956300000933
基于所述重投影矩阵Q3和视差图d34，使用计算机视觉中的三角测量方法得到第三校正图像
Figure GDA0003345195630000101
中每一点在所述第三感光元件121相机坐标系下的空间坐标，生成空间点云P2；
S6、采用所述空间点云P1和空间点云P2对无纹理区域的错误重建结果进行消除，以校正所述空间点云P1。
具体的，S5中，使用计算机视觉中的三角测量方法得到第一校正图像
Figure GDA00033451956300001011
中每一点在所述第一感光元件111的相机坐标系下的空间坐标的具体公式为：
Figure GDA0003345195630000102
其中(x，y)代表第一校正图像
Figure GDA0003345195630000103
中一点，
Figure GDA0003345195630000104
代表视差图中(x，y)处的视差值，(X，Y，Z，W)代表(x，y)在该感光元件坐标系下的空间坐标。依此可以求出第一感光元件111拍摄图像对应的空间点云P1。同理，可以求出第三感光元件121和第四感光元件124所成立体图像对下的空间点云P2。
具体的，S4中的稠密匹配算法使用稠密光流算法或基于深度学习的立体匹配算法。
具体的，S6包括：
S6.1、基于所述第三感光元件121与第一感光元件111的空间关系，将位于第三感光元件121坐标系中的空间点云P2变换到第一感光元件111的坐标系下，形成变换后的空间点云
Figure GDA0003345195630000105
具体来说，对于任意一点(Xp2，Yp2，Zp2)∈P2，其在第一感光元件111坐标系下的空间坐标为(Xp1，Yp1，Zp1)，其间满足如下关系：
Figure GDA0003345195630000106
P2在新坐标系下的模型为空间点云
Figure GDA0003345195630000107
S6.2、使用计算机视觉中的点云三角化对空间点云
Figure GDA0003345195630000108
进行渲染，得到渲染后的空间点云
Figure GDA0003345195630000109
S6.3、采用渲染后的空间点云
Figure GDA00033451956300001010
对空间点云P1进行优化：
对于空间点云P1中的每个点P1t(X1t，Y1t，Z1t)获取临近点集合
Figure GDA0003345195630000111
Figure GDA0003345195630000112
其中n代表领域点的个数，
Figure GDA0003345195630000113
为P1t的领域点；
使用最小二乘方法求出点P1t领域点的拟合平面Ax+By+Cz+D＝0，得到点P1t处的法向量(A，B，C)，再根据点向式方程，求出过P1t的且平行该点法向量的直线l：
Figure GDA0003345195630000114
然后将直线l与渲染后的空间点云
Figure GDA0003345195630000115
的交点作为P1t的新坐标；
迭代上述过程完成空间点云P1中点的位置优化，得到可见光下的优化后的空间点云
Figure GDA0003345195630000116
本发明通过可见光视点采集单元110采集被测量场景的图案信息；通过红外光视点采集单元120采集被测量场景的红外散斑图案；采用三维重建计算控制单元130控制可见光视点采集单元110和红外光视点采集单元120的拍摄，并将可见光视点采集单元110得到的图案与红外光视点采集单元得到的图案进行信息融合，以获得三维重建结果。本技术方案将多视点联合优化和基于红外散斑的物体表面纹理增强机制引入高精度三维重建中，通过设计红外感光元件和散斑投射器的结构，可以精确地获取术野地外形结构，通过将该外形结构作为术野先验优化可见光下的三维重建模型，从而在不影响显微镜主光路的基础上提高了显微镜下的三维重建精度。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种显微手术术野三维重建***，其特征在于，包括：
可见光视点采集单元：用于采集被测量场景的图案信息；所述可见光视点采集单元包括第一感光元件、第一光学变倍体、第二感光元件、第二光学变倍体及主视野物镜；
所述第一感光元件作为术野视点采集中的第一视角接收被测物体表面发出的光子并呈现被测物体在第一观测视角下的像；所述第一光学变倍体采用光学变倍镜组改变被测物体在所述第一感光元件上的放大倍率；
所述第二感光元件作为术野视点采集中的第二视角接收被测物体表面发出的光子并呈现被测物体在第二观测视角下的像；所述第二光学变倍体采用光学变倍镜组改变被测物体在所述第二感光元件上的放大倍率；
所述主视野物镜用于确定和改变由第一观测视角和第一观测视角的光路所形成的显微镜工作距离；
红外光视点采集单元：用于采集被测量场景的红外散斑图案；所述红外光视点采集单元包括第一散斑投射器、第一红外光学透镜组件、第三感光元件、第二散斑投射器、第二红外光学透镜组件和第四感光元件；
所述第一散斑投射器用于投射激光散斑，所述激光散斑通过所述第一红外光学透镜组件投射到被测物体表面形成具有给定图案形式的第一组红外散斑点；被测物体表面上的第一组红外散斑点反射后通过所述第一红外光学透镜组件在所述第三感光元件上成像；
所述第二散斑投射器用于投射激光散斑，所述激光散斑通过所述第二红外光学透镜组件投射到被测物体表面形成具有给定图案形式的第二组红外散斑点；被测物体表面上的第二组红外散斑点反射后通过所述第二红外光学透镜组件在所述第四感光元件上成像；
三维重建计算控制单元：用于控制所述可见光视点采集单元和红外光视点采集单元的拍摄，并将所述可见光视点采集单元得到的图案与所述红外光视点采集单元得到的图案进行信息融合，以获得三维重建结果。
2.根据权利要求1所述的一种显微手术术野三维重建***，其特征在于，所述可见光视点采集单元还包括照明光源组件，所述照明光源组件用于给所述被测物体进行照明。
3.根据权利要求1所述的一种显微手术术野三维重建***，其特征在于，所述第一散斑投射器、第一红外光学透镜组件和第三感光元件位于所述主视野物镜的一侧；所述第二散斑投射器、第二红外光学透镜组件和第四感光元件位于所述主视野物镜的另外一侧。
4.根据权利要求1所述的一种显微手术术野三维重建***，其特征在于，所述第一感光元件和第二感光元件采用对可见光感知的彩色感光元件；所述第三感光元件和第四感光元件采用对红外光的灰度感光元件。
5.根据权利要求1所述的一种显微手术术野三维重建***，其特征在于，所述三维重建计算控制单元包括同步相机和计算设备；所述同步相机分别与所述第一感光元件、第二感光元件、第三感光元件和第四感光元件连接；所述计算设备与所述同步相机连接，计算设备用于将第一感光元件、第二感光元件、第三感光元件和第四感光元件获得的数据进行处理得到最终的三维重建结果。
6.一种显微手术术野三维重建方法，用于如权利要求1至5任一项的显微手术术野三维重建***，其特征在于，包括以下步骤：
步骤1、对第一感光元件、第二感光元件、第三感光元件和第四感光元件在预设显微镜放大倍率下进行标定，获取第一感光元件内参数
Figure FDA0003345195620000021
第二感光元件内参数
Figure FDA0003345195620000022
第三感光元件内参数
Figure FDA0003345195620000023
和第四感光元件内参数
Figure FDA0003345195620000024
并获取第二感光元件相对于第一感光元件的外参数
Figure FDA0003345195620000025
第三感光元件相对于第一感光元件的外参数
Figure FDA0003345195620000026
和第四感光元件相对于第一感光元件的外参数
Figure FDA0003345195620000027
步骤2、在给定显微镜放大倍率i下，通过同步相机控制第一感光元件、第二感光元件、第三感光元件和第四感光元件，使第一感光元件、第二感光元件、第三感光元件和第四感光元件同时拍摄被测物体，记录第一感光元件所生成的图像
Figure FDA0003345195620000028
第二感光元件所生成的图像
Figure FDA0003345195620000029
第三感光元件所生成的图像
Figure FDA00033451956200000210
和第四感光元件所生成的图像
Figure FDA00033451956200000211
步骤3、采用第一感光元件的内参数和外参数、第二感光元件的内参数和外参数，利用计算机视觉中的立体校正算法对图像对
Figure FDA00033451956200000212
进行校正，使得图像对
Figure FDA00033451956200000213
中第一图像
Figure FDA00033451956200000214
和第二图像
Figure FDA00033451956200000215
具有相同特征的点对实现行对齐，得到校正图像对
Figure FDA0003345195620000031
并得到校正后第一感光元件的重投影矩阵Q1；
采用第三感光元件的内参数和外参数、第四感光元件的内参数和外参数，利用计算机视觉中的立体校正算法对图像对
Figure FDA0003345195620000032
进行校正，使得图像对
Figure FDA0003345195620000033
中第三图像
Figure FDA0003345195620000034
和第四图像
Figure FDA0003345195620000035
具有相同特征的点对实现行对齐，得到校正图像对
Figure FDA0003345195620000036
并得到校正后第三感光元件的重投影矩阵Q3；
步骤4、分别对所述校正图像对
Figure FDA0003345195620000037
和校正图像对
Figure FDA0003345195620000038
使用稠密匹配算法，获得所述图像对
Figure FDA0003345195620000039
的视差图d12以及所述图像对
Figure FDA00033451956200000310
Figure FDA00033451956200000311
的视差图d34；
步骤5、对所述校正图像对
Figure FDA00033451956200000312
中的第一校正图像
Figure FDA00033451956200000313
和第二校正图像
Figure FDA00033451956200000314
基于所述重投影矩阵Q1和视差图d12，使用计算机视觉中的三角测量方法得到第一校正图像
Figure FDA00033451956200000315
中每一点在所述第一感光元件的相机坐标系下的空间坐标，生成空间点云P1；
对所述校正图像对
Figure FDA00033451956200000316
中的第三校正图像
Figure FDA00033451956200000317
和第四校正图像
Figure FDA00033451956200000318
基于所述重投影矩阵Q3和视差图d34，使用计算机视觉中的三角测量方法得到第三校正图像
Figure FDA00033451956200000319
中每一点在所述第三感光元件相机坐标系下的空间坐标，生成空间点云P2；
步骤6、采用所述空间点云P1和空间点云P2对无纹理区域的错误重建结果进行消除，以校正所述空间点云P1。
7.根据权利要求6所述的一种显微手术术野三维重建方法，其特征在于，所述步骤4中的稠密匹配算法使用稠密光流算法或基于深度学习的立体匹配算法。
8.根据权利要求6所述的一种显微手术术野三维重建方法，其特征在于，所述步骤6包括：
步骤6.1、基于所述第三感光元件与第一感光元件的空间关系，将位于第三感光元件坐标系中的空间点云P2变换到第一感光元件的坐标系下，形成变换后的空间点云
Figure FDA00033451956200000320
步骤6.2、使用计算机视觉中的点云三角化对变换后的空间点云
Figure FDA00033451956200000321
进行渲染，得到渲染后的空间点云
Figure FDA00033451956200000322
步骤6.3、采用渲染后的空间点云
Figure FDA00033451956200000323
对空间点云P1进行优化：
对于空间点云P1中的每个点P1t(X1t,Y1t,Z1t)获取临近点集合
Figure FDA0003345195620000041
Figure FDA0003345195620000042
其中n代表领域点的个数，
Figure FDA0003345195620000043
为P1t的领域点；
使用最小二乘方法求出点P1t领域点的拟合平面Ax+By+Cz+D＝0，得到点P1t处的法向量(A,B,C)，再根据点向式方程，求出过P1t的且平行该点法向量的直线l:
Figure FDA0003345195620000044
然后将直线l与渲染后的空间点云
Figure FDA0003345195620000045
的交点作为P1t的新坐标；
迭代上述过程完成空间点云P1中点的位置优化，得到可见光下的优化后的空间点云
Figure FDA0003345195620000046
CN202011084952.8A 2020-10-12 2020-10-12 一种显微手术术野三维重建***及方法 Active CN112294453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011084952.8A CN112294453B (zh) 2020-10-12 2020-10-12 一种显微手术术野三维重建***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011084952.8A CN112294453B (zh) 2020-10-12 2020-10-12 一种显微手术术野三维重建***及方法

Publications (2)

Publication Number Publication Date
CN112294453A CN112294453A (zh) 2021-02-02
CN112294453B true CN112294453B (zh) 2022-04-15

Family

ID=74489833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011084952.8A Active CN112294453B (zh) 2020-10-12 2020-10-12 一种显微手术术野三维重建***及方法

Country Status (1)

Country Link
CN (1) CN112294453B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721359A (zh) * 2021-09-06 2021-11-30 戴朴 一种耳显微外科术中关键指标实时三维测量的***及方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
CN105608734A (zh) * 2015-12-23 2016-05-25 王娟 一种三维图像信息采集装置及其图像重建方法
CN106691491A (zh) * 2017-02-28 2017-05-24 赛诺威盛科技（北京）有限公司 使用可见光和红外光实现的ct定位***及方法
CN106875468A (zh) * 2015-12-14 2017-06-20 深圳先进技术研究院 三维重建装置及方法
CN108921027A (zh) * 2018-06-01 2018-11-30 杭州荣跃科技有限公司 一种基于激光散斑三维重建的行车障碍物识别方法
CN109242812A (zh) * 2018-09-11 2019-01-18 中国科学院长春光学精密机械与物理研究所 基于显著性检测与奇异值分解的图像融合方法及装置
CN109903376A (zh) * 2019-02-28 2019-06-18 四川川大智胜软件股份有限公司 一种人脸几何信息辅助的三维人脸建模方法及***
CN110363806A (zh) * 2019-05-29 2019-10-22 中德（珠海）人工智能研究院有限公司 一种利用不可见光投射特征进行三维空间建模的方法
CN110940295A (zh) * 2019-11-29 2020-03-31 北京理工大学 基于激光散斑极限约束投影的高反射物体测量方法及***
CN111009007A (zh) * 2019-11-20 2020-04-14 华南理工大学 一种指部多特征全面三维重建方法
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及***
CN111260765A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法
CN111491151A (zh) * 2020-03-09 2020-08-04 浙江未来技术研究院(嘉兴) 一种显微手术立体视频渲染方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970589B2 (en) * 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US9141868B2 (en) * 2012-06-26 2015-09-22 Xerox Corporation Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources
CN105203044B (zh) * 2015-05-27 2019-06-11 珠海真幻科技有限公司 以计算激光散斑为纹理的立体视觉三维测量方法及***
CN111685711B (zh) * 2020-05-25 2023-01-03 中国科学院苏州生物医学工程技术研究所 基于3d摄像头的医用内窥镜三维成像***

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
CN106875468A (zh) * 2015-12-14 2017-06-20 深圳先进技术研究院 三维重建装置及方法
CN105608734A (zh) * 2015-12-23 2016-05-25 王娟 一种三维图像信息采集装置及其图像重建方法
CN106691491A (zh) * 2017-02-28 2017-05-24 赛诺威盛科技（北京）有限公司 使用可见光和红外光实现的ct定位***及方法
CN108921027A (zh) * 2018-06-01 2018-11-30 杭州荣跃科技有限公司 一种基于激光散斑三维重建的行车障碍物识别方法
CN109242812A (zh) * 2018-09-11 2019-01-18 中国科学院长春光学精密机械与物理研究所 基于显著性检测与奇异值分解的图像融合方法及装置
CN109903376A (zh) * 2019-02-28 2019-06-18 四川川大智胜软件股份有限公司 一种人脸几何信息辅助的三维人脸建模方法及***
CN110363806A (zh) * 2019-05-29 2019-10-22 中德（珠海）人工智能研究院有限公司 一种利用不可见光投射特征进行三维空间建模的方法
CN111009007A (zh) * 2019-11-20 2020-04-14 华南理工大学 一种指部多特征全面三维重建方法
CN110940295A (zh) * 2019-11-29 2020-03-31 北京理工大学 基于激光散斑极限约束投影的高反射物体测量方法及***
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及***
CN111260765A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法
CN111491151A (zh) * 2020-03-09 2020-08-04 浙江未来技术研究院(嘉兴) 一种显微手术立体视频渲染方法

Also Published As

Publication number Publication date
CN112294453A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
Schmalz et al. An endoscopic 3D scanner based on structured light
CN107063129B (zh) 一种阵列式并行激光投影三维扫描方法
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US7953271B2 (en) Enhanced object reconstruction
JP7379704B2 (ja) 視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法
JP4343341B2 (ja) 内視鏡装置
JP6458732B2 (ja) 画像処理装置、画像処理方法、プログラム
WO2016188068A1 (zh) 以计算激光散斑为纹理的立体视觉三维面形测量方法及***
EP3007131A1 (en) Artifact mitigation in three-dimensional imaging
CN107123156A (zh) 一种与双目立体视觉相结合的主动光源投影三维重构方法
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
CN108020175B (zh) 一种多光栅投影双目视觉舌体表面三维整体成像方法
JP7462890B2 (ja) プレノプティック・カメラ・システムを較正するための方法及びシステム
US11986240B2 (en) Surgical applications with integrated visualization camera and optical coherence tomography
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
Malti et al. Combining conformal deformation and cook–torrance shading for 3-d reconstruction in laparoscopy
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、***
CN1544883A (zh) 基于特定网格图案的三维脚型测量和建模的方法
CN112294453B (zh) 一种显微手术术野三维重建***及方法
ES2734676T3 (es) Sistema de visualización estereoscópica y método para endoscopio usando un algoritmo de forma a partir de sombra
Deguchi et al. 3d fundus shape reconstruction and display from stereo fundus images
CN116518869A (zh) 基于光度立体和双目结构光的金属表面测量方法及***
CN204539353U (zh) 医疗图像立体显示***
CN114004880A (zh) 双目相机的点云和强反光目标实时定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240311

Address after: 314050 9F, No. 705, Asia Pacific Road, Nanhu District, Jiaxing City, Zhejiang Province

Patentee after: ZHEJIANG YANGTZE DELTA REGION INSTITUTE OF TSINGHUA University

Country or region after: China

Address before: No.152 Huixin Road, Nanhu District, Jiaxing City, Zhejiang Province 314000

Patentee before: ZHEJIANG FUTURE TECHNOLOGY INSTITUTE (JIAXING)

Country or region before: China

TR01 Transfer of patent right