CN113516694A - 一种基于多Kinect的远程医疗场景的动态可视化控制方法 - Google Patents

一种基于多Kinect的远程医疗场景的动态可视化控制方法 Download PDF

Info

Publication number
CN113516694A
CN113516694A CN202110398983.9A CN202110398983A CN113516694A CN 113516694 A CN113516694 A CN 113516694A CN 202110398983 A CN202110398983 A CN 202110398983A CN 113516694 A CN113516694 A CN 113516694A
Authority
CN
China
Prior art keywords
kinect
point cloud
cloud data
scene
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110398983.9A
Other languages
English (en)
Inventor
徐振豪
何良华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110398983.9A priority Critical patent/CN113516694A/zh
Publication of CN113516694A publication Critical patent/CN113516694A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于多Kinect的远程医疗场景的动态可视化控制方法，包括以下步骤：S1、获取单个Kinect设备采集的目标医疗场景的彩色图和深度图进行配准生成点云数据；S2、获取多个Kinect设备通过棋盘格标定法采集的目标医疗场景的带有棋盘格的初始彩色图像；S3、检测初始彩色图像中的棋盘格角点，进行筛选完成二次标定，计算得到Kinect设备之间的初始旋转平移矩阵；S4、根据初始旋转平移矩阵对点云数据进行粗配准，通过SAC‑IA+ICP算法进行精配准，经迭代得到最优旋转平移矩阵，通过最优旋转平移矩阵将点云数据进行融合，实现目标医疗场景的动态可视化场景重建。与现有技术相比，本发明具有实现多视图融合和动态可视化，提高远程医疗场景的全面性和实时性等优点。

Description

一种基于多Kinect的远程医疗场景的动态可视化控制方法
技术领域
本发明涉及三维场景重建技术领域，尤其是涉及一种基于多Kinect的远程医疗场景的动态可视化控制方法。
背景技术
目前，基于深度传感器获取RGB-D数据生成三维场景数据往往是针对静态的，即便是动态的场景重建，例如DynamicFusion，也是用单个深度相机针对非刚性物体的三维实时重建，无法完全复原出待重建场景的全部三维信息，也不能有效应对拓扑结构改变的问题。而在手术室内，目前较为传统的手术直播方式是“视频手术”，通过二维大屏幕直播手术全过程，仅为家属和医院医护人员提供的是二维场景信息，单角度的二维画面无法让家属和医护人员更全方位、多角度地观看手术全过程。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多Kinect的远程医疗场景的动态可视化控制方法，实现多视图融合和动态可视化，提高远程医疗场景的全面性和实时性。
本发明的目的可以通过以下技术方案来实现：
一种基于多Kinect的远程医疗场景的动态可视化控制方法，具体包括以下步骤：
S1、获取单个Kinect设备采集的目标医疗场景的彩色图和深度图并进行配准生成点云数据；
S2、获取多个Kinect设备通过棋盘格标定法采集的目标医疗场景的带有棋盘格的初始彩色图像；
S3、检测所述初始彩色图像中的棋盘格角点，根据预设的误差阈值进行筛选完成二次标定，计算得到Kinect设备之间的初始旋转平移矩阵；
S4、根据所述初始旋转平移矩阵对Kinect设备的点云数据并进行粗配准，通过SAC-IA+ICP算法对完成粗配准的点云数据进行精配准，经迭代更新得到最优旋转平移矩阵，通过最优旋转平移矩阵将粗配准的点云数据进行融合，实现目标医疗场景的动态可视化场景重建。
所述深度图具体为经过双边滤波器进行平滑的深度图。
所述Kinect设备的数量具体为两个。
所述两个Kinect设备之间的夹角的取值范围为40°～80°。
进一步地，所述两个Kinect设备之间的夹角优选为60°。
所述初始旋转平移矩阵的公式具体如下所示：
Figure BDA0003017473700000021
其中，R1为旋转参数矩阵，T1为平移参数矩阵，rij为旋转参数矩阵元素，i的取值范围为1～3的整数，j的取值范围为1～3的整数，tx、ty和tz为平移参数矩阵元素。
所述步骤S4中精配准的过程具体包括以下步骤：
S401、对完成粗配准的点云数据进行下采样，得到多个采样点；
S402、计算完成下采样的点云数据的特征量；
S403、根据所述特征量对完成粗配准的点云数据之间进行配对，计算配对的采样点之间的旋转平移矩阵中误差函数值最小的旋转平移矩阵；
S404、利用基于SVD的ICP算法将误差函数值最小的旋转平移矩阵作为初始参数，经迭代更新得到最优旋转平移矩阵。
进一步地，采样点之间特征量的值不相同。
进一步地，所述点云数据的特征量具体为快速点特征直方图。
进一步地，所述误差函数值具体为Huber误差函数的函数值，具体公式如下：
Figure BDA0003017473700000022
Figure BDA0003017473700000023
其中，H(li)为Huber误差函数的函数值，li为第i组对应点变换之后的距离差，mi为预先设置的临界值。
所述步骤S4中进行精配准的点云数据具体为完成粗配准的点云数据中的单帧点云。
与现有技术相比，本发明具有以下有益效果：
1.本发明单个Kinect设备配准生成点云数据时使用的是经过双边滤波器进行平滑的深度图，起到降噪平滑、保持边缘信息的效果，同时经滤波生成的点云数据去除了部分离散点，既满足动态可视化的要求，也能去除部分离散孤立点云，提高了远程医疗场景重建的精确度和全面性。
2.本发明在点云配准阶段通过粗配准和精配准，在融合之前预先生成好最优旋转平移矩阵，减少了两个视图点云进行多视图融合的时间，同时以粗配置为过渡再实现SAC-IA+ICP算法的精配准，不仅避免陷入局部最优，而且满足动态重建中画面每秒传输帧数的要求，提高了远程医疗场景重建的实时性。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1所示，一种基于多Kinect的远程医疗场景的动态可视化控制方法，包括数据采集和处理、多Kinect标定、点云配准3个阶段，具体包括以下步骤：
S1、获取单个Kinect设备采集的目标医疗场景的彩色图和深度图，并进行配准生成点云数据，本实施例中，彩色图的数量为12张；
S2、获取多个Kinect设备通过棋盘格标定法采集的目标医疗场景的带有棋盘格的初始彩色图像；
S3、通过matlab的Camera Calibration Toolbox检测初始彩色图像中的棋盘格角点，根据预设的误差阈值进行筛选完成二次标定，计算得到Kinect设备之间的初始旋转平移矩阵；
S4、根据初始旋转平移矩阵对Kinect设备的点云数据并进行粗配准，通过SAC-IA+ICP算法对完成粗配准的点云数据进行精配准，经迭代更新得到最优旋转平移矩阵，通过最优旋转平移矩阵将粗配准的点云数据进行融合，实现目标医疗场景的动态可视化场景重建。
本实施例中，步骤S1中通过Libfreenect2将深度图映射到彩色图实现像素点的一一对应，最后将三维坐标信息和RGB信息存储到PCL的点云数据结构中，得到单视图下的三维点云数据。
深度图具体为经过opencv的双边滤波器进行平滑的深度图。
Kinect设备的数量具体为两个。
两个Kinect设备之间的夹角的取值范围为40°～80°。
本实施例中，两个Kinect设备之间的夹角为60°。
初始旋转平移矩阵的公式具体如下所示：
Figure BDA0003017473700000041
其中，R1为旋转参数矩阵，T1为平移参数矩阵，rij为旋转参数矩阵元素，i的取值范围为1～3的整数，j的取值范围为1～3的整数，tx、ty和tz为平移参数矩阵元素。
步骤S4中精配准的过程具体包括以下步骤：
S401、对完成粗配准的点云数据进行下采样，得到多个采样点，采样点之间特征量的值不相同；
S402、计算完成下采样的点云数据的特征量；
S403、根据特征量对完成粗配准的点云数据之间进行配对，计算配对的采样点之间的旋转平移矩阵中误差函数值最小的旋转平移矩阵；
S404、利用基于SVD的ICP算法将误差函数值最小的旋转平移矩阵作为初始参数，经迭代更新得到最优旋转平移矩阵。
点云数据的特征量具体为快速点特征直方图。
误差函数值具体为Huber误差函数的函数值，具体公式如下：
Figure BDA0003017473700000051
Figure BDA0003017473700000052
其中，H(li)为Huber误差函数的函数值，li为第i组对应点变换之后的距离差，mi为预先设置的临界值。
本实施例中，最终得到的最优旋转平移矩阵如下所示：
Figure BDA0003017473700000053
步骤S4中进行精配准的点云数据具体为完成粗配准的点云数据中的单帧点云。
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，具体包括以下步骤：
S1、获取单个Kinect设备采集的目标医疗场景的彩色图和深度图并进行配准生成点云数据；
S2、获取多个Kinect设备通过棋盘格标定法采集的目标医疗场景的带有棋盘格的初始彩色图像；
S3、检测所述初始彩色图像中的棋盘格角点，根据预设的误差阈值进行筛选完成二次标定，计算得到Kinect设备之间的初始旋转平移矩阵；
S4、根据所述初始旋转平移矩阵对Kinect设备的点云数据进行粗配准，通过SAC-IA+ICP算法对完成粗配准的点云数据进行精配准，经迭代更新得到最优旋转平移矩阵，通过最优旋转平移矩阵将粗配准的点云数据进行融合，实现目标医疗场景的动态可视化场景重建。
2.根据权利要求1所述的一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，所述深度图具体为经过双边滤波器进行平滑的深度图。
3.根据权利要求1所述的一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，所述Kinect设备的数量具体为两个。
4.根据权利要求3所述的一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，所述两个Kinect设备之间的夹角的取值范围为40°～80°。
5.根据权利要求4所述的一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，所述两个Kinect设备之间的夹角优选为60°。
6.根据权利要求1所述的一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，所述初始旋转平移矩阵的公式具体如下所示：
Figure FDA0003017473690000011
其中，R1为旋转参数矩阵，T1为平移参数矩阵，rij为旋转参数矩阵元素，i的取值范围为1～3的整数，j的取值范围为1～3的整数，tx、ty和tz为平移参数矩阵元素。
7.根据权利要求1所述的一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，所述步骤S4中精配准的过程具体包括以下步骤：
S401、对完成粗配准的点云数据进行下采样，得到多个采样点；
S402、计算完成下采样的点云数据的特征量；
S403、根据所述特征量对完成粗配准的点云数据之间进行配对，计算配对的采样点之间的旋转平移矩阵中误差函数值最小的旋转平移矩阵；
S404、利用基于SVD的ICP算法将误差函数值最小的旋转平移矩阵作为初始参数，经迭代更新得到最优旋转平移矩阵。
8.根据权利要求7所述的一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，所述点云数据的特征量具体为快速点特征直方图。
9.根据权利要求7所述的一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，所述误差函数值具体为Huber误差函数的函数值。
10.根据权利要求1所述的一种基于多Kinect的远程医疗场景的动态可视化控制方法，其特征在于，所述步骤S4中进行精配准的点云数据具体为完成粗配准的点云数据中的单帧点云。
CN202110398983.9A 2021-04-13 2021-04-13 一种基于多Kinect的远程医疗场景的动态可视化控制方法 Pending CN113516694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110398983.9A CN113516694A (zh) 2021-04-13 2021-04-13 一种基于多Kinect的远程医疗场景的动态可视化控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110398983.9A CN113516694A (zh) 2021-04-13 2021-04-13 一种基于多Kinect的远程医疗场景的动态可视化控制方法

Publications (1)

Publication Number Publication Date
CN113516694A true CN113516694A (zh) 2021-10-19

Family

ID=78061931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110398983.9A Pending CN113516694A (zh) 2021-04-13 2021-04-13 一种基于多Kinect的远程医疗场景的动态可视化控制方法

Country Status (1)

Country Link
CN (1) CN113516694A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123161A (zh) * 2017-06-14 2017-09-01 西南交通大学 一种基于narf和fpfh的接触网零全网三维重建方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN109544606A (zh) * 2018-11-02 2019-03-29 山东大学 基于多个Kinect的快速自动配准方法及***
CN109615659A (zh) * 2018-11-05 2019-04-12 成都西纬科技有限公司 一种车载多摄像机环视***的摄像机参数获得方法及装置
CN112381886A (zh) * 2020-11-16 2021-02-19 深圳市洲明科技股份有限公司 基于多相机的三维场景重建方法、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123161A (zh) * 2017-06-14 2017-09-01 西南交通大学 一种基于narf和fpfh的接触网零全网三维重建方法
CN109544606A (zh) * 2018-11-02 2019-03-29 山东大学 基于多个Kinect的快速自动配准方法及***
CN109615659A (zh) * 2018-11-05 2019-04-12 成都西纬科技有限公司 一种车载多摄像机环视***的摄像机参数获得方法及装置
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN112381886A (zh) * 2020-11-16 2021-02-19 深圳市洲明科技股份有限公司 基于多相机的三维场景重建方法、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈英博: "Kinect点云数据与序列影像结合的三维重建技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN111080724B (zh) 一种红外和可见光的融合方法
CN109615652B (zh) 一种深度信息获取方法及装置
US9454796B2 (en) Aligning ground based images and aerial imagery
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN114399554B (zh) 一种多相机***的标定方法及***
CN107886547B (zh) 一种鱼眼相机标定方法及***
CN110322485B (zh) 一种异构多相机成像***的快速图像配准方法
WO2019089822A1 (en) Modeling indoor scenes based on digital images
CN111080709B (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN110969667A (zh) 基于边缘特征的多光谱相机外参自校正算法
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
JP2003141575A (ja) 三次元データベース生成システム及び三次元データベース生成方法
CN117665841B (zh) 一种地理空间信息采集测绘方法及装置
CN113450416B (zh) 一种应用于三目相机立体标定的tcsc方法
CN110910457B (zh) 基于角点特征的多光谱立体相机外参计算方法
CN117333367A (zh) 基于图像局部特征的图像拼接方法、***、介质及装置
EP2879090B1 (en) Aligning ground based images and aerial imagery
CN113516694A (zh) 一种基于多Kinect的远程医疗场景的动态可视化控制方法
CN111080523A (zh) 红外周视搜索***及基于角度信息的红外周视图像拼接方法
CN112102419B (zh) 双光成像设备标定方法及***、图像配准方法
CN108230273B (zh) 一种基于几何信息的人工复眼相机三维图像处理方法
CN112288824A (zh) 一种基于现实场景的长焦相机标定装置及标定方法
CN115451996B (zh) 一种面向室内环境的单应视觉里程计方法
CN112066876B (zh) 一种利用手机快速测量物体尺寸方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211019