CN113706707A - 一种基于多源信息融合的人体三维表面温度模型构建方法 - Google Patents

一种基于多源信息融合的人体三维表面温度模型构建方法 Download PDF

Info

Publication number
CN113706707A
CN113706707A CN202110794691.7A CN202110794691A CN113706707A CN 113706707 A CN113706707 A CN 113706707A CN 202110794691 A CN202110794691 A CN 202110794691A CN 113706707 A CN113706707 A CN 113706707A
Authority
CN
China
Prior art keywords
camera
formula
frame
image
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110794691.7A
Other languages
English (en)
Other versions
CN113706707B (zh
Inventor
曹彦鹏
王钒
夏晨杰
杨将新
曹衍龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110794691.7A priority Critical patent/CN113706707B/zh
Publication of CN113706707A publication Critical patent/CN113706707A/zh
Application granted granted Critical
Publication of CN113706707B publication Critical patent/CN113706707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Radiation Pyrometers (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多源信息融合的人体三维表面温度模型构建方法，采用多源信息的融合策略，采取帧对帧的方式对相机外部参数进行实时优化，使用交替迭代策略进行相机位姿预测和外部参数优化，在保证重建算法实时性的基础上进一步提高重建模型的精度。

Description

一种基于多源信息融合的人体三维表面温度模型构建方法
技术领域
本发明涉及人体三维表面温度模型构建，尤其涉及基于多源信息融合的人体三维表面温度模型构建方法。
背景技术
物体表面温度信息不仅表征了，还一定程度上反映了物体的内部状态特征。红外热成像技术可以准确的获取物体表面的温度信息，且在烟雾、低光照等恶劣工作环境中有较强的鲁棒性，因此被广泛地运用到了安防监控、电力检测、防火消防、医学诊断以及犯罪追踪等军用和民用领域。
然而目前主流的二维红外热成像技术存在温度信息丢失、空间定位困难等问题，物体三维表面温度模型构建技术通过对物体表面三维温度模型的重建，更加完整地保留了物体表面的温度信息，并实现了表面温度特征的快速定位，极大地提高了红外热成像技术的应用范围和操作友好度。
现有的基于小位移假设的稠密三维重建算法在相机快速移动时容易失效；现有的三维重建算法不能解决运动状态下多源信息误配准问题，影响三维温度模型的精度和温度分布的准确性；现有的基于单源信息的三维重建算法只在部分固定场景有较好的效果，鲁棒性不足。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在相机快速运动状态下，对目标物体的三维表面温度模型进行高效率的准确重建。
为实现上述目的，本发明提供了一种基于多源信息融合的人体三维表面温度模型构建方法，其特征在于，包括步骤：
(1)输入包括深度相机、可见光相机和红外相机获得的多源图像；
(2)基于迭代最近邻法初始化空间点对匹配关系，且通过最大化第i帧红外图像和第i-1帧红外图像之间的温度一致性计算图像间的平面平移变换关系，对空间点对匹配关系进行优化；
(3)通过最大化第i帧红外图像
Figure BDA0003162207070000011
和第i-1帧红外图像
Figure BDA0003162207070000012
的温度一致性来初始化相机的空间位姿；
(4)通过最大化第i帧点云Vi与第i-1帧的点云
Figure BDA0003162207070000013
的空间几何一致性来估计相机的空间位姿；
(5)基于可见光光度一致性对步骤(4)中估计的相机位姿进一步地调整；
(6)通过帧间配准的方式，基于温度一致性对相机外部参数进行实时标定后，返回至步骤(4)，直至精度满足要求，则进入步骤(7)；
(7)使用输入图像的信息对现有的温度三维模型进行更新；
(8)使用光线投射算法获取当前相机视角下的模型数据并将其作为下一帧计算的参考数据。
进一步地，在步骤(2)中，令第i帧和第i-1帧红外图像之间的平移向量ωi＝[tutv]T，构建温度一致性损失函数：
Figure BDA0003162207070000021
式中，u为红外图像平面Ω中的像素坐标，Ii和Ii-1分别表示第i帧和第i-1帧的红外图像；使用高斯-牛顿法对其进行求解，在第k+1次迭代时，平移向量ωi的更新方法为：
Figure BDA0003162207070000022
式中，
Figure BDA0003162207070000023
和
Figure BDA0003162207070000024
分别表示第k+1次和第k次迭代平移向量ωi的计算结果；将式(1)和式(2)联立，并对温度一致性损失函数ET线性化：
Figure BDA0003162207070000025
式中，
Figure BDA0003162207070000026
表示第i帧的红外图像Ii在u和v两个方向的梯度图，使用3×3的索贝尔算子对图像梯度进行计算；rT是使用第k次迭代平移向量
Figure BDA0003162207070000027
计算得到的由图像中每一个像素点的残差值构成的向量；
Figure BDA0003162207070000028
是第k次迭代计算得到的rT的雅可比矩阵，Vω通过线性化之后的损失函数计算得到：
Figure BDA0003162207070000029
使用平移向量ωi对第i帧点云Vi和第i-1帧点云Vi-1中的空间点对匹配关系进行优化；其中Vi(ui)是点云Vi中像素点ui在当前相机坐标系下的三维顶点，点云Vi-1中与其匹配的三维顶点为Vi-1(hi-1)；在初始化过程中，首先将第i帧的相机空间位姿Ti设定为Ti-1，然后通过Ti-1将Vi(ui)转换到第i-1帧相机坐标系下，再将其投影到第i-1帧的像素坐标系中得到像素点
Figure BDA00031622070700000210
在像素坐标系中将
Figure BDA00031622070700000211
与平移向量ωi叠加得到hi-1，则与Vi(ui)匹配的点为
Figure BDA00031622070700000212
进一步地，在步骤(3)中，构建温度一致性约束的损失函数：
Figure BDA00031622070700000213
式中，
Figure BDA0003162207070000031
为第i-1帧红外图像在世界坐标系中产生的点云图中的一个顶点，第i帧红外图像中与其匹配的顶点为Vi(h)；M为温度有效点集P中的元素个数，
Figure BDA0003162207070000032
为三维顶点的刚性变换，κ(v)表示将顶点v＝(vx,vy,vz)从三维空间投影到像素空间的过程：
Figure BDA0003162207070000033
Figure BDA0003162207070000034
式中，fx和fy为红外照相机的焦距，(cx,cy)为红外照相机的主点坐标；
使用李群李代数将空间变换矩阵T的增量VT表示为一个6维向量
ξ＝(α,β,λ,tx,ty,tz)T；则第k次迭代的更新方式为：
Ti k＝VTTi k-1≈(I+ξ^)Ti k-1 (8)；
式中，Ti k-1和Ti k分别为第k-1次和第k次迭代相机位姿的计算结果，ξ^为向量ξ的SE(3)李代数形式：
Figure BDA0003162207070000035
将式(8)和式(9)代入式(5)，将损失函数线性化为：
Figure BDA0003162207070000036
根据链式求导法则有：
Figure BDA0003162207070000037
式中，Jκ(ψ)为函数κ(ψ)的雅克比矩阵从式(7)推导得到，Jψ(ξ)为函数ψ(ξ)的雅克比矩阵，从式(6)、式(8)和式(9)推导得到；Jfi和rfi分别表示损失函数Efi(ξ)的雅克比矩阵和残差项，因此根据式(12)求解ξ以实现Efi(ξ)的最小化；
Figure BDA0003162207070000038
经不断迭代更新Ti，直至第k次和第k-1次迭代后Efi小于预设阈值，进入步骤(4)。
进一步地，在步骤(4)中，将第i帧红外图像
Figure BDA0003162207070000039
和第i-1帧红外图像
Figure BDA00031622070700000310
的温度一致性以权重的方式加入优化损失函数中，构建优化损失函数如式(13)：
Figure BDA00031622070700000311
式中，
Figure BDA00031622070700000312
和
Figure BDA00031622070700000313
分别表示几何一致性损失函数和温度一致性优化函数，
Figure BDA00031622070700000314
表示温度一致性约束在优化损失函数中占有的权重。
进一步地，几何一致性损失函数是通过最小化当前帧点云和模型点云之间匹配点对的点到平面距离实现的。
进一步地，空间顶点Vi(h)到其匹配点
Figure BDA0003162207070000041
所在模型平面的距离为：
Figure BDA0003162207070000042
式中，
Figure BDA0003162207070000043
为i-1帧视角下模型法向量图，则构建
Figure BDA0003162207070000044
如式(15)所示：
Figure BDA0003162207070000045
式中，M为匹配点对集合O的元素个数；
Figure BDA0003162207070000046
Figure BDA0003162207070000047
和vi＝Vi(h)分别表示当前输入点云和第i-1帧模型点云中的一对匹配点；
将式(8)和式(9)代入式(15)，得到
Figure BDA0003162207070000048
的线性化结果：
Figure BDA0003162207070000049
式中，
Figure BDA00031622070700000410
和
Figure BDA00031622070700000411
分别表示
Figure BDA00031622070700000412
的雅克比矩阵和残差项；
参照式(11)，线性化之后的
Figure BDA00031622070700000413
为：
Figure BDA00031622070700000414
通过式(18)求解ξ以实现Ecr的最小化：
Figure BDA00031622070700000415
式中，
Figure BDA00031622070700000416
经过不断迭代更新Ti，直至第k次和第k-1次迭代后
Figure BDA00031622070700000417
小于预设阈值则进入步骤(5)。
进一步地，在步骤(5)中，构建如式(19)所示的多源联合优化损失函数：
Figure BDA00031622070700000418
式中，
Figure BDA0003162207070000051
为空间几何一致性优化目标函数，
Figure BDA0003162207070000052
为温度一致性优化目标函数，
Figure BDA0003162207070000053
是其对应的权重，
Figure BDA0003162207070000054
为可见光光度一致性优化目标函数，
Figure BDA0003162207070000055
是其对应的权重。进一步地，将采集到的可见光图像从三原色色彩空间转换到了YUV色彩空间，其中分量U和V表示色度，分量Y表示亮度，计算方式为：
Y＝0.299R+0.587G+0.114B；
式中，R、G和B分别表示三原色色彩空间中的红、绿、蓝三个色彩分量；
完成色彩转换和亮度提取后，使用可见光亮度图像的平均亮度Bv(Y)和最大亮度差Cv(Y)实现可见光图像质量的量化，其计算方式为：
Figure BDA0003162207070000056
Cv(Y)＝max(Y(x))-min(Y(x))x∈Ω；
式中，Ω为可见光亮度图像的像素空间；
则
Figure BDA0003162207070000057
的计算方法为：
Figure BDA0003162207070000058
式中，f(B)和g(C)分别为图像平均亮度Bv(Y)和最大亮度差Cv(Y)对应的权重分量，其计算方式如式(21)和式(22)所示；kB和kC分别为f(B)和g(C)的系数；
Figure BDA0003162207070000059
Figure BDA00031622070700000510
式中，H为亮度图像像素值的最大值，设H＝255；
构建
Figure BDA00031622070700000511
为：
Figure BDA00031622070700000512
式中，N为可见光光度有效点集Q中的元素个数；将式(8)和式(9)代入式(21)对其进行线性化：
Figure BDA00031622070700000513
根据链式求导法则：
Figure BDA00031622070700000514
式中，Jκ(ψ)为函数κ(ψ)的雅克比矩阵，从式(7)推导得到，Jψ(ξ)为函数ψ(ξ)的雅克比矩阵，从式(6)、式(8)和式(9)推导得到；
Figure BDA0003162207070000061
和
Figure BDA0003162207070000062
分别表示损失函数
Figure BDA0003162207070000063
的雅克比矩阵和残差项；
参照式(16)，线性化之后的
Figure BDA0003162207070000064
为：
Figure BDA0003162207070000065
参照式(11)，线性化之后的
Figure BDA0003162207070000066
为：
Figure BDA0003162207070000067
将式(24)、式(25)和式(26)代入到式(19)中，求解ξ以实现Efr的最小化：
Figure BDA0003162207070000068
式中，
Figure BDA0003162207070000069
经过不断迭代更新Ti，直至第k次和第k-1次迭代后Efr小于预设阈值则进入步骤(6)。
进一步地，在步骤(6)中，以深度图像为基准，使用相机外部参数将根据深度图像生成的点云经过空间刚性变换转换到红外相机和可见光相机的相机坐标系中，然后将其投影到相应的图像坐标系中实现图像间的对应。
进一步地，红外相机相对于深度相机的外部参数
Figure BDA00031622070700000610
和在tdi到tti之间深度相机的位姿变换
Figure BDA00031622070700000611
则有：
Figure BDA00031622070700000612
第i帧获取的点云图中的顶点在当前相机坐标系中的坐标为vi＝Vi(u)，通过式(29)将vi转换到第i-1帧红外相机坐标系下得到点vi-1：
Figure BDA00031622070700000613
式中，Ti-1和Ti分别为第i-1帧和第i帧的相机位姿，
Figure BDA0003162207070000071
表示第i-1帧红外相机的实时外部参数；根据红外相机的内部参数将vi-1投影到图像平面获取第i-1帧红外图像中与vi对应的像素点p；
根据第i帧红外热像仪的实时外部参数
Figure BDA0003162207070000072
将vi转换到第i帧红外相机的相机坐标系后通过内参矩阵将其投影至像素坐标系中获得点h，点h与点p形成前后两帧红外图像中的一对匹配点，所有M对匹配点对构成的集合记为S；由此得到红外相机的外部参数实时优化目标函数：
Figure BDA0003162207070000073
根据李群李代数将红外相机外部参数矩阵的增量VT转换为一个六维向量ξe＝(α,β,λ,tx,ty,tz)T；则红外相机外部参数实时优化第k次迭代的更新方式为：
Figure BDA0003162207070000074
式中，
Figure BDA0003162207070000075
和
Figure BDA0003162207070000076
分别为第k-1次和第k次迭代得到的红外相机外部参数变化量的计算结果，
Figure BDA0003162207070000077
为向量ξe的SE(3)李代数形式：
Figure BDA0003162207070000078
结合式(29)和式(30)，将Eet线性化为：
Figure BDA0003162207070000079
式中，Jκ(ψ1)为函数κ(ψ1)的雅克比矩阵从式(7)推导得到，
Figure BDA00031622070700000710
为函数ψ1(ξe)的雅克比矩阵，从式(6)、式(31)和式(32)推导得到；Jet和ret分别表示损失函数Eet的雅克比矩阵和残差项；根据式(34)求解ξe以实现Eet(ξe)的最小化；
Figure BDA00031622070700000711
经过不断迭代更新深度相机在tdi到tti时间内的空间位姿变换
Figure BDA00031622070700000712
直至第k次和第k-1次迭代后Eet小于预设阈值，此时红外相机的外部参数矩阵为
Figure BDA00031622070700000713
使用优化后的外部参数实现温度图像和深度图像的匹配；
深度相机在自身触发时刻tdi到可见光相机触发时刻tvi之间的空间位姿变换为
Figure BDA00031622070700000714
则可见光相机的实时外部参数为：
Figure BDA0003162207070000081
将第i帧和第i-1帧可见光亮度图像分别标记为
Figure BDA0003162207070000082
和
Figure BDA0003162207070000083
两幅图像中的N对匹配点对构成的集合标记为W，构建可见光相机的外部参数实时优化目标函数Eev为：
Figure BDA0003162207070000084
式(35)的线性化结果为：
Figure BDA0003162207070000085
根据式(37)求解ξe以实现Eev(ξe)的最小化：
Figure BDA0003162207070000086
不断迭代更新深度相机在tdi到tvi时间内的空间位姿变换
Figure BDA0003162207070000087
直至第k次和第k-1次迭代后损失函数Eev小于预设阈值，此时红外相机的外部参数矩阵为
Figure BDA0003162207070000088
使用优化后的外部参数实现可见光图像和深度图像的匹配。
本发明基于多源信息融合技术，在迭代最近邻法基础上提出了一套三维重建算法流程，实现了人体温度三维模型的快速准确重建。本发明设计了提高了三维重建算法的精度和鲁棒性。针对相机运动过程中存在的外部参数变化问题，本发明采取帧对帧的方式对相机外部参数进行实时优化，并提出使用交替迭代策略进行相机位姿预测和外部参数优化，在保证重建算法实时性的基础上进一步提高重建模型的精度。本发明在TSDF模型的基础上提出了温度三维模型，并设计了根据测温距离和测温角度自适应调整体素权重的模型更新策略，避免了多视角数据融合过程中容易产生的温度细节模糊问题，实现了人体三维温度场的准确构建与存储。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例中的多源信息融合的人体三维重建算法流程图；
图2是现有技术中的小位移假设示意图；
图3是本发明的一个较佳实施例中的空间点对匹配关系优化效果图；
图4是本发明的一个较佳实施例中的多源信息联合位姿估计算法流程图；
图5是本发明的一个较佳实施例中的温度一致性约束损失函数构建示意图；
图6是本发明的一个较佳实施例中的几何一致性约束损失函数构建示意图；
图7是本发明的一个较佳实施例中的平均亮度权重函数示意图；
图8是本发明的一个较佳实施例中的最大亮度差权重函数示意图；
图9是本发明的一个较佳实施例中的可见光光度一致性损失函数构建示意图；
图10是本发明的一个较佳实施例中的迭代过程残差变化图；
图11是本发明的一个较佳实施例中的平台多源数据采集过程示意图；
图12是本发明的一个较佳实施例中的不同运动速度下多源图像配准结果对比图；
图13是本发明的一个较佳实施例中的平台单帧多源数据采集示意图；
图14是本发明的一个较佳实施例中的帧间温度一致性优化示意图；
图15是本发明的一个较佳实施例中的交替迭代算法流程图；
图16是本发明的一个较佳实施例中的交替迭代中各相机位姿变化示意图；
图17是本发明的一个较佳实施例中的扩展TSDF模型示意图；
图18是本发明的一个较佳实施例中的符号距离示意图；
图19是本发明的一个较佳实施例中的sdf函数示意图；
图20是本发明的一个较佳实施例中的tsdf函数示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
人体三维表面温度模型构建技术使用三维重建技术获取人体表面三维几何信息，并根据三维几何信息与温度信息的匹配关系对其进行融合并存储在人体温度三维模型中，并通过多视角数据融合的方式提高温度三维模型构建的完整性。在根据本发明的一个具体实施方式中，基于多源信息融合技术提出了一套如图1所示的三维重建流程，完成了人体三维温度场的快速准确构建。
一般而言，多源信息有如下特性：温度信息的时间序列一致性好但纹理粗糙，匹配难度较小但精度有限；可见光信息中纹理丰富但易受干扰，匹配难度较大但精度高；深度信息可靠性高但不具备时间一致性。
因此，本发明首先通过输入红外图像与参考红外图像之间的光度一致性优化计算图像间的平面变换关系，从而完成两团点云中点对匹配关系的初始化(图1中步骤100)，以应对输入点云与参考点云重合度较少时出现的重建算法失效问题。之后使用基于多源信息融合的测温平台联合位姿估计算法，求解平台当前状态下的空间位姿(图1中步骤200)。基于多源信息的特性，本发明将平台空间位姿估计过程划分为基于温度一致性的位姿快速初始化(图1中步骤201)，基于空间几何一致性约束位姿粗略估计(图1中步骤202)和基于可见光光度一致性与几何一致性的位姿精调(图1中步骤203)三个阶段，通过由粗糙到精细的方式实现平台位姿的快速、准确估计。由于各相机数据采集时间不同步，人体三维温度场构建过程中平台的运动会导致相机外部参数的改变，进而影响重建后人体温度三维模型的精度。因此本发明使用帧间配准的方式，通过温度一致性优化对相机外部参数进行实时标定(图1中步骤300)，并采取交替策略循环开展平台位姿估计和相机外部参数优化(图1中步骤400)，以便抑制因相机外部参数改变引入的多源信息不匹配问题。然后根据平台位姿联合优化的结果，使用输入图像的信息按照融合规则对现有的温度三维模型进行更新(图1中步骤500)。最后使用光线投射算法(Ray Casting)获取当前平台视角下的模型数据并将其作为下一帧计算的参考数据(图1中步骤600)，从而实现帧对模型的模型重建流程，进一步提高人体三维温度场构建的精度和鲁棒性。
步骤100：
迭代最近邻法(Iterative Closest Point,ICP)的基本假设为：输入的当前帧图像Ii与前一帧图像Ii-1之间产生的相机位移较小，因此可以使用前一帧图像对应的相机空间位姿Ti-1作为当前帧相机空间位姿Ti的初始值。
如图2所示，当相机空间位姿变化不大时，图像Ii和Ii-1中相同像素坐标系对应的点Pi和Pi-1在实际物体上的距离较近，可以通过迭代计算对相机位姿进行调整并完成输入点云和模型数据点云的对齐。但是当相机位姿变化较大，输入点云和模型数据点云的重合点较少时，通过匹配关系初始化得到的模型数据点云中的三维点Pi-1并不在输入点云Pi的附近区域，则很难在后续的迭代中找到正确的相机位姿，从而导致重建算法的失效。当被重建物体表面结构简单、几何重复性强，或者表面构造过于复杂时，算法失效的概率将进一步增大。为了改善这一问题，提高重建算法的鲁棒性，本发明基于二维输入图像和模型数据对空间点对匹配关系初始化算法进行了优化。
在室温条件下，人体的温度信息是保持相对稳定的，而且人体表面温度测量的结果受光照条件和测量角度的影响较小，因此人体上同一个点在前后两帧红外图像中可以较好的保持灰度值的一致性，所以使用前后两帧红外图像对点云的初始匹配关系进行优化可以达到较好的效果。
本发明使用平移变换对前后两帧红外图像的平面变换进行模拟，该方式完全可以提供足够做的有效初始匹配点对，从而提高人体三维重建算法的鲁棒性。
在计算图像平移向量的参数tu和tv时，本发明采取最大化第i帧和第i-1帧红外图像之间的温度一致性的方法。令两幅图像之间的平移向量ωi＝[tu tv]T，则可以构建式(5)所示的温度一致性损失函数：
Figure BDA0003162207070000101
式中，u为红外图像平面Ω中的像素坐标，Ii和Ii-1分别表示第i帧和第i-1帧的红外图像。损失函数ET是一个非线性最小二乘函数，能够使用高斯-牛顿法对其进行求解。在第k+1次迭代时，平移向量ωi的更新方法为：
Figure BDA0003162207070000111
式中，
Figure BDA0003162207070000112
和
Figure BDA0003162207070000113
分别表示第k+1次和第k次迭代平移向量ωi的计算结果。将式(5)和式(6)联立，并对温度一致性损失函数ET线性化：
Figure BDA0003162207070000114
式中，
Figure BDA0003162207070000115
表示第i帧的红外图像Ii在u和v两个方向的梯度图，本发明使用3×3的索贝尔算子对图像梯度进行计算；rT是使用第k次迭代平移向量
Figure BDA0003162207070000116
计算得到的由图像中每一个像素点的残差值构成的向量；
Figure BDA0003162207070000117
是第k次迭代计算得到的rT的雅可比矩阵。根据高斯-牛顿法的原理，Vω可以通过线性化之后的损失函数计算得到：
Figure BDA0003162207070000118
确定第i帧和第i-1帧红外图像的平面变换关系后，本发明使用平移向量ωi对第i帧点云Vi和第i-1帧点云Vi-1中的空间点对匹配关系进行优化。
图3展示了优化前后的相邻两帧图像的匹配关系对比。其中左图为第i帧红外图像，右图为第i-1帧红外图像，第i帧红外图像中的像素点q通过小位移假设直接对应到第i-1帧红外图像的像素点p，由图可知这样的对应关系明显是错误的。在加上本发明计算得到的平移向量u后，即可找到第i-1帧红外图像中与像素点q对应的点，从而使初始化过程中输入点云和待匹配点云之间产生的匹配点对在物理上更接近，降低了重建任务的难度，使算法可以应用于大位移或者快速移动等点云重合比较小的情况，极大的提高了重建算法的鲁棒性。
步骤200：
完成当前输入点云和模型点云匹配关系的初始化之后，可以对测温平台的位姿进行估计。现有技术中使用的迭代最近邻法仅仅考虑了单一的空间几何一致性约束，但是对几何关系比较复杂的场景进行重建时，容易陷入局部最优，从而导致重建算法的失效。在人体三维温度场的重建过程中，多源数据采集平台需要环绕目标人体360°进行数据采集，视角的变换往往伴随着物体表面颜色的改变和阴影的移动，因此可见光信息很难在数据采集过程中保持一致。现有技术中利用物体表面温度的一致性，提出了鲁棒性更强的损失函数，但物体表面温度纹理信息的稀疏性一定程度上导致了模型重建精度的下降。
目前的三维重建算法在对相机空间位姿进行估计时都使用固定的损失函数，而没有考虑到在不同场景的重建任务中，各种信息对于相机位姿估计结果的贡献度是不同的，对于同一个相机位姿估计中不同的迭代步数，各种信息对计算结果的影响也是有差别的，这导致这些算法只针对部分场景有较好的重建效果。多源信息的引入可以使人体三维温度场重建***在不同的条件下使用合适的信息源，从而提高三维重建***的性能。
为了设计多源信息融合策略，本发明分析了不同种类信息的特点，从多源数据采集平台位姿估计算法流程和约束项构建两个方面进行优化。
物体表面温度信息受光照条件、测量角度和环境条件变化的影响较小，能在较长的图像序列中保持很好的一致性，一定程度上降低了位姿估计的难度，因此可以作为一种引导信息加入到三维热成像平台空间位姿估计的初始阶段，通过温度一致性约束使计算结果快速收敛到全局最优解的邻近区域。
深度信息提供了被测物体的空间位置信息和表面几何信息，通过深度信息构建两团点云的空间几何一致性约束被证明是一种可靠且有效的相机空间位姿估计方式，也是目前使用迭代最近邻法时主流的损失函数构建方法。但受到深度相机精度的限制和噪声的影响，多源信息数据采集平台获取的物体空间几何信息中存在一定的误差，导致位姿估计精度的下降。所以在快速收敛阶段结束后加入空间几何约束，可以进一步得到一个可靠的相机位姿粗略估计结果。
可见光图像中通常包含丰富的颜色纹理信息，能够很好的还原场景中的细节，因此构建图像间的可见光光度一致性约束可以实现相机位姿的高精度估计。但是丰富的细节信息会带来迭代导向性不强的问题，从而导致求解过程中迭代次数的剧增，且很容易陷入局部最优。与此同时，物体表面可见光信息的测量结果容易受到光照条件和测量角度的影响，只能在较短的图像序列中保持其一致性，应对长基线变换的能力略有不足。为了在提高人体温度三维模型重建精度的基础上规避可见光信息带来的不良影响，可以在得到相机空间位姿的粗略估计结果后将其加入到损失函数中，使迭代结果向更准确的数值逼近。
基于以上的分析，本发明从计算流程上将人体三维温度场重建算法划分为如图4所示的三个阶段：基于温度一致性的平台位姿快速初始化(201)、基于空间几何一致性的平台位姿粗略估计(202)和可见光光度一致性主导的平台位姿精调(203)。
步骤201：
在平台位姿快速初始化阶段，本发明通过最大化第i帧红外图像
Figure BDA0003162207070000121
和第i-1帧红外图像
Figure BDA0003162207070000122
的温度一致性来估计平台的空间位姿。如图5所示
Figure BDA0003162207070000123
为第i-1帧视角下在世界坐标系中产生的点云图中的一个顶点，第i帧中与其匹配的顶点为Vi(h)，则如式(20)所示。
Figure BDA0003162207070000124
Figure BDA0003162207070000131
式中，M为温度有效点集P中的元素个数，
Figure BDA0003162207070000132
为三维顶点的刚性变换，κ(v)表示将顶点v＝(vx,vy,vz)从三维空间投影到像素空间的过程。
Figure BDA0003162207070000133
Figure BDA0003162207070000134
式中，fx和fy为红外热像仪的焦距，(cx,cy)为红外热像仪的主点坐标。
因为式(20)是一个非线性最小二乘问题，因此可以使用高斯-牛顿法对其进行求解。空间刚性变换矩阵T为非线性变量，为了计算T的导数，本发明使用李群李代数将空间变换矩阵T的增量VT表示为一个6维向量ξ＝(α,β,λ,tx,ty,tz)T。则位姿估计第k次迭代的更新方式为：
Ti k＝VTTi k-1≈(I+ξ^)Ti k-1 (23)
式中，Ti k-1和Ti k分别为第k-1次和第k次迭代平台位姿的计算结果，ξ^为向量ξ的SE(3)李代数形式：
Figure BDA0003162207070000135
将式(23)和式(24)代入式(20)，可以将平台位姿快速初始化阶段的损失函数线性化为：
Figure BDA0003162207070000136
根据链式求导法则：
Figure BDA0003162207070000137
式中，Jκ(ψ)为函数κ(ψ)的雅克比矩阵可以从式(22)推导得到，Jψ(ξ)为函数ψ(ξ)的雅克比矩阵，可以从式(21)、式(23)和式(24)推导得到。Jfi和rfi分别表示损失函数Efi(ξ)的雅克比矩阵和残差项，因此可以根据式(27)求解ξ以实现优化函数Efi(ξ)的最小化。
Figure BDA0003162207070000138
经过不断的迭代更新平台位姿Ti，直至第k次和第k-1次迭代后损失函数Efi小于一定阈值则认为平台位姿快速初始化阶段完成并开始进入平台位姿粗略估计阶段。
步骤202：
在平台位姿粗略估计阶段，本发明主要通过最大化第i帧点云Vi与第i-1帧视角下的模型点云
Figure BDA0003162207070000141
的空间几何一致性来估计平台的空间位姿。快速初始化阶段已经将平台位姿迭代到了全局最优解附近，为了防止平台位姿在之后的迭代计算过程中发生偏离，本发明将第i帧红外图像
Figure BDA0003162207070000142
和第i-1帧红外图像
Figure BDA0003162207070000143
的温度一致性以一定权重的方式加入优化目标函数中建立几何与温度联合优化机制，联合优化损失函数如式(28)所示：
Figure BDA0003162207070000144
式中，Esg和Et分别表示几何一致性损失函数和温度一致性优化函数，ω表示温度一致性约束在损失函数中占有的权重且将ω设置为0.1。
空间几何一致性约束是通过最小化当前帧点云和模型点云之间匹配点对的点到平面距离实现的。如图6所示，前一帧视角下模型法向量图为
Figure BDA0003162207070000145
则空间顶点Vi(h)到其匹配点
Figure BDA0003162207070000146
所在模型平面的距离为：
Figure BDA0003162207070000147
因此几何一致性损失函数
Figure BDA0003162207070000148
的构建方式如式(30)所示。
Figure BDA0003162207070000149
式中，M为匹配点对集合O的元素个数。
Figure BDA00031622070700001410
为前一帧视角下模型法向量图，
Figure BDA00031622070700001411
Figure BDA00031622070700001412
和vi＝Vi(h)表示当前输入点云和第i-1帧模型点云中的一对匹配点。将式(23)和式(24)代入式(30)，可以得到空间几何一致性优化目标函数的线性化结果：
Figure BDA00031622070700001413
式中，
Figure BDA00031622070700001414
和
Figure BDA00031622070700001415
分别表示损失函数
Figure BDA00031622070700001416
的雅克比矩阵和残差项。
平台位姿粗略估计阶段的温度一致性优化目标函数
Figure BDA00031622070700001417
的构建与位姿快速初始化阶段类似，
通过式(33)求解ξ以实现联合优化函数Ecr的最小化：
Figure BDA00031622070700001418
式中，
Figure BDA0003162207070000151
经过不断的迭代更新平台位姿Ti，直至第k次和第k-1次迭代后损失函数
Figure BDA0003162207070000152
小于一定阈值则认为平台位姿粗略估计阶段完成。
步骤203：
在平台位姿精调阶段，本发明利用可见光图像中丰富的纹理信息，通过可见光光度一致性约束对平台位姿进行更加精细的调整。为了保证迭代方向的正确性和迭代结果的可靠性，本发明在这一阶段的优化中同时保留了空间几何一致性约束和温度一致性约束，构建了如式(34)所示的多源联合优化损失函数：
Figure BDA0003162207070000153
式中，
Figure BDA0003162207070000154
为空间几何一致性优化目标函数，
Figure BDA0003162207070000155
为温度一致性优化目标函数，
Figure BDA0003162207070000156
是其对应的权重，
Figure BDA0003162207070000157
为可见光光度一致性优化目标函数，
Figure BDA0003162207070000158
是其对应的权重。
可见光信息的有效性主要取决于重建场景的光照条件，为避免因为光照不良或者光照变化导致的重建失效问题，提高重建算法的鲁棒性，本发明在计算可见光光度一致性损失函数之前先进行可见光图像的质量判断，然后根据判断结果对可见光光度一致性损失函数的权重进行调整。
物体表面反射的可见光信息中同时包含了亮度信息和颜色信息。其中颜色信息是由物体表面的反射特性和入射光线波段、入射角度和辐射强度决定的，所以颜色信息相对于亮度信息有更强的不稳定性，容易导致相机位姿计算中的点云的误匹配，因此本发明使用亮度信息作为位姿精调的辅助信息。为了提取可见光信息中的亮度分量，完成可见光图像到亮度图像的转换，本发明通过色彩空间转换将人体三维热成像平台采集到的可见光图像从三原色色彩空间转换到YUV色彩空间并进行度提取。
本发明使用可见光亮度图像的平均亮度Bv(Y)和最大亮度差Cv(Y)实现可见光图像质量的量化，其计算方法如下：
Figure BDA0003162207070000159
Cv(Y)＝max(Y(x))-min(Y(x)) x∈Ω (37)
式中，Ω为可见光亮度图像的像素空间。
图像平均亮度Bv(Y)反映了可见光图像的整体亮度水平，当平均亮度Bv(Y)超出亮度有效范围(Btl:Bth)时，都应当降低可见光光度一致性损失函数的权重，以防止重建失效。
图像的最大亮度差Cv(Y)表示了图像中亮度分布的范围，当图像最大亮度差Cv(Y)高于阈值Ct时，可见光光度一致性损失函数的权重与Cv(Y)成正相关关系。因此平台空间位姿精调优化目标函数中，可见光光度一致性约束权重
Figure BDA00031622070700001510
的计算方法为：
Figure BDA00031622070700001511
式中，f(B)和g(C)分别为图像平均亮度Bv(Y)和最大亮度差Cv(Y)对应的权重分量，其计算方式如式(39)和式(40)所示。kB和kC分别为f(B)和g(C)的系数，因为平均亮度对图像质量的影响更大，因此本发明经验性的分别将kB和kC设置为4和2。
Figure BDA0003162207070000161
Figure BDA0003162207070000162
式中，H为亮度图像像素值的最大值，在本发明中H＝255。图7和图8分别展示了权重分量f(B)与平均亮度Bv(Y)，以及权重分量g(C)和最大亮度差Cv(Y)之间的函数关系。
可见光光度一致性优化目标函数
Figure BDA0003162207070000163
的构建方法如图9所示。使用第i帧平台位姿Ti将第i-1帧视角下在世界坐标系中产生点云图中的一个顶点
Figure BDA0003162207070000164
经过空间刚性变换转换到第i帧平台坐标系下，再使用相机内部参数将其投影到第i帧的图像坐标系中得到像素点u'，通过约束第i-1帧可见光亮度图像Yi-1与第i帧可见光亮度图像Yi中亮度的一致性来构建优化目标函数，即：
Figure BDA0003162207070000165
式中，N为可见光光度有效点集Q中的元素个数。将式(23)和式(24)代入式(39)对其进行线性化：
Figure BDA0003162207070000166
根据链式求导法则：
Figure BDA0003162207070000167
式中，Jκ(ψ)为函数κ(ψ)的雅克比矩阵可以从式(22)推导得到，Jψ(ξ)为函数ψ(ξ)的雅克比矩阵，可以从式(21)、式(23)和式(24)推导得到。
Figure BDA0003162207070000168
和
Figure BDA0003162207070000169
分别表示损失函数
Figure BDA00031622070700001610
的雅克比矩阵和残差项。
平台位姿精调阶段的空间几何一致性优化目标函数
Figure BDA00031622070700001611
和温度一致性优化目标函数
Figure BDA00031622070700001612
的构建与平台位姿粗略估计阶段类似。
通过线性化方法求解ξ以实现平台位姿精调阶段多源信息联合优化函数Efr的最小化：
Figure BDA0003162207070000171
式中，
Figure BDA0003162207070000172
经过不断的迭代更新平台位姿Ti，直至第k次和第k-1次迭代后损失函数Efr小于一定阈值则认为平台位姿精调阶段完成。
图10展示了针对人体三维热成像平台采集到的同一组数据，多种相机位姿估计算法在迭代计算过程中的残差变化。由图可见，使用温度信息和空间几何信息的T-ICP算法可以实现平台位姿的快速收敛，但最终的求解精度不高；结合了可见光信息和几何信息的RGB-ICP算法计算精度高，但结果收敛所需的迭代次数明显增加；本发明提出的基于多源信息融合的相机位姿估计算法在前期可以实现残差的快速下降，并在远小于RGB-ICP的迭代次数内得到了更精确的结果。
步骤300:
多源信息融合平台位姿估计要求多源信息之间有良好的匹配关系，但是多源传感器之间很难实现同时触发，从而导致数据采集过程中多源传感器之间外部参数的变化，进而对多源图像的配准结果引入误差。如图11、12所示，当人体三维热成像平台固定不动或者缓慢移动时，由于触发不同步带来的外部参数改变可以忽略，因此使用标定得到的相机外部参数依然可以有效的完成多源图像之间的配准。但是当人体三维热成像平台移动速度加快时，平台在相同的触发时间差中产生了更大的位姿变化，此时使用标定的相机外部参数不足以得到符合精度要求的多源图像配准结果。
为了解决这一问题，本发明提出使用帧间配准的方式对相机外部参数进行实时优化，以减小因相机运动导致的多源图像误匹配问题。
图13展示了人体三维热成像平台第i帧多源图像对的采集过程。深度相机的触发时刻为tdi，红外热像仪的触发时刻为tti，可见光相机的触发时刻为tvi。由于可见光相机和红外热像仪在平台数据采集过程中的行为相似，因此本发明使用红外热像仪为代表对多源数据采集过程中存在的外部参数变化问题进行分析。将平台运动状态下深度相机和红外热像仪第i帧的相对位姿标记为
Figure BDA0003162207070000173
根据图13所示，平台运动状态下的相机相对位姿由两部分组成，即平台搭建时确定的红外热像仪相对于深度相机的外部参数
Figure BDA0003162207070000174
和在tdi到tti之间深度相机的位姿变换
Figure BDA0003162207070000175
则有：
Figure BDA0003162207070000176
式中，
Figure BDA0003162207070000181
为固定值与平台的运动速度和空间位置无关，并且可以通过第2章中的相机标定过程得到，因此求解深度相机在tdi到tti时间内的空间位姿变换
Figure BDA0003162207070000182
是红外相机外部参数实时优化的关键。
为了提高算法的实时性，本发明提出使用前后两帧红外图像和当前帧的深度图像，通过温度一致性约束完成红外图像的帧间配准，从而完成红外热像仪的外部参数实时优化。
本发明构建帧间温度一致性约束优化目标函数的方式如图14所示。平台第i帧获取的点云图中的顶点在当前平台坐标系中的坐标为vi＝Vi(u)，通过式(48)将vi转换到第i-1帧红外热像仪相机坐标系下得到点vi-1：
Figure BDA0003162207070000183
式中，Ti-1和Ti分别为第i-1帧和第i帧的平台位姿，
Figure BDA0003162207070000184
表示第i-1帧红外热像仪的实时外部参数。根据红外热像仪的内部参数将vi-1投影到图像平面获取第i-1帧红外图像中与vi对应的像素点p。
然后根据第i帧红外热像仪的实时外部参数
Figure BDA0003162207070000185
将vi转换到第i帧红外热像仪的相机坐标系后通过内参矩阵将其投影至像素坐标系中获得点h，点h与点p形成前后两帧红外图像中的一对匹配点，所有M对匹配点对构成的集合记为S。由此得到红外热像仪的外部参数实时优化目标函数：
Figure BDA0003162207070000186
根据李群李代数将其线性化为：
Figure BDA0003162207070000187
式中，Jκ(ψ1)为函数κ(ψ1)的雅克比矩阵可以从式(22)推导得到，
Figure BDA0003162207070000188
为函数ψ1(ξe)的雅克比矩阵，可以从式(21)、式(50)和式(51)推导得到。Jet和ret分别表示损失函数Eet的雅克比矩阵和残差项，因此可以使用线性化方法求解ξe以实现优化函数Eet(ξe)的最小化。
Figure BDA0003162207070000189
经过不断迭代更新深度相机在tdi到tti时间内的空间位姿变换
Figure BDA00031622070700001810
直至第k次和第k-1次迭代后损失函数Eet小于一定阈值，此时红外热像仪的外部参数矩阵为
Figure BDA00031622070700001811
使用优化后的外部参数即可实现温度图像和深度图像的像素级匹配。
步骤400：
基于帧间配准的相机外部参数实时优化采用了深度相机位姿不变假设，即认为在对红外热像仪和可见光相机的外部参数进行实时优化时，深度相机的位姿是准确且确定的。但是按照目前的算法流程，经过相机外部参数实时优化得到的配准后的深度图像、温度图像和可见光图像只参与了温度三维模型的更新，而没有用以进行平台位姿估计。为了在人体温度三维模型重建过程中充分利用多源信息的优势，本发明采用交替迭代策略实现了基于多源信息融合的相机位姿估计和相机外部参数实时优化的有效结合。
本发明设计的交替迭代算法的具体流程如图15所示。完成空间点对初始匹配关系优化的第i帧多源信息输入后，首先通过平台位姿快速初始化阶段使平台位姿估计结果快速收敛到真实值附近，然后经过平台位姿粗略估计和平台位姿精调两个阶段得到相对准确的平台位姿Ti 0。如果Ti 0的精度不能达到要求，则使用当前计算得到的相机位姿对红外热像仪和可见光相机的外部参数进行实时优化，并根据计算结果对温度图像、可见光图像与深度图像的匹配关系进行优化，并将优化过的多源图像输入平台位姿粗略估计的计算流程中，以此实现平台位姿估计和相机外部参数优化的交替迭代。
图16直观的展示了第p次交替迭代过程中深度相机、红外相机和可见光相机位姿的变化。其中A为平台第i帧各相机位姿的真实值，由于触发时间不同步所以深度相机、红外热像仪和可见光相机的空间位姿分别为Tdi、Tti和Tvi。
Figure BDA0003162207070000191
和
Figure BDA0003162207070000192
分别表示红外热像仪和可见光相机的当前位姿，可以由其对应的外部参数
Figure BDA0003162207070000193
和
Figure BDA0003162207070000194
以及深度相机的当前位姿
Figure BDA0003162207070000195
计算得到：
Figure BDA0003162207070000196
Figure BDA0003162207070000197
由图16可知，交替迭代策略的实施对相机外部参数实时优化算法的计算流程不产生影响，但是由于红外热像仪和可见光相机外部参数改变量的加入，导致基于多源信息融合的平台位姿估计算法中前后两帧温度图像和可见光图像像素点匹配关系的改变，因此需要对该算法中的温度一致性优化目标函数和可见光光度一致性优化目标函数进行修正。
经过修正后的温度一致性优化目标函数为：
Figure BDA0003162207070000198
Figure BDA0003162207070000201
经过修正后的可见光光度一致性优化目标函数为：
Figure BDA0003162207070000202
步骤500：
在对温度三维模型进行初始化、更新和输出等操作时，需要通过一定的空间表示模型对温度三维模型的空间特征、温度特征和可见光特征进行表征和储存。因此，本发明在基于空间体素模型的TSDF空间表示模型的技术上进行改进，提出了一种完全适用于本发明人体温度三维模型重建的扩展TSDF空间表示模型。
本发明提出的扩展TSDF空间表示模型如图17所示。在空间模型初始化阶段，根据人体三维温度场构建的需求指定重建目标物体的空间大小为L×W×H,然后对目标空间的长宽高进行N等分得到一个N×N×N的体素空间，进而完成目标空间的体素化。体素空间中每一个体素的空间位置和尺寸是由体素中心点的空间坐标决定的。体素中同时存储了代表模型空间几何信息的截断符号距离值tsdf、温度信息IT和色彩信息IC＝(R,G,B)及其对应的几何权重wG、温度权重wT和色彩权重wC。
扩展TSDF模型使用截断符号距离函数(Truncated Signed Distance Function,TSDF)通过像素点距离模型表面的距离远近表示三维模型的表面几何信息。如图18所示，在使用深度图像更新三维模型的表面几何信息时，某一个空间体素的中心点坐标为
Figure BDA0003162207070000203
由深度相机获取的空间三维模型表面上与点
Figure BDA0003162207070000204
最接近的点为P，则空间点
Figure BDA0003162207070000205
所在体素的符号距离为：
Figure BDA0003162207070000206
式中，d(P)表示获取空间点P在世界坐标系中的深度坐标值。
由式(63)可知，sdf值越接近0的点距离三维模型的表面越近，而且当点
Figure BDA0003162207070000207
在三维模型表面之外时，其对应体素的sdf值为正值，当点
Figure BDA0003162207070000208
在三维模型内部时，其对应体素的sdf值为负值，因此在模型中提取sdf值为零的体素并对其进行插值即可确定三维模型表面的空间位置和几何特征。在实际使用过程中，距离三维模型表面较远的点对模型表面的表征能力十分有限，而且由于其sdf的绝对值较大，在占用计算资源的同时还容易因为边界问题等原因引入误差，因此在图19所示的sdf函数基础上引入阈值判断机制。当体素的sdf绝对值大于距离不确定度μ时，根据sdf值的正负符号分别将其设置为+μ和-μ，然后对所有的sdf值进行归一化处理，得到如图20所示的tsdf函数图像。
模型中体素的温度信息以单精度浮点数的形式存储为IT，记录体素所代表空间的摄氏温度。因为温度信息是灰度信息不利于人眼观察，为了在观察到温度三维模型的特征后在真实物体上快速定位，提高三维温度场模型重建结果的可视化效果，本发明在进行空间模型构建时同样记录了三维模型的色彩信息。每一个空间体素的色彩信息记录为IC，其中的R、G、B三个通道分别记录了三维模型表面颜色的红、绿、蓝三个色彩分量以确保物体颜色的真实性。
完成重建目标空间区域体素化之后，自动将空间中每一个体素的温度信息IT和色彩信息IC初始化为0和(0,0,0)，将tsdf值设置为-1，同时对体素中的几何权重wG、温度权重wT和色彩权重wC置零，以获得一个初始化的扩展TSDF空间表示模型。通过交替迭代算法获取每一帧的平台位姿和相机外部参数后，需要根据其计算结果将当前获取的三维模型表面信息、温度信息和色彩信息转换成临时TSDF模型，然后融合到全局的扩展TSDF模型中，实现三维模型数据的更新。
将第i帧的平台位姿估计结果标记为Ti，则中心点坐标为p的空间体素P的tsdf值计算式为：
Figure BDA0003162207070000211
Figure BDA0003162207070000212
Figure BDA0003162207070000213
式中，
Figure BDA0003162207070000214
表示对向量u进行取整，Di(x)表示第i帧深度图中与点p对应的像素点的深度值。由于现有传感器在物体边缘测量的深度值不准确，因此本发明将点云图中物体边缘对应体素当前的几何权重
Figure BDA0003162207070000215
设置为0。深度图中的轮廓使用式(67)进行提取：
Figure BDA0003162207070000216
式中，
Figure BDA0003162207070000217
为像素u附近5×5的窗口邻域，δ为边缘判断阈值。空间体素P的几何权重为：
Figure BDA0003162207070000218
将第i帧采集到的温度图标记为
Figure BDA0003162207070000219
则中心点坐标为p的空间体素P对应的温度信息为：
Figure BDA0003162207070000221
根据已知的现有技术，红外辐射测温的测量距离和测温角度等因素对测量结果都有影响。所以本发明对温度三维模型更新过程中的测量距离和测量角度进行修正。本发明在模型更新过程中舍弃平台工作距离范围之外的温度信息，则有：
Figure BDA0003162207070000222
根据已知的现有技术，非电解质材料长波红外辐射的表面发射率在法向角度小于60°时保持不变，当法向角度小于60°时则会急剧降低，因此本发明只保留了法向角度小于60°的温度信息：
Figure BDA0003162207070000223
式中，Vi和Ni分别表示第i帧的点云图和法向量图。
根据物体表面温度一致性假设，同一个空间点在不同视角下的温度值保持相对稳定，因此本发明在进行三维模型温度更新时对温度突变点进行去除，降低温度测量噪声对模型温度信息的影响：
Figure BDA0003162207070000224
式中，δT为温度突变阈值，本发明经验性的将其设置为10℃。由此可以得到空间体素P的温度权重：
Figure BDA0003162207070000225
将第i帧采集到的可见光图像标记为Ici，则中心点坐标为p的空间体素P对应的色彩信息为：
Figure BDA0003162207070000226
由于测量角度的变化往往伴随着光照条件的变换，因而对物体表面颜色的测量结果产生极大的影响，所以本发明更新三维模型色彩信息时，只选取了法向角度小于30°的测量结果以确保三维模型色彩信息的准确性：
Figure BDA0003162207070000227
为了降低测量噪声对模型色彩信息的影响，本发明同样剔除了色彩突变点：
Figure BDA0003162207070000228
式中，
Figure BDA0003162207070000229
表示第i帧可见光图像中的R、G、B三个分量。由此可以得到空间体素P的色彩权重：
Figure BDA0003162207070000231
获得由第i帧多源信息计算得到的临时TSDF模型后，通过以下式将其融合到全局TSDF模型中并实现三维模型数据的更新。
Figure BDA0003162207070000232
Figure BDA0003162207070000233
Figure BDA0003162207070000234
Figure BDA0003162207070000235
Figure BDA0003162207070000236
Figure BDA0003162207070000237
wη是为增加重建***鲁棒性，防止数据溢出而设置的体素权重最大值，本发明根据人体三维温度场重建的实际需求将其设置为2000。
本发明基于多源信息融合技术，在迭代最近邻法基础上提出了一套三维重建算法流程，实现了人体温度三维模型的快速准确重建。本发明设计了多源信息的融合策略，提高了三维重建算法的精度和鲁棒性。针对相机运动过程中存在的外部参数变化问题，本发明采取帧对帧的方式对相机外部参数进行实时优化，并提出使用交替迭代策略进行相机位姿预测和外部参数优化，在保证重建算法实时性的基础上进一步提高重建模型的精度。本发明在TSDF模型的基础上提出了温度三维模型，并设计了根据测温距离和测温角度自适应调整体素权重的模型更新策略，避免了多视角数据融合过程中容易产生的温度细节模糊问题，实现了人体三维温度场的准确构建与存储。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于多源信息融合的人体三维表面温度模型构建方法，其特征在于，包括步骤：
(1)输入包括深度相机、可见光相机和红外相机获得的多源图像；
(2)基于迭代最近邻法初始化空间点对匹配关系，且通过最大化第i帧红外图像和第i-1帧红外图像之间的温度一致性计算图像间的平面平移变换关系，对空间点对匹配关系进行优化；
(3)通过最大化第i帧红外图像
Figure FDA0003162207060000019
和第i-1帧红外图像
Figure FDA00031622070600000110
的温度一致性来初始化相机的空间位姿；
(4)通过最大化第i帧点云Vi与第i-1帧的点云
Figure FDA00031622070600000111
的空间几何一致性来估计相机的空间位姿；
(5)基于可见光光度一致性对步骤(4)中估计的相机位姿进一步地调整；
(6)通过帧间配准的方式，基于温度一致性对相机外部参数进行实时标定后，返回至步骤(4)，直至精度满足要求，则进入步骤(7)；
(7)使用输入图像的信息对现有的温度三维模型进行更新；
(8)使用光线投射算法获取当前相机视角下的模型数据并将其作为下一帧计算的参考数据。
2.如权利要求1所述的一种基于多源信息融合的人体三维表面温度模型构建方法，其中，在步骤(2)中，令第i帧和第i-1帧红外图像之间的平移向量ωi＝[tu tv]T，构建温度一致性损失函数：
Figure FDA0003162207060000011
式中，u为红外图像平面Ω中的像素坐标，Ii和Ii-1分别表示第i帧和第i-1帧的红外图像；使用高斯-牛顿法对其进行求解，在第k+1次迭代时，平移向量ωi的更新方法为：
Figure FDA0003162207060000012
式中，
Figure FDA0003162207060000013
和
Figure FDA0003162207060000014
分别表示第k+1次和第k次迭代平移向量ωi的计算结果；将式(1)和式(2)联立，并对温度一致性损失函数ET线性化：
Figure FDA0003162207060000015
式中，
Figure FDA0003162207060000016
表示第i帧的红外图像Ii在u和v两个方向的梯度图，使用3×3的索贝尔算子对图像梯度进行计算；rT是使用第k次迭代平移向量
Figure FDA0003162207060000017
计算得到的由图像中每一个像素点的残差值构成的向量；
Figure FDA0003162207060000018
是第k次迭代计算得到的rT的雅可比矩阵，Vω通过线性化之后的损失函数计算得到：
Figure FDA0003162207060000021
使用平移向量ωi对第i帧点云Vi和第i-1帧点云Vi-1中的空间点对匹配关系进行优化；其中Vi(ui)是点云Vi中像素点ui在当前相机坐标系下的三维顶点，点云Vi-1中与其匹配的三维顶点为Vi-1(hi-1)；在初始化过程中，首先将第i帧的相机空间位姿Ti设定为Ti-1，然后通过Ti-1将Vi(ui)转换到第i-1帧相机坐标系下，再将其投影到第i-1帧的像素坐标系中得到像素点
Figure FDA0003162207060000022
在像素坐标系中将
Figure FDA0003162207060000023
与平移向量ωi叠加得到hi-1，则与Vi(ui)匹配的点为
Figure FDA0003162207060000024
3.如权利要求2所述的一种基于多源信息融合的人体三维表面温度模型构建方法，其中，在步骤(3)中，构建温度一致性约束的损失函数：
Figure FDA0003162207060000025
式中，
Figure FDA0003162207060000026
为第i-1帧红外图像在世界坐标系中产生的点云图中的一个顶点，第i帧红外图像中与其匹配的顶点为Vi(h)；M为温度有效点集P中的元素个数，
Figure FDA0003162207060000027
为三维顶点的刚性变换，κ(v)表示将顶点v＝(vx,vy,vz)从三维空间投影到像素空间的过程：
Figure FDA0003162207060000028
Figure FDA0003162207060000029
式中，fx和fy为红外照相机的焦距，(cx,cy)为红外照相机的主点坐标；
使用李群李代数将空间变换矩阵T的增量VT表示为一个6维向量ξ＝(α,β,λ,tx,ty,tz)T；则第k次迭代的更新方式为：
Ti k＝VTTi k-1≈(I+ξ^)Ti k-1 (8)；
式中，Ti k-1和Ti k分别为第k-1次和第k次迭代相机位姿的计算结果，ξ^为向量ξ的SE(3)李代数形式：
Figure FDA00031622070600000210
将式(8)和式(9)代入式(5)，将损失函数线性化为：
Figure FDA00031622070600000211
根据链式求导法则有：
Figure FDA00031622070600000212
Figure FDA0003162207060000031
式中，Jκ(ψ)为函数κ(ψ)的雅克比矩阵从式(7)推导得到，Jψ(ξ)为函数ψ(ξ)的雅克比矩阵，从式(6)、式(8)和式(9)推导得到；Jfi和rfi分别表示损失函数Efi(ξ)的雅克比矩阵和残差项，因此根据式(12)求解ξ以实现Efi(ξ)的最小化；
Figure FDA0003162207060000032
经不断迭代更新Ti，直至第k次和第k-1次迭代后Efi小于预设阈值，进入步骤(4)。
4.如权利要求3所述的一种基于多源信息融合的人体三维表面温度模型构建方法，其中，在步骤(4)中，将第i帧红外图像
Figure FDA0003162207060000033
和第i-1帧红外图像
Figure FDA0003162207060000034
的温度一致性以权重的方式加入优化损失函数中，构建优化损失函数如式(13)：
Figure FDA0003162207060000035
式中，
Figure FDA0003162207060000036
和
Figure FDA0003162207060000037
分别表示几何一致性损失函数和温度一致性优化函数，
Figure FDA0003162207060000038
表示温度一致性约束在优化损失函数中占有的权重。
5.如权利要求4所述的一种基于多源信息融合的人体三维表面温度模型构建方法，其中，几何一致性损失函数是通过最小化当前帧点云和模型点云之间匹配点对的点到平面距离实现的。
6.如权利要求5所述的一种基于多源信息融合的人体三维表面温度模型构建方法，其中，空间顶点Vi(h)到其匹配点
Figure FDA0003162207060000039
所在模型平面的距离为：
Figure FDA00031622070600000310
式中，
Figure FDA00031622070600000311
为i-1帧视角下模型法向量图，则构建
Figure FDA00031622070600000312
如式(15)所示：
Figure FDA00031622070600000313
式中，M为匹配点对集合O的元素个数；
Figure FDA00031622070600000314
和vi＝Vi(h)分别表示当前输入点云和第i-1帧模型点云中的一对匹配点；
将式(8)和式(9)代入式(15)，得到
Figure FDA00031622070600000315
的线性化结果：
Figure FDA00031622070600000316
式中，
Figure FDA00031622070600000317
和
Figure FDA00031622070600000318
分别表示
Figure FDA00031622070600000319
的雅克比矩阵和残差项；
参照式(11)，线性化之后的
Figure FDA00031622070600000320
为：
Figure FDA0003162207060000041
通过式(18)求解ξ以实现Ecr的最小化：
Figure FDA0003162207060000042
式中，
Figure FDA0003162207060000043
经过不断迭代更新Ti，直至第k次和第k-1次迭代后
Figure FDA0003162207060000044
小于预设阈值则进入步骤(5)。
7.如权利要求6所述的一种基于多源信息融合的人体三维表面温度模型构建方法，其中，在步骤(5)中，构建如式(19)所示的多源联合优化损失函数：
Figure FDA0003162207060000045
式中，
Figure FDA0003162207060000046
为空间几何一致性优化目标函数，
Figure FDA0003162207060000047
为温度一致性优化目标函数，
Figure FDA0003162207060000048
是其对应的权重，
Figure FDA0003162207060000049
为可见光光度一致性优化目标函数，
Figure FDA00031622070600000410
是其对应的权重。
8.如权利要求7所述的一种基于多源信息融合的人体三维表面温度模型构建方法，其中，将采集到的可见光图像从三原色色彩空间转换到了YUV色彩空间，其中分量U和V表示色度，分量Y表示亮度，计算方式为：
Y＝0.299R+0.587G+0.114B；
式中，R、G和B分别表示三原色色彩空间中的红、绿、蓝三个色彩分量；
完成色彩转换和亮度提取后，使用可见光亮度图像的平均亮度Bv(Y)和最大亮度差Cv(Y)实现可见光图像质量的量化，其计算方式为：
Figure FDA00031622070600000411
Cv(Y)＝max(Y(x))-min(Y(x))x∈Ω；
式中，Ω为可见光亮度图像的像素空间；
则
Figure FDA00031622070600000412
的计算方法为：
Figure FDA00031622070600000413
式中，f(B)和g(C)分别为图像平均亮度Bv(Y)和最大亮度差Cv(Y)对应的权重分量，其计算方式如式(21)和式(22)所示；kB和kC分别为f(B)和g(C)的系数；
Figure FDA00031622070600000414
Figure FDA0003162207060000051
式中，H为亮度图像像素值的最大值，设H＝255；
构建
Figure FDA0003162207060000052
为：
Figure FDA0003162207060000053
式中，N为可见光光度有效点集Q中的元素个数；将式(8)和式(9)代入式(21)对其进行线性化：
Figure FDA0003162207060000054
根据链式求导法则：
Figure FDA0003162207060000055
式中，Jκ(ψ)为函数κ(ψ)的雅克比矩阵，从式(7)推导得到，Jψ(ξ)为函数ψ(ξ)的雅克比矩阵，从式(6)、式(8)和式(9)推导得到；
Figure FDA0003162207060000056
和
Figure FDA0003162207060000057
分别表示损失函数
Figure FDA0003162207060000058
的雅克比矩阵和残差项；
参照式(16)，线性化之后的
Figure FDA0003162207060000059
为：
Figure FDA00031622070600000510
参照式(11)，线性化之后的
Figure FDA00031622070600000511
为：
Figure FDA00031622070600000512
将式(24)、式(25)和式(26)代入到式(19)中，求解ξ以实现Efr的最小化：
Figure FDA0003162207060000061
式中，
Figure FDA0003162207060000062
经过不断迭代更新Ti，直至第k次和第k-1次迭代后Efr小于预设阈值则进入步骤(6)。
9.如权利要求8所述的一种基于多源信息融合的人体三维表面温度模型构建方法，其中，在步骤(6)中，以深度图像为基准，使用相机外部参数将根据深度图像生成的点云经过空间刚性变换转换到红外相机和可见光相机的相机坐标系中，然后将其投影到相应的图像坐标系中实现图像间的对应。
10.如权利要求9所述的一种基于多源信息融合的人体三维表面温度模型构建方法，其中，红外相机相对于深度相机的外部参数
Figure FDA0003162207060000063
和在tdi到tti之间深度相机的位姿变换
Figure FDA0003162207060000064
则有：
Figure FDA0003162207060000065
第i帧获取的点云图中的顶点在当前相机坐标系中的坐标为vi＝Vi(u)，通过式(29)将vi转换到第i-1帧红外相机坐标系下得到点vi-1：
Figure FDA0003162207060000066
式中，Ti-1和Ti分别为第i-1帧和第i帧的相机位姿，
Figure FDA0003162207060000067
表示第i-1帧红外相机的实时外部参数；根据红外相机的内部参数将vi-1投影到图像平面获取第i-1帧红外图像中与vi对应的像素点p；
根据第i帧红外热像仪的实时外部参数
Figure FDA0003162207060000068
将vi转换到第i帧红外相机的相机坐标系后通过内参矩阵将其投影至像素坐标系中获得点h，点h与点p形成前后两帧红外图像中的一对匹配点，所有M对匹配点对构成的集合记为S；由此得到红外相机的外部参数实时优化目标函数：
Figure FDA0003162207060000069
根据李群李代数将红外相机外部参数矩阵的增量VT转换为一个六维向量ξe＝(α,β,λ,tx,ty,tz)T；则红外相机外部参数实时优化第k次迭代的更新方式为：
Figure FDA00031622070600000610
式中，
Figure FDA0003162207060000071
和
Figure FDA0003162207060000072
分别为第k-1次和第k次迭代得到的红外相机外部参数变化量的计算结果，
Figure FDA0003162207060000073
为向量ξe的SE(3)李代数形式：
Figure FDA0003162207060000074
结合式(29)和式(30)，将Eet线性化为：
Figure FDA0003162207060000075
式中，Jκ(ψ1)为函数κ(ψ1)的雅克比矩阵从式(7)推导得到，
Figure FDA0003162207060000076
为函数ψ1(ξe)的雅克比矩阵，从式(6)、式(31)和式(32)推导得到；Jet和ret分别表示损失函数Eet的雅克比矩阵和残差项；根据式(34)求解ξe以实现Eet(ξe)的最小化；
Figure FDA0003162207060000077
经过不断迭代更新深度相机在tdi到tti时间内的空间位姿变换
Figure FDA0003162207060000078
直至第k次和第k-1次迭代后Eet小于预设阈值，此时红外相机的外部参数矩阵为
Figure FDA0003162207060000079
使用优化后的外部参数实现温度图像和深度图像的匹配；
深度相机在自身触发时刻tdi到可见光相机触发时刻tvi之间的空间位姿变换为
Figure FDA00031622070600000710
则可见光相机的实时外部参数为：
Figure FDA00031622070600000711
将第i帧和第i-1帧可见光亮度图像分别标记为
Figure FDA00031622070600000712
和
Figure FDA00031622070600000713
两幅图像中的N对匹配点对构成的集合标记为W，构建可见光相机的外部参数实时优化目标函数Eev为：
Figure FDA00031622070600000714
式(35)的线性化结果为：
Figure FDA00031622070600000715
根据式(37)求解ξe以实现Eev(ξe)的最小化：
Figure FDA0003162207060000081
不断迭代更新深度相机在tdi到tvi时间内的空间位姿变换
Figure FDA0003162207060000082
直至第k次和第k-1次迭代后损失函数Eev小于预设阈值，此时红外相机的外部参数矩阵为
Figure FDA0003162207060000083
使用优化后的外部参数实现可见光图像和深度图像的匹配。
CN202110794691.7A 2021-07-14 2021-07-14 一种基于多源信息融合的人体三维表面温度模型构建方法 Active CN113706707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110794691.7A CN113706707B (zh) 2021-07-14 2021-07-14 一种基于多源信息融合的人体三维表面温度模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110794691.7A CN113706707B (zh) 2021-07-14 2021-07-14 一种基于多源信息融合的人体三维表面温度模型构建方法

Publications (2)

Publication Number Publication Date
CN113706707A true CN113706707A (zh) 2021-11-26
CN113706707B CN113706707B (zh) 2024-03-26

Family

ID=78648522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110794691.7A Active CN113706707B (zh) 2021-07-14 2021-07-14 一种基于多源信息融合的人体三维表面温度模型构建方法

Country Status (1)

Country Link
CN (1) CN113706707B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998514A (zh) * 2022-05-16 2022-09-02 聚好看科技股份有限公司 一种虚拟角色的生成方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998514A (zh) * 2022-05-16 2022-09-02 聚好看科技股份有限公司 一种虚拟角色的生成方法及设备

Also Published As

Publication number Publication date
CN113706707B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
Ishikawa et al. Lidar and camera calibration using motions estimated by sensor fusion odometry
Lv et al. LCCNet: LiDAR and camera self-calibration using cost volume network
CN112902953B (zh) 一种基于slam技术的自主位姿测量方法
Park et al. Elastic lidar fusion: Dense map-centric continuous-time slam
CN114399554B (zh) 一种多相机***的标定方法及***
CN109712172A (zh) 一种初始位姿测量结合目标追踪的位姿测量方法
WO2006127713A2 (en) A fast 2d-3d image registration method with application to continuously guided endoscopy
Yan et al. Dense visual SLAM with probabilistic surfel map
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN110599578A (zh) 一种真实感三维彩色纹理重建方法
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
Afzal et al. Rgb-d multi-view system calibration for full 3d scene reconstruction
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及***
JP3668769B2 (ja) 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法
CN113706707B (zh) 一种基于多源信息融合的人体三维表面温度模型构建方法
Munoz et al. Point-to-hyperplane RGB-D pose estimation: Fusing photometric and geometric measurements
CN115222905A (zh) 基于视觉特征的空地多机器人地图融合方法
CN113469886B (zh) 一种基于三维重构的图像拼接方法
Batlle et al. Photometric single-view dense 3D reconstruction in endoscopy
Dai et al. Multi-spectral visual odometry without explicit stereo matching
Nirmal et al. Homing with stereovision
Herau et al. MOISST: Multimodal Optimization of Implicit Scene for SpatioTemporal Calibration
Paudel et al. 2D-3D camera fusion for visual odometry in outdoor environments
Hoegner et al. Fusion of 3D point clouds with tir images for indoor scene reconstruction
RU2692970C2 (ru) Способ калибровки видеодатчиков многоспектральной системы технического зрения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant