CN107862737A - 一种稳健的非刚性运动重建方法 - Google Patents
一种稳健的非刚性运动重建方法 Download PDFInfo
- Publication number
- CN107862737A CN107862737A CN201711006415.XA CN201711006415A CN107862737A CN 107862737 A CN107862737 A CN 107862737A CN 201711006415 A CN201711006415 A CN 201711006415A CN 107862737 A CN107862737 A CN 107862737A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- rigid
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000033001 locomotion Effects 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract 1
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种稳健的非刚性运动重建方法，涉及计算机视觉中的三维重建领域，特别是涉及一种稳健的非刚性运动方法。本发明方法解决了现有技术中需要不断调试正交离散余弦基个数K的值以获得接近真值的重建结果；使得其在真实的非刚性重建应用中减少了难以使用的缺陷；在不需要预先设定或者调试正交离散余弦基个数K的前提下，通过计算多个矫正基，统计获得重建结果，增强了基于轨迹基的非刚性重建算法的适用性和稳定性。
Description
技术领域
本发明涉及计算机视觉中的三维重建领域，特别是涉及一种稳健的非刚性运动方法。
背景技术
在计算机视觉领域中，三维重建是指从一系列二维图像测量中恢复物体或者物体运动的结构，其中包括刚性物体和非刚性物体的重建。非刚性物体运动的重建有着非常广泛的应用场景，也一直是计算机视觉领域的热点问题，在虚拟现实、人机交互等方面都有重要的应用价值。非刚性运动的重建难点主要在于：运动改变了原有刚性物体在图像上的二维投影之间秩为固定的关系，增加了重建模型的参数，并且模型参数的数目会随着时间的增加而增加，导致非刚性运动重建成为一个病态问题。人脸肌肉的变化、心脏的跳动、树叶的舞动、布块的抖动、流体的运动等都属于非刚性运动。随着其非刚性程度越高，其病态程度越甚，运动恢复的难度就越大。
本世纪初，Bregler等人提出采用形状基的线性组合来近似人脸表情变化的三维结构，第一次为少数的人脸表情重建提出了基本可行的方法。在2008年Akhter等提出一种基于轨迹空间的重建思想，第一次为病态程度更高的人体运动非刚性重建展示了合理的结果。他们证明了轨迹空间与形状空间的对偶性，并利用正交离散余弦基的线性组合对非刚性物体轨迹进行逼近，对非刚性物体运动的重建结果有了很大的提升。该种方法需要预先设定正交离散余弦基的个数K，K的个数将直接影响重建的结果，所以大多的实验结果需要不断调试K的值，以获得接近真值的重建结果。这使得其在真实的非刚性重建应用中难以使用。
发明内容
本发明的目的在于克服现有技术的不足，提供一种稳健的非刚性重建方法。提出的方法不需要预先设定或者调试正交离散余弦基的个数，却可以保证获得一个良好的重建结果，增强了该算法适用性。
本发明的技术方案是一种稳健的非刚性运动重建方法，该方法包括：
步骤1：已知图像序列的二维特征点测量矩阵W，W的大小为2F×p,其中F为图像序列的帧数，p为特征点的个数；对W进行如下的中心化：首先求取W的行平均值mi(i＝1...,2F),将W的第Wi行的每个元素减去行均值mi，获得中心化的W′；
步骤2：假定2F＞p，将W′进行SVD分解，获得W′＝UDV，其中U的大小为2F×p，D的大小为p×p,V的大小为p×p；取令其中U:,1:3K表示U的前3K列，D1:3K,1:3K表示D的前3K行前3K列的元素所构成的矩阵，表示V的前3K行元素的转置；
步骤3：生成正交离散余弦基；将离散余弦基表示为其中是一个F维的向量，j＝1,...,K，将即第一个基向下平移2K-2，第2到K个基向上平移2；形状个数初始化n＝0；
步骤4：令j＝1，执行下列步骤：利用非线性LM算法最优化下列目标函数：
表示的第2i-1:2i行元素，大小为2×3K,θi,j为第j个基中的第i维元素；初始化3K×3的q为全1阵，非线性优化直到目标函数收敛，即误差小于e-10,或者迭代次数大于2000，终止优化迭代，得到近似最优的qj，当目标函数返回值大于阈值δ时，令转至步骤7；
步骤5：计算相机旋转矩阵其大小为2×3，将生成的Ri矩阵排列成
步骤6：根据下列步骤计算形状矩阵S：
步骤6.1计算G＝Ρ·Θ；
步骤6.2计算Sj＝Θ·(GT·G)-1·GT·W；
步骤6.3形状个数n＝n+1；
步骤7：令j＝2:K，重复步骤4，5，6，得到S2,S3,...,SK；
步骤8：计算非刚性物体的3F×p形状矩阵
本发明提出的方法提高了基于轨迹基的非刚性重建方法稳定性，使其在无需设定轨迹基个数的条件下，仍然可以得到良好的重建结果，增强了基于轨迹基的非刚性重建算法的适用性。
附图说明
图1为稳健非刚性重建方法的流程图；
图2为本发明提出的方法重建非刚性动作pickup的结果示意图；
图3为本发明提出的方法重建非刚性动作stretch的结果示意图。
具体实施方式
对于产品发明应描述产品构成、电路构成或者化学成分、各部分之间的相互关系、工作过程或操作步骤；对于方法发明应写明步骤、参数、工艺条件等，可提供多个具体实施方式。
本实施例中选择MotionCapture中的Pickup和Stretch两个数据集进行重建验证。这两个数据集一共有人体41个点，因此K最大取13。其中Pickup一共有357帧的三维动作，Stretch一共有1110帧的三维动作，这些三维动作被用来作为形状真值数据Sgt。首先，我们虚拟生成正交投影的相机模型Rgt，围绕人体运动每次以5度角度旋转，生成264帧二维测量投影W。Sgt，Rgt作为真值数据衡量提出算法的稳定性。依据W，推导求解相机矩阵R和非刚性三维运动S。图1是本发明中实施稳健非刚性重建方法的流程图。在实验中，设置的优化终止条件最小误差为e-10为或者最大迭代次数为2000。图2、图3是在该上述两个数据集上重建的结果。其中蓝色的圆圈为真值数据，红色的点为提出方法的重建结果。图2中选择展示的是在Pickup序列中第1帧，第119帧，第238帧，第357帧的重建结果。在Pickup数据集上提出方法的形状重建的平均误差为0.183，比“基于轨迹基的方法”的形状重建平均误差0.237小了0.052。图3中选择展示的是在Stretch序列中第1帧，第370帧，第740帧，第1110帧的重建结果。在Stretch数据集上提出方法的形状重建的平均误差为0.109，比“基于轨迹基的方法”的形状重建平均误差0.1194小了0.01。
Claims (1)
1.一种稳健的非刚性运动重建方法，该方法包括：
步骤1：已知图像序列的二维特征点测量矩阵W，W的大小为2F×p,其中F为图像序列的帧数，p为特征点的个数；对W进行如下的中心化：首先求取W的行平均值mi(i＝1...,2F),将W的第Wi行的每个元素减去行均值mi，获得中心化的W′；
步骤2：假定2F＞p，将W′进行SVD分解，获得W′＝UDV，其中U的大小为2F×p，D的大小为p×p,V的大小为p×p；取令其中U:,1:3K表示U的前3K列，D1:3K,1:3K表示D的前3K行前3K列的元素所构成的矩阵，表示V的前3K行元素的转置；
步骤3：生成正交离散余弦基；将离散余弦基表示为其中是一个F维的向量，j＝1,...,K，将即第一个基向下平移2K-2，第2到K个基向上平移2；形状个数初始化n＝0；
步骤4：令j＝1，执行下列步骤：利用非线性LM算法最优化下列目标函数：
<mrow>
<munder>
<mi>min</mi>
<mi>q</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mover>
<mi>&Lambda;</mi>
<mo>^</mo>
</mover>
<mrow>
<mn>2</mn>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
<mo>:</mo>
<mn>2</mn>
<mi>i</mi>
<mo>,</mo>
<mo>:</mo>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
</mrow>
<msub>
<mi>&theta;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mover>
<mi>&Lambda;</mi>
<mo>^</mo>
</mover>
<mrow>
<mn>2</mn>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
<mo>:</mo>
<mn>2</mn>
<mi>i</mi>
<mo>,</mo>
<mo>:</mo>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
</mrow>
<msub>
<mi>&theta;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>-</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
</mrow>
表示的第2i-1:2i行元素，大小为2×3K,θi,j为第j个基中的第i维元素；初始化3K×3的q为全1阵，非线性优化直到目标函数收敛，即误差小于e-10,或者迭代次数大于2000，终止优化迭代，得到近似最优的qj，当目标函数返回值大于阈值δ时，令转至步骤7；
步骤5：计算相机旋转矩阵其大小为2×3，将生成的Ri矩阵排列成
步骤6：根据下列步骤计算形状矩阵S：
步骤6.1计算G＝Ρ·Θ；
步骤6.2计算Sj＝Θ·(GT·G)-1·GT·W；
步骤6.3形状个数n＝n+1；
步骤7：令j＝2:K，重复步骤4，5，6，得到S2,S3,...,SK；
步骤8：计算非刚性物体的3F×p形状矩阵
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711006415.XA CN107862737B (zh) | 2017-10-25 | 2017-10-25 | 一种稳健的非刚性运动重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711006415.XA CN107862737B (zh) | 2017-10-25 | 2017-10-25 | 一种稳健的非刚性运动重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107862737A true CN107862737A (zh) | 2018-03-30 |
| CN107862737B CN107862737B (zh) | 2019-08-13 |
Family
ID=61696190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711006415.XA Expired - Fee Related CN107862737B (zh) | 2017-10-25 | 2017-10-25 | 一种稳健的非刚性运动重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107862737B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675486A (zh) * | 2019-08-28 | 2020-01-10 | 电子科技大学 | 一种非刚性人体运动的频域重建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
| CN103606189A (zh) * | 2013-11-19 | 2014-02-26 | 浙江理工大学 | 一种面向非刚体三维重建的轨迹基选择方法 |
| US9196063B2 (en) * | 2013-05-02 | 2015-11-24 | Korea Advanced Institute Of Science And Technology | Super-resolution apparatus and method |
| CN106780726A (zh) * | 2016-12-23 | 2017-05-31 | 陕西科技大学 | 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法 |
-
2017
- 2017-10-25 CN CN201711006415.XA patent/CN107862737B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
| US9196063B2 (en) * | 2013-05-02 | 2015-11-24 | Korea Advanced Institute Of Science And Technology | Super-resolution apparatus and method |
| CN103606189A (zh) * | 2013-11-19 | 2014-02-26 | 浙江理工大学 | 一种面向非刚体三维重建的轨迹基选择方法 |
| CN106780726A (zh) * | 2016-12-23 | 2017-05-31 | 陕西科技大学 | 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHENG, YL等: "Structure from Motion Blur in Low Light", 《2011 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 程建敏 等: "基于特征点运动轨迹的非刚体三维运动恢复算法研究", 《工业控制计算机 》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675486A (zh) * | 2019-08-28 | 2020-01-10 | 电子科技大学 | 一种非刚性人体运动的频域重建方法 |
| CN110675486B (zh) * | 2019-08-28 | 2023-03-07 | 电子科技大学 | 一种非刚性人体运动的频域重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107862737B (zh) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103400402B (zh) | 基于低秩结构稀疏的压缩感知mri图像重建方法 | |
| CN102509333B (zh) | 基于动作捕获数据驱动的二维卡通表情动画制作方法 | |
| CN104915978B (zh) | 基于体感相机Kinect的真实感动画生成方法 | |
| CN106651926A (zh) | 一种基于区域配准的深度点云三维重建方法 | |
| CN110188700B (zh) | 基于分组回归模型的人体三维关节点预测方法 | |
| CN110139046B (zh) | 一种基于张量的视频帧合成方法 | |
| CN110188667B (zh) | 一种基于三方对抗生成网络的人脸摆正方法 | |
| CN104867119A (zh) | 基于低秩矩阵重建的结构性缺失图像填充方法 | |
| CN112164130B (zh) | 基于深度对抗网络的视频-动画风格迁移方法 | |
| CN110930500A (zh) | 一种基于单视角视频的动态头发建模方法 | |
| Cho et al. | Complex non-rigid 3D shape recovery using a procrustean normal distribution mixture model | |
| CN112184547B (zh) | 红外图像的超分辨率方法及计算机可读存储介质 | |
| CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN107316005A (zh) | 基于稠密轨迹核协方差描述子的行为识别方法 | |
| Yang et al. | Spatio-temporal reconstruction for 3D motion recovery | |
| Hu et al. | Rtsrgan: Real-time super-resolution generative adversarial networks | |
| CN107862737A (zh) | 一种稳健的非刚性运动重建方法 | |
| CN105243636A (zh) | 一种基于mrls-tps的图像变形方法及*** | |
| Wang et al. | Cca-net: A lightweight network using criss-cross attention for csi feedback | |
| CN114005046A (zh) | 基于Gabor滤波器和协方差池化的遥感场景分类方法 | |
| CN103606189B (zh) | 一种面向非刚体三维重建的轨迹基选择方法 | |
| CN108550111A (zh) | 一种基于多级字典学习的残差实例回归超分辨重建方法 | |
| CN106447771B (zh) | 花朵开放过程的重建方法及装置 | |
| Li et al. | Preim3d: 3d consistent precise image attribute editing from a single image | |
| Zuo et al. | Research on image super-resolution algorithm based on mixed deep convolutional networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190813 |