CN107330930A - 三维图像深度信息提取方法 - Google Patents

三维图像深度信息提取方法 Download PDF

Info

Publication number
CN107330930A
CN107330930A CN201710502470.1A CN201710502470A CN107330930A CN 107330930 A CN107330930 A CN 107330930A CN 201710502470 A CN201710502470 A CN 201710502470A CN 107330930 A CN107330930 A CN 107330930A
Authority
CN
China
Prior art keywords
pixel
formula
image
depth
max
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710502470.1A
Other languages
English (en)
Other versions
CN107330930B (zh
Inventor
邓浩
于荣
陈树强
余金清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinjiang Tide Photoelectric Technology Co Ltd
University of Electronic Science and Technology of China
Original Assignee
Jinjiang Tide Photoelectric Technology Co Ltd
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinjiang Tide Photoelectric Technology Co Ltd, University of Electronic Science and Technology of China filed Critical Jinjiang Tide Photoelectric Technology Co Ltd
Priority to CN201710502470.1A priority Critical patent/CN107330930B/zh
Publication of CN107330930A publication Critical patent/CN107330930A/zh
Application granted granted Critical
Publication of CN107330930B publication Critical patent/CN107330930B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种三维对象深度提取方法，解决目前3D图像深度信息提取过程中算法过于复杂的问题。该三维对象深度提取方法，通过计算二维平面图像中每个元素图像中相邻像素的相似度，进而得到所述像素的深度。该提取方法是一种快速准确的三维物体深度提取方法，考虑了综合成像(II)和合成孔径积分成像，通过假设3D对象是由许多方面构成的表面，基于Patch‑Match算法开发了深度提取的数学框架。本申请还公开了采用上述三维对象深度提取方法的装置。

Description

三维图像深度信息提取方法
技术领域
本发明涉及光学信息工程领域的信息提取技术，特别涉及三维图像深度信息提取的技术。
背景技术
作为下一代显示技术，近年来三维(3D)成像技术的飞速发展。综合成像(II)(英文为：Integrated imaging(II))涉及其高分辨率和全视差。它与传统的图像处理技术(如超分辨率和图像匹配)兼容。为了实现3D成像和显示。综合成像(II)需要来自3D对象(称为元素图像)的不同视角，这些对象通常由通用综合成像(II)***中的小透镜阵列拾取。由于使用标准2D图像，可以使用具有小透镜阵列或廉价成像器阵列的单个便宜的相机来构建多尺度3D成像***。现有技术已经实现了许多研究成果，包括3D显示和自动目标识别。
深度提取被称为综合成像(II)的最重要的问题之一。许多研究者已经注意到综合成像(II)的深度提取。然而，现有技术已经提出的方法存在的缺点是低分辨率元素图像或复杂的算法。
发明内容
根据本申请的一个方面，提出一种三维图像深度信息的提取方法，解决目前三维图像深度信息提取过程中算法过于复杂的问题。该提取方法是一种快速准确的三维物体深度提取方法，考虑了综合成像(II)和合成孔径积分成像(英文为：synthetic apertureintegral imaging)，通过假设三维对象是由许多方面构成的表面，基于Patch-Match算法开发了深度提取的数学框架。
所述三维对象深度提取方法，通过计算二维平面图像中每个元素图像中相邻像素的相似度，进而得到所述像素的深度。
优选地，在计算二维平面图像中每个元素图像中像素的相似度时，假设相邻像素在同一平面上，并用多个小平面对表面进行建模。
优选地，所述计算二维平面图像中每个元素图像中相邻像素的相似度，采用相邻像素传播和随机优化的多循环算法。
优选地，包括将横向像素初始化为随机平面和迭代计算相邻像素的相似度的步骤。
进一步优选地，所述将横向像素初始化为随机平面，包括步骤：
将横向像素初始化为随机平面；
每个像素的初始深度设定为随机值，通过每个像素的表面的法线矢量被设置为随机单位向量。
进一步优选地，所述将横向像素初始化为随机平面，包括如下过程：
通过所述横向像素的深度坐标的平面，由式(5)表示，
z＝f1▽px+f2▽py+f3 式(5)
其中，z为所述横向像素的深度坐标，和px和py为随机平面，f 1、f2和f 3分别如式(6-1)、式(6-2)和式(6-3)所示，
f1＝-n1/n3 式(6-1)
f2＝-n2/n3式(6-2)
f3＝(n1·x0+n2·y0+n3·z0)/n3 式(6-3)
式(6-1)、式(6-2)和式(6-3)中，n1、n2和n3是标量、是由如式(7)所示的数值向量表示最小聚合成本所在的所有可能平面，x0和y0分别为初始化的所述横向像素的坐标数值，z0为初始化的所述横向像素的初始深度值，
式(7)中m由式(8)提供，
式(8)中，w用于实现自适应加权，w由式(9)提供；E表示相似性计算因素，E由式(10)提供；▽表示梯度值，Wp表示集中在p的一个方形窗口，
式(9)中，||Ip-Iq||表示两相邻像素p和q间的距离，p为横向像素，q为与p在同一平面内的相邻像素，
E＝α||Ii-Ij||+(1-α)||▽Ii-▽Ij|| 式(10)
式(10)中，I是元素图像中像素的强度，下标i，j是元素图像的索引，Ii，Ij分别表示第i，第j个元素图像中的相应像素的强度，Ii和Ij将投射到相同的空间点，Ii和Ij的坐标由式(11)计算得到，||Ii-Ij||为RGB空间中的Ii和Ij的颜色的曼哈顿距离，▽Ii和▽Ij是像素的灰度值梯度，||▽Ii-▽Ij||表示在Ii和Ij计算的灰度梯度的绝对差，α是没有单位的权重因子，用于平衡颜色和渐变项的影响；
式(11)中，ui是每个元素图像中对应于坐标为y和z的点的像素的局部坐标。
作为一个具体的实施方式，所述方法在使用综合成像(II)***的计算机上执行。
进一步优选地，所述迭代计算相邻像素的相似度，包括步骤：
a、初始化一个随机平面内的一个横向像素并计算其深度坐标和向量值，计算其聚合成本，将此聚合成本作为参考聚合成本；
b、计算与步骤a中横向像素在同一平面内的任意一相邻像素的聚合成本；
c、比较步骤a中参考聚合成本与步骤b中相邻像素的聚合成本；
d.将步骤c中比较小的聚合成本对应像素作为新的参考值；
e.将步骤d中新的参考值对应像素设为与该对比参考值的对应像素左上相邻；
f.设定条件：步骤d中新的参考值对应深度值在最大允许范围内；
g.如果步骤f条件成立，则循环执行步骤a到步骤f；
l.步骤f条件不成立，将最后一次循环步骤e中作为图像最左边像素；
m.在步骤l的基础上，图像右下进行下降偶次迭代；
n.根据步骤m的迭代次数计算每个像素的计算次数。
进一步优选地，所述迭代计算相邻像素的相似度，包括空间传播和平面精修的步骤；
所述空间传播的步骤中，相邻像素点设定为在同一个平面上，首先由式(8)评估不同情况的成本m，
式(8)中，p表示当前像素，fp是其对应的平面的向量，q是p的相邻像素，在p(x0，y0)下分别用fp和fq计算，以评估这两种情况的成本；检查条件如式(12)所示，
m(x0，y0，fp')<m(x0，y0，fp)； 式(12)
式(12)中的和分别由式(8)得到；
如果式(12)所示的表达式成立，则fq被接受为p的新向量，即fp＝fq；
在奇数迭代中，q是左边和上边界；
在偶数迭代中，q是右边界和下边界；
所述平面精修的步骤中，将fp转换为法向量np，两个参数▽z和▽n被定义为分别限制z0和n的最大允许变化，z0'计算为z0'＝z0+▽z，其中▽z位于[-▽zmax，▽zmax]，并且n'＝u(n+▽n)，u()表示计算单位向量，▽n位于[-▽nmax，▽nmax]；
最后，通过p和n'得到一个新的fp'，如果m(x0，y0，fp')<m(x0，y0，fp)，则fp＝fp'；
所述平面精修的步骤中，从设置▽zmax＝maxdisp/2开始，其中maxdisp是允许的最大视差，▽nmax＝1，每次细化后，参数将更新为▽zmax＝▽zmax/2、▽nmax＝▽nmax/2；直到▽zmax<resolution/2，得到最小化的分辨率；对于奇数迭代，从图像的左侧开始，向右下进行偶数迭代；
迭代后获得相邻像素的相似度，进而得到所述三维对象的深度。
进一步优选地，z0以固定值初始化为所有像素，并且在迭代之前添加精修步骤。
根据本申请的一个方面，提供一种由二维图片获得三维图像信息的装置，解决目前3D图像深度信息提取过程中算法过于复杂的问题。该由二维图片获得三维图像信息的装置是一种快速准确的三维物体深度提取装置，考虑了综合成像(II)和合成孔径积分成像(英文为：synthetic aperture integral imaging)，通过假设3D对象是由许多方面构成的表面，基于Patch-Match算法开发了深度提取的数学框架。
所述由二维图片获得三维图像信息的装置包括图片采集单元，图像存储单元和图像处理单元；
所述图片采集单元和图像存储单元电连接，所述图像存储单元和图像处理单元电连接；
所述图像处理单元采用上述所述三维对象深度提取方法中的至少一种，获得二维图片中对象的深度信息，建立三维图像。
本发明所述技术方案的有益效果包括但不限于：
(1)本申请提出了一种三维对象深度提取的新计算方法，该方法计算每个元素图像中像素的相似度，同时将其投影到可能的深度。
(2)本申请提供的三维图像深度信息的提取方法，考虑了表面的连续性，以提高分辨率。
(3)本申请提供的三维图像深度信息的提取方法，用于综合成像(II)***中，使用补丁匹配方法，大大减少计算量，加快计算速度，可以使应用了本发明算法的设备更加普遍化。
附图说明
图1是本发明3D图像深度信息提取方法原理示意图；其中图1(a)是综合成像(II)的拾取部分的示意图；图1(b)是综合成像(II)的投影部分示意图。
图2是在体表面和自由空间体素的综合成像(II)***中光传播图。
图3是图像信息提取的3D对象，其中图3(a)是采用综合成像(II)进行成像的对象；图3(b)是采用合成孔径积分成像进行成像的对象。
图4是经过数学软件技术，采用本申请方法成像结果与采用现有技术方法成像结果的对比；其中图4(a)为采用微针的深度信息提取方法得到的结果；图4(b)为采用折反射全向提取方法得到的结果；图4(c)为采用本发明所述方法得到的综合成像(II)结果；图4(d)为采用本发明所述方法得到的合成孔径积分成像结果。
图5是降低白噪音影响后的结果对比；其中图5(a)是降低白噪音影响前的综合成像(II)结果；图5(b)是降低白噪音影响后的综合成像(II)结果；图5(c)是降低白噪音影响前的合成孔径积分成像结果；图5(d))是降低白噪音影响后的合成孔径积分成像结果。
图6是采用本发明3D图像深度信息提取方法的背面投影图；其中图6(a)是图3(a)采用本发明3D图像深度信息提取方法的背面投影图；图6(b)是图3(b)采用本发明3D图像深度信息提取方法的背面投影图。
具体实施方式
下面结合实施例，详细描述本发明的技术方案。
本发明提出了一种用于综合成像(II)***中3D对象深度提取的新计算方法，计算每个元素图像中像素的相似度，同时将其投影到可能的深度。还考虑到表面的连续性，以提高分辨率。并使用补丁匹配方法加快计算速度。
图1(a)和图1(b)为综合成像(II)的原理示意图。其中图1(a)为综合成像(II)的拾取部分的示意图，图1(b)为综合成像(II)的投影部分示意图。
参照图1(a)，字母A表示三维(3D)物体。Z(大写字母)表示物体和小透镜阵列之间的距离，g表示透镜阵列与像面之间的距离。来自3D物体的光线的强度和方向由小透镜记录在不同的位置。图1(a)中也显示了不同的元素图像，见右侧从上到下的三个图像。
在如图1(b)所示的投影部分中，每个元素图像通过相应的针孔投影到目标空间。在图1(b)中，z(小写字母)表示投影距离，g表示图像与针孔之间的距离。并且这些投影图像在重构平面中被放大了z/g的因子。最后，将这些放大的图像重叠并累积在输出平面的相应像素上。
在图1(a)和图1(b)示出的***中，投影距离z由实验者设置，因此，当投影距离z与其空间深度Z不匹配，投影图像是模糊的像素。因此，如果已知不同投影距离中的每个像素的模糊度，就可以计算相应的投影距离。
图2是在体表面和自由空间体素的综合成像(II)***中光传播图。图2显示的是本发明的方法的2D结构，显示的是3D空间中的y-z平面，成像对象被显示为左边的一个面。小透镜阵列在y轴上。而z轴是深度方向。每个小透镜的坐标标记为Si。成像对象平面被标记为u。u到小透镜阵列的距离是g。如图2所示，当将元素图像投影到z0平面时，得到的结果图像中的(y0，z0)对于其相应像素的高相似性将是清晰的。作为比较，当投影到z1平面时，(y1，z1)是模糊的，因为(y1，z1)处和(y0，z0)的像素来自对象u上不同部分，如图2中不同的颜色所示。对应于投影的每个像素的局部坐标点可以通过式(1)得到：
其中ui是每个元素图像中对应于点(y，z)的像素的局部坐标。g是图像平面和小透镜阵列之间的距离。si是小透镜的坐标，即小透镜的指数。利用该等式，可以通过等式(1)来估计投影到相同点的像素的相似度。
E＝α||Ii-Ij||+(1-α)||▽Ii-▽Ij|| 式(2)
在这个方程中，E是相似性的评估因子。E越小像素越相似。I是元素图像中像素的强度。下标i，j是元素图像的索引。Ii，Ij分别表示第i，第j个元素图像中的相应像素。Ii和Ij将投射到相同的空间点，它们的坐标由等式(1)计算得到。||Ii-Ij||计算RGB空间中的Ii和Ij的颜色的L1距离(即曼哈顿距离)。▽I是像素的灰度值梯度；||▽Ii-▽Ij||表示在Ii和Ij计算的灰度梯度的绝对差。α是没有单位的权重因子，是用户定义的参数，用于平衡颜色和渐变项的影响。从该等式可以计算投影到相同空间位置的像素之间的相似度。
因此，在3D模式中，可以通过找到Z来提取具有横向点(x，y)的成像对象表面的深度，使得E(x，y，z)在Z＝[Z min，Z max]的范围内最小化。这个假设在数学上的表达如式(3)所示：
可以通过检查所有可能的z来找到答案。然而，利用这种方式发现的可能的z是离散的，受到分辨率的限制。这种方式忽略了表面的连续性，并且在计算上是密集的，要获得亚分辨效果(sub-resolution effect)，需要更多的表面信息。本发明考虑了物体表面的连续性。相邻的像素假设在同一平面上，所以本发明用很多小平面对表面进行建模。
通过(x0，y0，z0)的表面可以表示为式(4)：
n1x+n2y+n3z＝n1x0+n2y0+n3z0 式(4)
n(n1，n2，n3)是法向量。在本发明，横向像素被称为p(px，py)，z是要求的深度坐标，所以可以转换式(4)，得到式(5)和(6)：
z＝f1▽px+f2▽py+f3 式(5)
f1＝-n1/n3，f2＝-n2/n3，f3＝(n1·x0+n2·y0+n3·z0)/n3 式(6)
因此，找到z的问题变为找到f，而向量f是所有可能的平面中的最小聚合匹配成本之一，可以表达为式(7)：
其中F表示大小无穷大的所有向量的集合。根据向量f匹配p(px，py)的聚合成本m通过式(8)和式(9)计算得到：
式(9)中，wp表示以p(px，py)为中心的平方窗口；w用于实现自适应权值立体匹配，可以克服边缘增殖问题；γ是用户定义的参数；Ip表示图像p的像素强度；Iq表示图像q的像素强度。附近的像素的E也用相同的向量f计算，揭示它们在同一平面中。所有向量F的集合是无限的标签空间，不能采用通常的做法，仅简单地检查所有可能的标签。
本发明提出的3D图像深度信息提取方法，该方法基于Patch-Match，其基本思想是大多数相邻像素应该在同一平面。根据该假设，本发明开发了包含相邻像素传播和随机优化的多循环算法。
基于上述分析，本发明提出的3D图像深度信息提取方法包括以下步骤：
步骤1：初始化
将横向像素p(x0，y0)初始化为随机平面；
平面可以通过点和法向量来确定。每个像素的z0由随机值初始化，并且通过该像素的表面的法线矢量被设置为随机单位向量n(n1，n2，n3)。矢量f可以由正态n和点p(x0，y0，z0)导出。
该横向像素的深度坐标为z(x0，y0，z0)，随机平面表示为p(px，py)，通过z的平面可表示为：
z＝f1▽px+f2▽py+f3
其中参见式(6)，f1＝-n1/n3f2＝-n2/n3，f3＝(n1·x0+n2·y0+n3·z0)/n3，n是标量，是数值向量表示最小聚合成本所在的所有可能平面，
该步骤中初始化的横向像素为p(x0，y0)，其对应的深度值为z0，其聚合成本m为：
其中，||Ip-Iq||表示两相邻像素p和q间的距离，p为横向像素，q为与p在同一平面内的相邻像素，w用于实现自适应加权，E表示相同的计算因素，▽表示梯度值，Wp表示一个方形窗口集中在p(px，py)。
相同计算因素E可表示为：
E＝α||Ii-Ij||+(1-α)||▽Ii-▽Ij
其中，I是元素图像中像素的强度。下标i，j是元素图像的索引。Ii，Ij分别表示第i，第j个元素图像中的相应像素的强度。Ii和Ij将投射到相同的空间点，它们的坐标由等式(1)计算得到。即对应于投影的每个像素的局部坐标点为：
其中ui是每个元素图像中对应于点(y，z)的像素的局部坐标。g是图像平面和小透镜阵列之间的距离(参见图1)。si是小透镜的坐标，即小透镜的指数。Ii和Ij可利用该公式求得。
||Ii-Ij||计算RGB空间中的Ii和Ij的颜色的L1距离(即曼哈顿距离)。▽I是像素的灰度值梯度；||▽Ii-▽Ij||表示在Ii和Ij计算的灰度梯度的绝对差。α是没有单位的权重因子，是用户定义的参数，用于平衡颜色和渐变项的影响。通过该等式可以计算投影到相同空间位置的像素之间的相似度。
由于有了许多预测值，在这种随机初始化之后，该区域的至少一个带有平面的区域的像素接近正确值。经过一个该平面传递到其他像素的传播步骤，一个好的预测值足以使算法运作起来。
步骤2：迭代
在迭代中，每个像素运行两个阶段：首先是空间传播，其次是平面精修。
(2-1)空间传播
相邻点被假设为与通常想到在同一个平面上。这是传播的关键点。p表示当前像素，fp是其对应的平面的向量。q是p的相邻像素。式(8)在p(x0，y0)下分别用fp和fq计算，以评估这两种情况的成本。检查条件m(x0，y0，fp')<m(x0，y0，fp)。
式(12)中的m(x0，y0，fp')和m(x0，y0，fp)分别由式(8)得到；
如果该表达式成立，则fq被接受为p的新向量，即fp＝fq。在奇数迭代中，q是左边和上边界，在偶数迭代中，q是右边界和下边界。
(2-2)平面精修
平面精修的目标是在像素p处改进平面的参数。为了进一步降低式(6)中的Z来提取具有横向点的成像对象表面的深度。
将fp转换为法向量np。两个参数▽z和▽n被定义为分别限制z0和n的最大允许变化。z0'计算为z0'＝z0+▽z，其中▽z位于[-▽zmax，▽zmax]。并且n'＝u(n+▽n)，u()表示计算单位向量，▽n位于[-▽nmax，▽nmax]。最后，通过p和n'得到一个新的fp'。如果m(x0，y0，fp')<m(x0，y0，fp)，则fp＝fp'。
该方法从设置▽zmax＝maxdisp/2开始，其中maxdisp是允许的最大视差，▽nmax＝1。每次细化后，参数将更新为▽zmax＝▽zmax/2，▽nmax＝▽nmax/2，从而减少搜索范围。我们再次回到特殊传播，直到▽zmax<resolution/2，其中分辨率如文献[DaneshPanah M,JavidiB.“Profilometry and optical slicing by passive three-dimensional imaging[J]”.Optics letters,2009,34(7):1105-1107]所示最小化。对于奇数迭代，从图像的左侧开始，向右下进行偶数迭代。最后的结果是在迭代后获得的。
为了验证这种方法的实用性，提出了两种II型实验。并且还进行检查所有可能的z的常规方法进行比较。首先，在计算机集成成像***中使用拖拉机的模型作为3D对象。该物体如图3(a)所示。结果具有20×28个元素图像，每个元素图像具有100×100像素。小透镜的焦距为1.5mm。拖拉机的深度为α设定为0.5，γ设定为5.通过计算，最小深度分辨率为0.005mm。
而在合成孔径积分成像中，元素图像如图3(b)所示。3D对象包括一个构建块，一个娃娃和一个玩具大象，分别位于53-57厘米，89-93厘米和131～136厘米。***包含6×6透视图。并且图像被捕获在具有5mm间距的规则网格上。相机的焦距为16mm。α设定为0.5，γ设定为5.通过计算，最小深度分辨率为2mm。
该算法在Matlab中计算。通过本文提出的方法接收的结果与常用方法的结果的比较如图所示。在图4(b)和(d)中，底部的水平条纹是背景的折叠。
从这些结果可以看出，这两种方法都在对象部分中表现良好。但是通过常用方法得到的结果如图4(a)和4(b)所示，边肥育相当明显。在本文提出的方法中，如图4(c)和4(d)所示，结果的空白部分充满了白噪声。对这些区域的深度变化不敏感，因为难以区分差异。所以这部分的深度依然是它初始化的价值。对象内部存在一些不准确的一点，需要通过一些更多的迭代来消除这一点。
为了减少白噪声的影响，z0以固定值初始化为所有像素，并且在迭代之前添加精修步骤。得到如图5所示的更好的结果，白噪声被很好地消除。在图5(a)中，特别是在物体边缘处精确提取拖拉机的深度。但是图5(b)中的物体边缘仍然存在一些白噪声，这可能受到实验条件的限制。
虽然考虑了表面的连续性，但从这个结果来看，深度不断变化并不直观。这可能是由于这种几何模型的较粗糙的分辨率造成的。
为了进一步验证所提出的方法，每个像素被投影到由所提出的方法计算的深度，如图6所示。该步骤中使用的深度是高斯平滑的并且过滤出背景。由于算法尚未优化，计算时间难以评估该方法的计算效率。因此，可以通过核心因子的计算时间来评估m，不需要计算所有z空间；计算资源支付给子分辨率计算。在模拟光场中，maxdisp设置为10mm，分辨率为0.005mm，在该算法中计算了12次迭代。在每次迭代中，在每个像素(fp，fq，fp'，其中q是两个相邻像素)中计算m次4次。与计算每个可能位置的常用方法的10/0.005＝2000倍相比，该方法中每个像素的12×4＝48次计算的m为近40倍。从这个角度来看，提出的算法可以有效地减少计算量。
以上所述，仅是本发明的几种具体实施方式，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (10)

1.一种三维对象深度提取方法，其特征在于，通过计算二维平面图像中每个元素图像中相邻像素的相似度，进而得到所述像素的深度。
2.根据权利要求1所述的三维对象深度提取方法，其特征在于，在计算二维平面图像中每个元素图像中像素的相似度时，假设相邻像素在同一平面上，并用多个小平面对表面进行建模。
3.根据权利要求1所述的三维对象深度提取方法，其特征在于，所述计算二维平面图像中每个元素图像中相邻像素的相似度，采用相邻像素传播和随机优化的多循环算法。
4.根据权利要求1所述的三维对象深度提取方法，其特征在于，包括将横向像素初始化为随机平面和迭代计算相邻像素的相似度的步骤。
5.根据权利要求4所述的三维对象深度提取方法，其特征在于，所述将横向像素初始化为随机平面，包括步骤：
将横向像素初始化为随机平面；
每个像素的初始深度设定为随机值，通过每个像素的表面的法线矢量被设置为随机单位向量。
6.根据权利要求4所述的三维对象深度提取方法，其特征在于，所述将横向像素初始化为随机平面，包括如下过程：
通过所述横向像素的深度坐标的平面，由式(5)表示，
z＝f1▽px+f2▽py+f3 式(5)
其中，z为所述横向像素的深度坐标，和px和py为随机平面，f1、f2和f3分别如式(6-1)、式(6-2)和式(6-3)所示，
f1＝-n1/n3 式(6-1)
f2＝-n2/n3 式(6-2)
f3＝(n1·x0+n2·y0+n3·z0)/n3 式(6-3)
式(6-1)、式(6-2)和式(6-3)中，n1、n2和n3是标量、是由如式(7)所示的数值向量表示最小聚合成本所在的所有可能平面，x0和y0分别为初始化的所述横向像素的坐标数值，z0为初始化的所述横向像素的初始深度值，
式(7)中m由式(8)提供，
式(8)中，w用于实现自适应加权，w由式(9)提供；E表示相似性计算因素，E由式(10)提供；▽表示梯度值，Wp表示集中在p的一个方形窗口，
式(9)中，||Ip-Iq||表示两相邻像素p和q间的距离，p为横向像素，q为与p在同一平面内的相邻像素，
E＝α||Ii-Ij||+(1-α)||▽Ii-▽Ij|| 式(10)
式(10)中，I是元素图像中像素的强度，下标i，j是元素图像的索引，Ii，Ij分别表示第i，第j个元素图像中的相应像素的强度，Ii和Ij将投射到相同的空间点，Ii和Ij的坐标由式(11)计算得到，||Ii-Ij||为RGB空间中的Ii和Ij的颜色的曼哈顿距离，▽Ii和▽Ij是像素的灰度值梯度，||▽Ii-▽Ij||表示在Ii和Ij计算的灰度梯度的绝对差，α是没有单位的权重因子，用于平衡颜色和渐变项的影响；
式(11)中，ui是每个元素图像中对应于坐标为y和z的点的像素的局部坐标。
7.根据权利要求4所述的三维对象深度提取方法，其特征在于，所述所述的三维对象深度提取方法在使用综合成像(II)***的计算机上执行，所述迭代计算相邻像素的相似度，包括步骤：
a、初始化一个随机平面内的一个横向像素并计算其深度坐标和向量值，计算其聚合成本，将此聚合成本作为参考聚合成本；
b、计算与步骤a中横向像素在同一平面内的任意一相邻像素的聚合成本；
c、比较步骤a中参考聚合成本与步骤b中相邻像素的聚合成本；
d.将步骤c中比较小的聚合成本对应像素作为新的参考值；
e.将步骤d中新的参考值对应像素设为与该对比参考值的对应像素左上相邻；
f.设定条件：步骤d中新的参考值对应深度值在最大允许范围内；
g.如果步骤f条件成立，则循环执行步骤a到步骤f；
l.步骤f条件不成立，将最后一次循环步骤e中作为图像最左边像素；
m.在步骤l的基础上，图像右下进行下降偶次迭代；
n.根据步骤m的迭代次数计算每个像素的计算次数。
8.根据权利要求4所述的三维对象深度提取方法，其特征在于，所述迭代计算相邻像素的相似度，包括空间传播和平面精修的步骤；
所述空间传播的步骤中，相邻像素点设定为在同一个平面上，首先由式(8)评估不同情况的成本m，
式(8)中，p表示当前像素，fp是其对应的平面的向量，q是p的相邻像素，在p下分别用fp和fq计算，以评估这两种情况的成本；检查条件如式(12)所示，
m(x0，y0，fp')<m(x0，y0，fp)； 式(12)
式(12)中的m(x0，y0，fp')和m(x0，y0，fp)分别由式(8)得到；
如果式(12)所示的表达式成立，则fq被接受为p的新向量，即fp＝fq；
在奇数迭代中，q是左边和上边界；
在偶数迭代中，q是右边界和下边界；
所述平面精修的步骤中，将fp转换为法向量np，两个参数▽z和▽n被定义为分别限制z0和n的最大允许变化，z0'计算为z0'＝z0+▽z，其中▽z位于[-▽zmax，▽zmax]，并且n'＝u(n+▽n)，其中u表示计算单位向量，▽n位于[-▽nmax，▽nmax]；
最后，通过p和n'得到一个新的fp'，如果m(x0，y0，fp')<m(x0，y0，fp)，则fp＝fp'；
所述平面精修的步骤中，从设置▽zmax＝maxdisp/2开始，其中maxdisp是允许的最大视差，▽nmax＝1，每次细化后，参数将更新为▽zmax＝▽zmax/2、▽nmax＝▽nmax/2；直到▽zmax<resolution/2，得到最小化的分辨率；对于奇数迭代，从图像的左侧开始，向右下进行偶数迭代；
迭代后获得相邻像素的相似度，进而得到所述三维对象的深度。
9.根据权利要求8所述的三维对象深度提取方法，其特征在于，z0以固定值初始化为所有像素，并且在迭代之前添加精修步骤。
10.一种由二维图片获得三维图像信息的装置，其特征在于，包括图片采集单元，图像存储单元和图像处理单元；
所述图片采集单元和图像存储单元电连接，所述图像存储单元和图像处理单元电连接；
所述图像处理单元采用权利要求1至9任一项所述三维对象深度提取方法，获得二维图片中对象的深度信息，建立三维图像。
CN201710502470.1A 2017-06-27 2017-06-27 三维图像深度信息提取方法 Expired - Fee Related CN107330930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710502470.1A CN107330930B (zh) 2017-06-27 2017-06-27 三维图像深度信息提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710502470.1A CN107330930B (zh) 2017-06-27 2017-06-27 三维图像深度信息提取方法

Publications (2)

Publication Number Publication Date
CN107330930A true CN107330930A (zh) 2017-11-07
CN107330930B CN107330930B (zh) 2020-11-03

Family

ID=60198148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710502470.1A Expired - Fee Related CN107330930B (zh) 2017-06-27 2017-06-27 三维图像深度信息提取方法

Country Status (1)

Country Link
CN (1) CN107330930B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154549A (zh) * 2017-12-25 2018-06-12 太平洋未来有限公司 一种三维图像处理方法
CN110807798A (zh) * 2018-08-03 2020-02-18 华为技术有限公司 图像识别方法、***、相关设备以及计算机可读存储介质
CN111465818A (zh) * 2017-12-12 2020-07-28 索尼公司 图像处理设备、图像处理方法、程序和信息处理***
WO2020191731A1 (zh) * 2019-03-28 2020-10-01 深圳市大疆创新科技有限公司 点云生成方法、***和计算机存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279982A (zh) * 2013-05-24 2013-09-04 中国科学院自动化研究所 鲁棒的快速高深度分辨率的散斑三维重建方法
CN103793911A (zh) * 2014-01-24 2014-05-14 北京科技大学 一种基于集成图像技术的场景深度获取方法
CN104036481A (zh) * 2014-06-26 2014-09-10 武汉大学 一种基于深度信息提取的多聚焦图像融合方法
CN104065947A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种集成成像***的深度图获取方法
CN104240217A (zh) * 2013-06-09 2014-12-24 周宇 双目摄像头图像深度信息获取方法及装置
CN104715504A (zh) * 2015-02-12 2015-06-17 四川大学 一种鲁棒的大场景稠密三维重建方法
CN105551050A (zh) * 2015-12-29 2016-05-04 深圳市未来媒体技术研究院 一种基于光场的图像深度估计方法
CN105574926A (zh) * 2014-10-17 2016-05-11 华为技术有限公司 生成三维图像的方法和装置
US20160173849A1 (en) * 2013-10-25 2016-06-16 Ricoh Innovations Corporation Processing of Light Fields by Transforming to Scale and Depth Space
CN106257537A (zh) * 2016-07-18 2016-12-28 浙江大学 一种基于光场信息的空间深度提取方法
CN106296706A (zh) * 2016-08-17 2017-01-04 大连理工大学 一种联合全局建模和非局部滤波的深度计算重建方法
CN106447718A (zh) * 2016-08-31 2017-02-22 天津大学 一种2d转3d深度估计方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279982A (zh) * 2013-05-24 2013-09-04 中国科学院自动化研究所 鲁棒的快速高深度分辨率的散斑三维重建方法
CN104240217A (zh) * 2013-06-09 2014-12-24 周宇 双目摄像头图像深度信息获取方法及装置
US20160173849A1 (en) * 2013-10-25 2016-06-16 Ricoh Innovations Corporation Processing of Light Fields by Transforming to Scale and Depth Space
CN103793911A (zh) * 2014-01-24 2014-05-14 北京科技大学 一种基于集成图像技术的场景深度获取方法
CN104065947A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种集成成像***的深度图获取方法
CN104036481A (zh) * 2014-06-26 2014-09-10 武汉大学 一种基于深度信息提取的多聚焦图像融合方法
CN105574926A (zh) * 2014-10-17 2016-05-11 华为技术有限公司 生成三维图像的方法和装置
CN104715504A (zh) * 2015-02-12 2015-06-17 四川大学 一种鲁棒的大场景稠密三维重建方法
CN105551050A (zh) * 2015-12-29 2016-05-04 深圳市未来媒体技术研究院 一种基于光场的图像深度估计方法
CN106257537A (zh) * 2016-07-18 2016-12-28 浙江大学 一种基于光场信息的空间深度提取方法
CN106296706A (zh) * 2016-08-17 2017-01-04 大连理工大学 一种联合全局建模和非局部滤波的深度计算重建方法
CN106447718A (zh) * 2016-08-31 2017-02-22 天津大学 一种2d转3d深度估计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FENGLI YU等: ""Depth generation method for 2D to 3D conversion"", 《 2011 3DTV CONFERENCE: THE TRUE VISION - CAPTURE, TRANSMISSION AND DISPLAY OF 3D VIDEO (3DTV-CON)》 *
SHULU WANG等: ""An integral imaging method for depth extraction with lens array in an optical tweezer system"", 《OPTOELETRONIC DEVICES AND INTEGRATION V 9270》 *
杜军辉等: ""基于集成成像光场信息的三维计算重建方法研究"", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
王宇等: ""基于多视差函数拟合的集成成像深度提取方法"", 《光学学报》 *
路海明等: ""基于向量场的深度计算方法"", 《清华大学学报（自然科学版）》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111465818A (zh) * 2017-12-12 2020-07-28 索尼公司 图像处理设备、图像处理方法、程序和信息处理***
CN108154549A (zh) * 2017-12-25 2018-06-12 太平洋未来有限公司 一种三维图像处理方法
CN110807798A (zh) * 2018-08-03 2020-02-18 华为技术有限公司 图像识别方法、***、相关设备以及计算机可读存储介质
CN110807798B (zh) * 2018-08-03 2022-04-12 华为技术有限公司 图像识别方法、***、相关设备以及计算机可读存储介质
WO2020191731A1 (zh) * 2019-03-28 2020-10-01 深圳市大疆创新科技有限公司 点云生成方法、***和计算机存储介质

Also Published As

Publication number Publication date
CN107330930B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
Hartmann et al. Learned multi-patch similarity
Shen Accurate multiple view 3d reconstruction using patch-based stereo for large-scale scenes
Furukawa et al. Accurate, dense, and robust multiview stereopsis
Tola et al. Daisy: An efficient dense descriptor applied to wide-baseline stereo
Hiep et al. Towards high-resolution large-scale multi-view stereo
Dall'Asta et al. A comparison of semiglobal and local dense matching algorithms for surface reconstruction
Wu et al. A triangulation-based hierarchical image matching method for wide-baseline images
CN107330930A (zh) 三维图像深度信息提取方法
CN107679537A (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN104361627B (zh) 基于sift的双目视觉沥青路面微观纹理三维图像重构方法
Köser et al. Dense 3d reconstruction of symmetric scenes from a single image
CN104463899A (zh) 一种目标对象检测、监控方法及其装置
CN105335952B (zh) 匹配代价计算方法和装置、以及视差值计算方法和设备
Pound et al. A patch-based approach to 3D plant shoot phenotyping
US11394945B2 (en) System and method for performing 3D imaging of an object
CN114241031A (zh) 基于双视角融合的鱼类体尺测量和体重预测的方法及装置
CN108564620A (zh) 一种针对光场阵列相机的场景深度估计方法
CN113705796B (zh) 基于epi特征强化的光场深度获取卷积神经网络
CN106257537A (zh) 一种基于光场信息的空间深度提取方法
CN109034374A (zh) 使用多刻度密集连通卷积网络的相对深度序列估计方法
Brandt et al. Efficient binocular stereo correspondence matching with 1-D max-trees
Shen Depth-map merging for multi-view stereo with high resolution images
Nicosevici et al. Efficient 3D scene modeling and mosaicing
Zhang et al. A Robust Multi‐View System for High‐Fidelity Human Body Shape Reconstruction
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201103

Termination date: 20210627