CN106231290B - 基于深度模板的3d树木图像构建方法 - Google Patents
基于深度模板的3d树木图像构建方法 Download PDFInfo
- Publication number
- CN106231290B CN106231290B CN201610772527.5A CN201610772527A CN106231290B CN 106231290 B CN106231290 B CN 106231290B CN 201610772527 A CN201610772527 A CN 201610772527A CN 106231290 B CN106231290 B CN 106231290B
- Authority
- CN
- China
- Prior art keywords
- mrow
- depth
- trees
- tree
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 239000007787 solid Substances 0.000 claims abstract description 6
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 230000010354 integration Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 7
- 238000000205 computational method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 240000007594 Oryza sativa Species 0.000 claims description 3
- 235000007164 Oryza sativa Nutrition 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 235000009566 rice Nutrition 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 claims 1
- 244000283207 Indigofera tinctoria Species 0.000 claims 1
- 102000057593 human F8 Human genes 0.000 claims 1
- 229940047431 recombinate Drugs 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 5
- 239000000463 material Substances 0.000 abstract description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 241001062009 Indigofera Species 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
基于深度模板的3D树木图像构建方法,主要步骤如下:1、基于模板的树木深度信息构建;2、基于单幅2D树木图像的立体图像构建;3、红蓝立体图像的合成与制作。本发明在利用虚拟应用场景特征的基础上,通过模板库构建和模板匹配的方式,为2D树木图像构建立体信息,将单幅2D树木图像转化成3D树木立体图像并实现树木与应用场景的合成。该方法是基于特定对象的3D立体图像构建的一种具体化方案,在保证较好立体视觉效果的基础上大大减少3D立体素材获取和制作的成本,增加立体树木图像构建的灵活程度,从而提高立体树木在森林、城市规划和园林绿化等应用领域的制作效率。
Description
技术领域
本发明属于信息技术领域,涉及一种树木图像的构建方法。
背景技术
随着3D技术的发展及其在日常生活中的普及,人们对于3D图像、视频的视觉体验要求也越来越高,以影视行业为例,制作精良、视觉效果突出的3D影视与传统2D影视相比,前者具有很好的感官体验,因而有越来越多的消费者青睐于3D电影、3D电视等媒体。一幅3D立体图像是由赋予适当视差的左眼视图和右眼视图两幅图像组成的,当两者分别映入观察者双眼时,可以在双目立体视觉的作用下产生立体视觉感受。通常,3D图像资源的获取主要有两种方式,一类是依赖于3D摄影机、3D立体照相机等立体设备进行图像采集,此类方式的3D图像制作周期较长,人力物力等方面的成本较高,并且一旦对场景有所调整往往需要重新拍摄;另一类方式是利用现有的普通2D图像,在2D图像上加之立体信息,由此构建出图像对的视差,从而获得新的3D立体图像,这类方法操作简单,适用于大多数简单图像,但对过于复杂的图像场景的制作而言难度也相应增加。
3D树木图像是指承载树木图形的立体图像,可以应用在特定虚拟场景的构建中,如三维场景布置、虚拟森林模型的构建、城市规划和绿化设计等方面。考虑到树木对象在场景中的重现频次较高,并且具有特殊的结构特点,本发明专利通过在普通树木图像中增加树木深度信息的方式,将单幅2D树木图像转化并制作成为3D树木图像。该发明专利不但可以提高图像素材的利用效率,还可以增加树木场景设计的灵活性和便捷性,从而降低3D场景的制作成本和周期。
在立体视觉***中,场景中各点相对于观察点的距离可以用深度(Depth)来表示,深度信息的构建也是赋予2D图像立体信息的主要方式。对于单幅2D图像而言,只能寻求图像本身具有的规律和特征,因此在单幅2D图像的基础上构建立体信息有着极大挑战。与其他对象不同,树木的形态结构复杂多变,树木深度信息的变化和过渡应当更为自然。对立体信息的层次感要求也更高,现有较为通用的深度信息构建方法往往在这些方面有所欠缺,难以满足不同树木类型的具体需求。而立体信息构建的合理程度将对所构建的立体树木图像的质量产生决定性的影响,不恰当的深度信息常常会影响整体的视差效果和一致性,从而引起视觉不适。
发明内容
本发明要克服现有技术的上述缺点,提供一种基于单幅树木图像的3D树木图像构建方法,能够利用树木深度模板,根据树木个体的类型特征为树木构建深度信息,并将树木对象与新的立体背景进行合成,从而减少立体树木图像构建的成本,增强立体树木图像编辑的灵活性。
本发明的基于深度模板的3D树木图像构建方法的主要步骤如下:
1.基于模板的树木深度信息构建
2D图像的深度信息构建的层次性和合理性将直接影响到立体图像的视差,从而影响立体图像的观看效果。
为了在2D树木图像的基础上构建恰当的立体信息,在遵照树木基本结构和像素离散特性的基础上首先对2D彩色图像中的目标树木对象进行树木结构分类,并在树木结构分离的基础上根据亮度、轮廓信息对树冠部分实施再分割。根据目标树木与树木形态模板的匹配结果,利用对应类型的深度模板为树木的各个结构区块赋予适当的深度模拟信息,从而完成深度信息的初始化,即获得载有各个像素点对应深度值的树木深度图,以此作为树木的初始立体信息。不同种类的树木往往具有不同形态的外形结构,因此不仅需要对树木结构进行分析和分类,并且考虑不同树木形态类型情况下的深度模板的构建和选取,从而使2D树木图像对应的深度变化情况更加符合树木个体的实际特征。具体步骤如下所示:
(11)对单幅2D彩色树木图像进行基于Lab颜色模型的树木结构提取,分离出树冠部分和树干部分:
(11-1)将目标彩色树木图像的颜色空间从RGB模型转化至Lab模型;
(11-2)对Lab模型下的目标图像的各像素作K-Means聚类;
(11-3)对聚类后的像素图像实行形态学方法的去噪,并确定树干所在的聚类和树冠所在的聚类;
(11-4)根据树木原始形态分离出树木对象的树干部分和树冠部分,完成树木基本结构的提取;
(12)根据目标树木图像的树冠形态,依次计算目标树木与球形、锥形、圆柱形和宽展开型这四种典型树木类型的相似度,将目标树木归于相似度最高的树木类型,从而获得目标树木的类型。若目标树木与四种典型树木类型均不匹配,则判定该树木为非典型树木;
(13)进行(12)的同时,对树冠部分进行基于多尺度图谱的树冠再分割,根据树冠边缘信息和局部像素特征将树冠划分成多个较为均匀的区块;
(14)根据树木类型信息和树木区域分割的信息对目标树木进行基于深度模板的树木深度图初始化:
(14-1)建立深度梯度假设图,用不同变化方向的渐变深度来模拟深度变化情况,
(14-2)构建典型树木的深度模板。利用深度梯度假设图,分别根据四种典型类型树木水平或垂直方向的深度变化情况选择深度梯度图进行组合,从而获得四种树木类型的深度模板;
(14-3)通过步骤(14-2)通过相似度计算所得目标树木类型匹配的结果,若为典型树木,则启用典型树木对应的深度模板;若为非典型树木,则根据树木个体的形态特征选择恰当的深度假设图进行叠加、重组,从而为其构建个性化深度模板。
(14-4)深度模板的应用
根据树冠再分割情况,对于树冠图像中的任意区域R,计算与其对应的深度梯模板中的区域深度平均深度D(R),将其作为目标树木图像的树冠区域的初始化深度。
其中,x,y指图像中某像素点的横坐标和纵坐标,R为树木对象结构分析和区域分割后的任一分割区域,R’是该对应深度模板中的相同区域,|R|指区域R中的像素个数,D(x,y)指区域R内的某一像素点的深度值。由此完成目标树木各个区块的深度值计算,生成初始深度图像。
(14-5)利用双边滤波器对目标树木的初始深度图进行平滑去噪处理。
2、基于单幅2D树木图像的立体图像构建
基于单幅2D树木图像的立体图像构建时,为了使树木个体的深度信息与应用场景一致,首先对虚拟立体场景进行深度估计,根据树木在场景中的目标融合位置对树木的初始立体信息实施深度自适应调整;然后在调整后的树木深度图基础上,将原2D树木图像作为左眼视图,依照3D立体图像对的一般制作方法在深度图的基础上进行视差计算、视差调整和视差平移而得到右眼视图。
基于单幅2D树木图像的立体图像构建主要流程如下所示:
(21)确定目标树木即将合成的背景立体图像,及其在背景图像中的目标位置R。
(22)本方法采用基于非参数的特征平滑模型的背景立体图像深度估计方法计算得到背景立体图像的深度图。
(23)基于背景深度信息进行树木深度信息的自适应调整。
(23-1)计算树木的融合点深度值。
树木需融合在背景图像位置的A处,(i,j)是该点的坐标,目标树木初始化时的主干深度值为Do,当选定目标合成位置时,树木底端融合处的深度值Depth(i,j)应与背景图像对应位置深度值保持一致。为了避免背景图像深度图中的噪声影响,我们选取背景深度图中以A为中心的小面积邻域Nr内的平均深度值,SNr就是该区域的面积,并把该深度值作为主干所处的深度Dt:
(23-2)树木深度值的自适应调整
目标树木主干底部深度变化值为Do-Dt。随着主干深度信息的改变,树木各像素点的相对深度保持不变,树木的其他像素点深度信息也应随之改动。若背景图像对最大深度和最小深度分别为Dmax和Dmin,D1(p)是树木图像中像素点p对应的树木初始化深度值,D2(p)是像素点p自适应调整后的深度值,那么,(Do-Dt)/(Dmax-Dmin)即是主干部分的深度值变化率,树木深度依照深度值变化率进行等比率的深度自适应调整,如下式所示:
由此完成树木图像在背景制定位置的深度自适应调整,得到与背景深度信息相一致的深度图像。
(24)对于单幅2D树木图像及其经自适应调整后的树木深度图,按照以下步骤获得树木立体图像对:
(24-1)计算零视差面Zc,计算方法为:其中Znear和Zfar分别为最近限幅平面和最远限幅平面,在8位的深度图中,Znear=255;Zfar=0。
(24-2)计算视差dp,计算方法为:其中zp是深度,e代表人两眼之间的距离,约为6.5cm,D是人眼观测距离,和分别是左右眼所观察到的目标对象点在立体成像模型上的位置。
(24-3)树木图像的最大视差为Mmax(m),m为长度单位米,立体图像显示器的水平像素分辨率为Screenw(pixel),Pixel表示像素的个数,显示器的水平宽度为Screenw(m),计算像素级别的最大视差Mmax(pixel):
(24-4)以原2D树木图像作为左眼视图,对各个像素点p进行相应视差dp平移得到右视图,左眼视图和右眼视图作为一组立体树木的图像对。
3、红蓝立体图像的合成与制作
利用树木深度信息和立体背景场景的深度信息对比,实现基于遮挡关系的立体图像合成,使得树木与目标背景场景间产生层次关系和近远景的遮挡关系,在此基础上生成红蓝立体图像,用于3D立体场景的显示。
(31)深度融合
与二维图像融合的不同之处在于,由于场景中的不同物体所处的深度位置不一,因而需要考虑景物的遮挡关系:即较近的物体遮挡较远的景物。
基于遮挡关系进行深度融合计算,得到深度融合后的深度图P(x,y):
其中,x,y表示图像中任意一点的横纵坐标,Dfg(x,y)是树木图像的中任意像素点对应的深度值,Dbg(x,y)是背景立体图像的深度图中任意像素点所对应的任意深度值。Fg(x,y)是树木图像中的任意像素点,Bg(x,y)是背景立体图像中的任意位置像素值。
(32)根据深度融合的情况对树木立体图像对和背景立体图像对进行图像合成时,采用立体图像对的其中一幅视图的G通道和B通道的值,采用另一幅中的R通道的值,将这三个通道的值进行叠加,得到红蓝立体图像效果。
基于深度模板的立体树木图像构建方法是在虚拟应用场景特征的基础上,通过模板库构建和模板匹配的方式,为2D树木图像构建恰当的立体信息,将单幅2D树木图像转化成3D树木立体图像并实现树木与应用场景的合成。该方法是基于特定对象的3D立体图像构建的一种具体化方案,在保证较好立体视觉效果的基础上大大减少3D立体素材获取和制作的成本,增加立体树木图像构建的灵活程度,从而提高立体树木在森林、城市规划和园林绿化等应用领域的制作效率。
本发明的优点:
(1)本方法分利用树木的结构特点,结合深度梯度假设思想,基于树木深度模板进行2D树木对象的深度构建,与现有的深度信息构建方法相比,不仅适用于外形典型的树木对象,且对外形不规则的非典型树木对象也能进行个性化的深度信息构建,使得深度信息更加丰富。
(2)本方法对树木深度进行自适应调整时,可以根据树木在立体背景图像中位置的变化情况对树木深度信息进行调整与优化,提高了深度构建和立体图像构建的灵活性,并通过深度信息的计算和对比处理来体现树木对象与场景中其他对象的位置关系,提高了场景的真实感。
附图说明
图1是本发明的方法流程图。
图2是本发明的深度梯度假设图。
图3是典型树木的深度模型。
具体实施方式
基于深度模板的3D树木图像构建方法的主要步骤如图1所示。
1、基于模板的树木深度信息构建
2D图像的深度信息构建的层次性和合理性将直接影响到立体图像的视差,从而影响立体图像的观看效果。
为了在2D树木图像的基础上构建恰当的立体信息,在遵照树木基本结构和像素离散特性的基础上首先对2D彩色图像中的目标树木对象进行树木结构分类,并在树木结构分离的基础上根据亮度、轮廓信息对树冠部分实施再分割。根据目标树木与树木形态模板的匹配结果,利用对应类型的深度模板为树木的各个结构区块赋予适当的深度模拟信息,从而完成深度信息的初始化,即获得载有各个像素点对应深度值的树木深度图,以此作为树木的初始立体信息。不同种类的树木往往具有不同形态的外形结构,因此不仅需要对树木结构进行分析和分类,并且考虑不同树木形态类型情况下的深度模板的构建和选取,从而使2D树木图像对应的深度变化情况更加符合树木个体的实际特征。具体步骤如下所示:
(11)对单幅2D彩色树木图像进行基于Lab颜色模型的树木结构提取,分离出树冠部分和树干部分:
(11-1)将目标彩色树木图像的颜色空间从RGB模型转化至Lab模型;
(11-2)对Lab模型下的目标图像的各像素作K-Means聚类;
(11-3)对聚类后的像素图像实行形态学方法的去噪,并确定树干所在的聚类和树冠所在的聚类;
(11-4)根据树木原始形态分离出树木对象的树干部分和树冠部分,完成树木基本结构的提取。
(12)根据目标树木图像的树冠形态,依次计算目标树木与球形、锥形、圆柱形和宽展开型这四种典型树木类型的相似度,将目标树木归于相似度最高的树木类型,从而获得目标树木的类型。若目标树木与四种典型树木类型均不匹配,则判定该树木为非典型树木;
(13)进行(12)的同时,对树冠部分进行基于多尺度图谱的树冠再分割,根据树冠边缘信息和局部像素特征将树冠划分成多个较为均匀的区块;
(14)根据树木类型信息和树木区域分割的信息对目标树木进行基于深度模板的树木深度图初始化:
(14-1)建立深度梯度假设图,用不同变化方向的渐变深度来模拟深度变化情况,本方法构建了如图2所示的八个深度梯度假设图:
(14-2)构建典型树木的深度模板。利用深度梯度假设图,分别根据四种典型类型树木水平或垂直方向的深度变化情况选择深度梯度图进行组合,从而获得四种树木类型的深度模板,如图3所示。
(14-3)通过步骤(14-2)通过相似度计算所得目标树木类型匹配的结果,若为典型树木,则启用典型树木对应的深度模板;若为非典型树木,则根据树木个体的形态特征选择恰当的深度假设图进行叠加、重组,从而为其构建个性化深度模板。
(14-4)深度模板的应用
根据树冠再分割情况,对于树冠图像中的任意区域R,计算与其对应的深度梯模板中的区域深度平均深度D(R),将其作为目标树木图像的树冠区域的初始化深度。
其中,x,y指图像中某像素点的横坐标和纵坐标,R为树木对象结构分析和区域分割后的任一分割区域,R’是该对应深度模板中的相同区域,|R|指区域R中的像素个数,D(x,y)指区域R内的某一像素点的深度值。由此完成目标树木各个区块的深度值计算,生成初始深度图像。
(14-5)利用双边滤波器对目标树木的初始深度图进行平滑去噪处理。
2、基于单幅2D树木图像的立体图像构建
基于单幅2D树木图像的立体图像构建时,为了使树木个体的深度信息与应用场景一致,首先对虚拟立体场景进行深度估计,根据树木在场景中的目标融合位置对树木的初始立体信息实施深度自适应调整;然后在调整后的树木深度图基础上,将原2D树木图像作为左眼视图,依照3D立体图像对的一般制作方法在深度图的基础上进行视差计算、视差调整和视差平移而得到右眼视图。
基于单幅2D树木图像的立体图像构建主要流程如下所示:
(21)确定目标树木即将合成的背景立体图像,及其在背景图像中的目标位置R。
(22)本方法采用基于非参数的特征平滑模型的背景立体图像深度估计方法计算得到背景立体图像的深度图。
(23)基于背景深度信息进行树木深度信息的自适应调整。
(23-1)计算树木的融合点深度值。
树木需融合在背景图像位置的A处,(i,j)是该点的坐标,目标树木初始化时的主干深度值为Do,当选定目标合成位置时,树木底端融合处的深度值Depth(i,j)应与背景图像对应位置深度值保持一致。为了避免背景图像深度图中的噪声影响,我们选取背景深度图中以A为中心的小面积邻域Nr内的平均深度值,SNr就是该区域的面积,并把该深度值作为主干所处的深度Dt:
(23-2)树木深度值的自适应调整
目标树木主干底部深度变化值为Do-Dt。随着主干深度信息的改变,树木各像素点的相对深度保持不变,树木的其他像素点深度信息也应随之改动。若背景图像对最大深度和最小深度分别为Dmax和Dmin,D1(p)是树木图像中像素点p对应的树木初始化深度值,D2(p)是像素点p自适应调整后的深度值,那么,(Do-Dt)/(Dmax-Dmin)即是主干部分的深度值变化率,树木深度依照深度值变化率进行等比率的深度自适应调整,如下式所示:
由此完成树木图像在背景制定位置的深度自适应调整,得到与背景深度信息相一致的深度图像。
(24)对于单幅2D树木图像及其经自适应调整后的树木深度图,按照以下步骤获得树木立体图像对:
(24-1)计算零视差面Zc,计算方法为:其中Znear和Zfar分别为最近限幅平面和最远限幅平面,在8位的深度图中,Znear=255;Zfar=0。
(24-2)计算视差dp,计算方法为:其中zp是深度,e代表人两眼之间的距离,约为6.5cm,D是人眼观测距离,和分别是左右眼所观察到的目标对象点在立体成像模型上的位置。
(24-3)树木图像的最大视差为Mmax(m),m为长度单位米,立体图像显示器的水平像素分辨率为Screenw(pixel),Pixel表示像素的个数,显示器的水平宽度为Screenw(m),计算像素级别的最大视差Mmax(pixel):
(24-4)以原2D树木图像作为左眼视图,对各个像素点p进行相应视差dp平移得到右视图,左眼视图和右眼视图作为一组立体树木的图像对。
3、红蓝立体图像的合成与制作
利用树木深度信息和立体背景场景的深度信息对比,实现基于遮挡关系的立体图像合成,使得树木与目标背景场景间产生层次关系和近远景的遮挡关系,在此基础上生成红蓝立体图像,用于3D立体场景的显示。
(31)深度融合
与二维图像融合的不同之处在于,由于场景中的不同物体所处的深度位置不一,因而需要考虑景物的遮挡关系:即较近的物体遮挡较远的景物。
基于遮挡关系进行深度融合计算,得到深度融合后的深度图P(x,y):
其中,x,y表示图像中任意一点的横纵坐标,Dfg(x,y)是树木图像的中任意像素点对应的深度值,Dbg(x,y)是背景立体图像的深度图中任意像素点所对应的任意深度值。Fg(x,y)是树木图像中的任意像素点,Bg(x,y)是背景立体图像中的任意位置像素值。
(32)根据深度融合的情况对树木立体图像对和背景立体图像对进行图像合成时,采用立体图像对的其中一幅视图的G通道和B通道的值,采用另一幅中的R通道的值,将这三个通道的值进行叠加,得到红蓝立体图像效果。
Claims (1)
1.基于深度模板的3D树木图像构建方法,主要步骤如下:
(1)、基于模板的树木深度信息构建;
2D图像的深度信息构建的层次性和合理性将直接影响到立体图像的视差,从而影响立体图像的观看效果;
为了在2D树木图像的基础上构建恰当的立体信息,在遵照树木基本结构和像素离散特性的基础上首先对2D彩色图像中的目标树木对象进行树木结构分类,并在树木结构分离的基础上根据亮度、轮廓信息对树冠部分实施再分割;根据目标树木与树木形态模板的匹配结果,利用对应类型的深度模板为树木的各个结构区块赋予适当的深度模拟信息,从而完成深度信息的初始化,即获得载有各个像素点对应深度值的树木深度图,以此作为树木的初始立体信息;不同种类的树木往往具有不同形态的外形结构,因此不仅需要对树木结构进行分析和分类,并且考虑不同树木形态类型情况下的深度模板的构建和选取,从而使2D树木图像对应的深度变化情况更加符合树木个体的实际特征;具体步骤如下所示:
(11)对单幅2D彩色树木图像进行基于Lab颜色模型的树木结构提取,分离出树冠部分和树干部分:
(11-1)将目标彩色树木图像的颜色空间从RGB模型转化至Lab模型;
(11-2)对Lab模型下的目标图像的各像素作K-Means聚类;
(11-3)对聚类后的像素图像实行形态学方法的去噪,并确定树干所在的聚类和树冠所在的聚类;
(11-4)根据树木原始形态分离出树木对象的树干部分和树冠部分,完成树木基本结构的提取;
(12)根据目标树木图像的树冠形态,依次计算目标树木与球形、锥形、圆柱形和宽展开型这四种典型树木类型的相似度,将目标树木归于相似度最高的树木类型,从而获得目标树木的类型;若目标树木与四种典型树木类型均不匹配,则判定该树木为非典型树木;
(13)进行(12)的同时,对树冠部分进行基于多尺度图谱的树冠再分割,根据树冠边缘信息和局部像素特征将树冠划分成多个较为均匀的区块;
(14)根据树木类型信息和步骤(13)中树木区域再分割的信息对目标树木进行基于深度模板的树木深度图初始化:
(14-1)建立深度梯度假设图,用不同变化方向的渐变深度来模拟深度变化情况,
(14-2)构建典型树木的深度模板;利用深度梯度假设图,分别根据四种典型类型树木水平或垂直方向的深度变化情况选择深度梯度图进行组合,从而获得四种树木类型的深度模板;
(14-3)通过步骤(14-2)的相似度计算所得目标树木类型匹配的结果,若为典型树木,则启用典型树木对应的深度模板;若为非典型树木,则根据树木个体的形态特征选择恰当的深度假设图进行叠加、重组,从而为其构建个性化深度模板;
(14-4)深度模板的应用
根据树冠再分割情况,对于树冠图像中的任意区域R,计算与其对应的深度模板中的区域深度平均深度D(R),将其作为目标树木图像的树冠区域的初始化深度;
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<mi>R</mi>
<mo>|</mo>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mo>&prime;</mo>
</msup>
</mrow>
</munder>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,x,y指图像中某像素点的横坐标和纵坐标,R为树木对象结构分析和区域分割后的任一分割区域,R’是该对应深度模板中的相同区域,|R|指区域R中的像素个数,D(x,y)指区域R内的某一像素点的深度值;由此完成目标树木各个区块的深度值计算,生成初始深度图像;
(14-5)利用双边滤波器对目标树木的初始深度图进行平滑去噪处理;
(2)、基于单幅2D树木图像的立体图像构建;
基于单幅2D树木图像的立体图像构建时,为了使树木个体的深度信息与应用场景一致,首先对虚拟立体场景进行深度估计,根据树木在场景中的目标融合位置对树木的初始立体信息实施深度自适应调整;然后在调整后的树木深度图基础上,将原2D树木图像作为左眼视图,依照3D立体图像对的一般制作方法在深度图的基础上进行视差计算、视差调整和视差平移而得到右眼视图;
基于单幅2D树木图像的立体图像构建主要流程如下所示:
(21)确定目标树木即将合成的背景立体图像,及其在背景图像中的目标位置R;
(22)本方法采用基于非参数的特征平滑模型的背景立体图像深度估计方法计算得到背景立体图像的深度图;
(23)基于背景深度信息进行树木深度信息的自适应调整;
(23-1)计算树木的融合点深度值;
树木需融合在背景图像位置的A处,(i,j)是该点的坐标,目标树木初始化时的主干深度值为Do,当选定目标合成位置时,树木底端融合处的深度值Depth(i,j)应与背景图像对应位置深度值保持一致;为了避免背景图像深度图中的噪声影响,选取背景深度图中以A为中心的小面积邻域Nr内的平均深度值,SNr就是该区域的面积,并把该深度值作为主干所处的深度Dt:
<mrow>
<msub>
<mi>D</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
</mrow>
</msub>
<mi>D</mi>
<mi>e</mi>
<mi>p</mi>
<mi>t</mi>
<mi>h</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<msub>
<mi>S</mi>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
</msub>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
(23-2)树木深度值的自适应调整
目标树木主干底部深度变化值为Do-Dt;随着主干深度信息的改变,树木各像素点的相对深度保持不变,树木的其他像素点深度信息也应随之改动;若背景图像对最大深度和最小深度分别为Dmax和Dmin,D1(p)是树木图像中像素点p对应的树木初始化深度值,D2(p)是像素点p自适应调整后的深度值,那么,(Do-Dt)/(Dmax-Dmin)即是主干部分的深度值变化率,树木深度依照深度值变化率进行等比率的深度自适应调整,如下式所示:
<mrow>
<msub>
<mi>D</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>D</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<mfrac>
<mrow>
<msub>
<mi>D</mi>
<mn>0</mn>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>t</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>D</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
由此完成树木图像在背景制定位置的深度自适应调整,得到与背景深度信息相一致的深度图像;
(24)对于单幅2D树木图像及其经自适应调整后的树木深度图,按照以下步骤获得树木立体图像对:
(24-1)计算零视差面Zc,计算方法为:其中Znear和Zfar分别为最近限幅平面和最远限幅平面,在8位的深度图中,Znear=255;Zfar=0;
(24-2)计算视差dp,计算方法为:其中zp是深度,e代表人两眼之间的距离,约为6.5cm,D是人眼观测距离,和分别是左右眼所观察到的目标对象点在立体成像模型上的位置;
(24-3)树木图像的最大视差为Mmax(m),m为长度单位米,立体图像显示器的水平像素分辨率为Screenw(pixel),Pixel表示像素的个数,显示器的水平宽度为Screenw(m),计算像素级别的最大视差Mmax(pixel):
<mrow>
<msub>
<mi>M</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mi>i</mi>
<mi>x</mi>
<mi>e</mi>
<mi>l</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>Screen</mi>
<mi>w</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mi>i</mi>
<mi>x</mi>
<mi>e</mi>
<mi>l</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>Screen</mi>
<mi>w</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>&times;</mo>
<msub>
<mi>M</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
(24-4)以原2D树木图像作为左眼视图,对各个像素点p进行相应视差dp平移得到右视图,左眼视图和右眼视图作为一组立体树木的图像对;
(3)、红蓝立体图像的合成与制作;
利用树木深度信息和立体背景场景的深度信息对比,实现基于遮挡关系的立体图像合成,使得树木与目标背景场景间产生层次关系和近远景的遮挡关系,在此基础上生成红蓝立体图像,用于3D立体场景的显示;
(31)深度融合
与二维图像融合的不同之处在于,由于场景中的不同物体所处的深度位置不一,因而需要考虑景物的遮挡关系:即较近的物体遮挡较远的景物;
基于遮挡关系进行深度融合计算,得到深度融合后的深度图P(x,y):
<mrow>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>F</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>f</mi>
<mi>g</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>b</mi>
<mi>g</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>B</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>f</mi>
<mi>g</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>b</mi>
<mi>g</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,x,y表示图像中任意一点的横纵坐标,Dfg(x,y)树木图像的中任意像素点对应的深度值,Dbg(x,y)是背景立体图像的深度图中任意像素点所对应的任意深度值;Fg(x,y)是树木图像中的任意像素点,Bg(x,y)是背景立体图像中的任意位置像素值;
(32)根据深度融合的情况对树木立体图像对和背景立体图像对进行图像合成时,采用立体图像对的其中一幅视图的G通道和B通道的值,采用另一幅中的R通道的值,将这三个通道的值进行叠加,得到红蓝立体图像效果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610772527.5A CN106231290B (zh) | 2016-08-30 | 2016-08-30 | 基于深度模板的3d树木图像构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610772527.5A CN106231290B (zh) | 2016-08-30 | 2016-08-30 | 基于深度模板的3d树木图像构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106231290A CN106231290A (zh) | 2016-12-14 |
CN106231290B true CN106231290B (zh) | 2018-05-04 |
Family
ID=58072531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610772527.5A Active CN106231290B (zh) | 2016-08-30 | 2016-08-30 | 基于深度模板的3d树木图像构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106231290B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112082475B (zh) * | 2020-08-25 | 2022-05-24 | 中国科学院空天信息创新研究院 | 活立木的种类识别方法与材积测量方法 |
CN116433838B (zh) * | 2023-03-31 | 2024-07-12 | 广州市城市规划勘测设计研究院有限公司 | 一种三维树木符号动态生成方法、装置、终端及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102568027A (zh) * | 2011-12-28 | 2012-07-11 | 浙江工业大学 | 一种像素化的虚拟树木光照影响区域获取方法 |
CN103914867A (zh) * | 2013-12-04 | 2014-07-09 | 仲兰芬 | 一种通过二维树冠轮廓生成三维树木的方法 |
WO2014130039A1 (en) * | 2013-02-21 | 2014-08-28 | Navteq B.V. | Relaying 3d information by depth simulation using 2d pixel displacement |
CN104978765A (zh) * | 2015-06-24 | 2015-10-14 | 北京农业信息技术研究中心 | 基于草图的树木枝干三维模型构建方法 |
-
2016
- 2016-08-30 CN CN201610772527.5A patent/CN106231290B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102568027A (zh) * | 2011-12-28 | 2012-07-11 | 浙江工业大学 | 一种像素化的虚拟树木光照影响区域获取方法 |
WO2014130039A1 (en) * | 2013-02-21 | 2014-08-28 | Navteq B.V. | Relaying 3d information by depth simulation using 2d pixel displacement |
CN103914867A (zh) * | 2013-12-04 | 2014-07-09 | 仲兰芬 | 一种通过二维树冠轮廓生成三维树木的方法 |
CN104978765A (zh) * | 2015-06-24 | 2015-10-14 | 北京农业信息技术研究中心 | 基于草图的树木枝干三维模型构建方法 |
Non-Patent Citations (2)
Title |
---|
《Real-time information recombination of complex 3D tree model based on visual perception》;FAN Jing 等;《SCIENCE CHINA-INFORMATION SCIENCES》;20130930;第56卷(第9期);第1-14页 * |
《面向网络应用的三维树木模型简化方法研究》;董天阳等;《计算机科学》;20160616;第43卷(第6A期);第142-167页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106231290A (zh) | 2016-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI455062B (zh) | 三維視訊內容產生方法 | |
CN101771893B (zh) | 一种基于视频序列背景建模的虚拟视点绘制方法 | |
Tam et al. | 3D-TV content generation: 2D-to-3D conversion | |
CN102972038B (zh) | 图像处理装置、图像处理方法、程序、集成电路 | |
CN102223556B (zh) | 一种多视点立体图像零视差校正方法 | |
CN103971408B (zh) | 三维人脸模型生成***及方法 | |
CN103236082B (zh) | 面向捕获静止场景的二维视频的准三维重建方法 | |
US8977039B2 (en) | Pulling keys from color segmented images | |
US20110134109A1 (en) | Auto-stereoscopic interpolation | |
CN106504190A (zh) | 一种基于3d卷积神经网络的立体视频生成方法 | |
TWI801463B (zh) | 依地物高著色之畫像的產生裝置及依地物高著色之畫像的產生程式 | |
CN103096106A (zh) | 图像处理设备和方法 | |
CN104081768B (zh) | 异视点图像生成装置以及异视点图像生成方法 | |
CN111988593B (zh) | 一种基于深度残差优化的立体图像颜色校正方法及*** | |
CN101271578A (zh) | 一种平面视频转立体视频技术中的深度序列生成方法 | |
CN103702103B (zh) | 基于双目相机的光栅立体印刷图像合成方法 | |
CN104301706B (zh) | 一种增强裸眼立体显示效果的合成方法 | |
CN109769109A (zh) | 基于虚拟视点合成绘制三维物体的方法和*** | |
CN107147894B (zh) | 一种自由立体显示中的虚拟视点图像生成方法 | |
CN102098528A (zh) | 一种平面图像的立体转换方法及装置 | |
CN102609950A (zh) | 一种二维视频深度图的生成方法 | |
CN106231290B (zh) | 基于深度模板的3d树木图像构建方法 | |
SA522440638B1 (ar) | طريقة ونظام لتقليل إخراج بيانات محاكاة الخزان | |
CN104574487B (zh) | 数据处理装置以及数据处理方法 | |
KR101071911B1 (ko) | 3차원 입체 영상 생성 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |