CN110751615B - 基于环境感知的立体树木图像融合方法 - Google Patents
基于环境感知的立体树木图像融合方法 Download PDFInfo
- Publication number
- CN110751615B CN110751615B CN201910806086.XA CN201910806086A CN110751615B CN 110751615 B CN110751615 B CN 110751615B CN 201910806086 A CN201910806086 A CN 201910806086A CN 110751615 B CN110751615 B CN 110751615B
- Authority
- CN
- China
- Prior art keywords
- fusion
- tree
- color
- image
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 8
- 230000008447 perception Effects 0.000 title claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 109
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
基于环境感知的立体树木图像融合方法,包括如下步骤:步骤1.获取树木对象;步骤2.深度一致性视差融合;步骤3.调整图像色差,处理遮挡。本发明构建的树木视差图能够体现树木的多层次特性,融合后的视差图,能保证融合树木与目标场景在深度域上的整体一致性,生成的图像树木融合效果相比泊松融合和透明度融合更加自然,能够有效处理融合前后景的遮挡关系。
Description
技术领域
本发明涉及构建立体树木图像无缝融合的方法。
背景技术
目前3D多媒体技术受到越来越多的关注,对立体图像及视频编辑技术的要求也越来越高。树木对象被广泛应用在虚拟城市建设、虚拟游戏等方面,因此,如果利用2D树木对象直观的融入到3D场景,将会大大的简化,加快立体场景的构建,故本发明主要目的是实现2D树木图像到3D目标立体场景的自然融合。
如何实现更加自然、无缝的融合是融合问题研究的关键。2D树木图像结构复杂,很难通过简单的用户交互将对象从背景图像中分离出来。并且2D图像融合于3D场景中易出现“纸片化”、遮挡、深度不一致等情况,从而无法实现自然融合。
发明内容
本发明要克服现有技术的上述缺点,提供一种基于环境感知的立体树木图像融合方法。
本发明设计了一种基于环境感知的立体树木图像融合方法,实现2D树木图像到3D场景的自然融合。首先通过用户交互绘制三色图,获取出树木对象粗略图;再采用K-Means聚类算法过滤掉树冠区域中夹杂的背景信息,得到树木对象精细图;接着对树木对象采用深度模板映射建立多层次深度图;根据指定融合位置,对树木对象视差进行自适应调整生成融合视差图;然后基于目标场景光照、颜色进行自适应调整,使之与目标场景实现无缝融合;根据融合后的视差图对场景的遮挡关系进行处理;最后通过立体图像构建技术生成3D图像。
基于环境感知的立体树木图像融合方法,包括如下步骤:
1.获取树木对象;
(11)获取三色图,具体如下;
自然图像的任意像素是对应前景和背景的线性组合:
Iz=αzFz+(1-αz)Bz (1)
其中,z表示图像中任一像素点,Iz表示z的像素值,Fz表示z处的前景色,Bz表示z处的背景色,αz是z处前景色与背景色加权的比例,取值在[0,1]之间;αz为0时,z点为绝对背景,αz为1时,为绝对前景;三色图把图像分为绝对前景、绝对背景和未知区域三个区域;
(12)提取树木对象粗略的透明度,具体如下;
根据未知像素到已知前景和背景的距离动态变化采样范围,获取未知像素真实的前景、背景集;候选样本对表示为(Fj,Bj)即前景色、背景色对;然后,根据图像的色彩失真,空间和颜色统计选取最佳候选对Oz(Fj,Bj),即:
Oz(Fj,Bj)=Kz(Fj,Bj)×Sz(Fj,Bj)×CZ(Fj,Bj) (2)
其中,j为采样范围内任意像素点,Kz(Fj,Bj)颜色失真函数,Sz(Fj,Bj)图像空间统计函数,CZ(Fj,Bj)图像颜色统计函数;
任一样本对(Fj,Bj)与未知像素z之间的颜色差异Kz(Fj,Bj)为:
Kz(Fj,Bj)=exp(-||Iz-(αFj+(1-α)Bj)||) (3)
其中,α是前景色与背景色的加权比例;
样本对(Fj,Bj)与未知像素z之间的空间距离Sz(Fj,Bj)为:
其中,分别为未知像素z的已知前景和背景样本的集合;k为前景样本集合中的任意像素点,Fk为k处的前景色;n为背景样本集合的任意像素点,Bn为n处的背景色;分别为前景和背景集合的大小,为j处前景Fj的空间坐标,为j处背景Bj的空间坐标,分别为z与Fj和Bj的欧式距离;
图像颜色统计函数CZ(Fj,Bj)为:
其中,Mz为z处的尺度因子,d(Fj,Bj)表示Fj,Bj间的科恩颜色距离值;
根据最佳候选对(F,B),估计αz值:
(13)输入原始树木图像与对应三色图结合,并根据前景色与背景色加权的比例α的值粗略地扣取树木,用K-Means聚类算法进行再次过滤,得到优化后的树木对象;
2.深度一致性视差融合;
为避免立体树木在3D场景中“纸片化”,采用基于深度模板的深度信息构建方法建立多层次结构树木结构,并采用基于融合点的深度一致性视差调整,使融合后树木对象的深度和融合场景保持一致;
首先实现实时的深度一致性融合;将泊松方程转换成拉普拉斯方程,再用加权MVC(Mean-Value coordinates,均值坐标)生成融合结果,在梯度域内重构2D树木对象的深度;
目标是求解MVC的加权均值λ1,...,λm-1,其定义如下:
其中,λi(t)为以t为中心的边界中第i个顶点的加权均值;
泊松融合的目的就是要寻找未知函数f,使融合区域在边界上和目标图像保持一致的同时,梯度场尽可能接近源图像g的梯度场,泊松融合进一步可以表示为:
计算出平滑膜后,泊松融合的结果可以表示为:
f=g+r(t) (12)
对于不同融合位置点,树木成像大小和视差之间有一定的关系,为符合双目视觉成像原理,采用平行摄像机模型;图像视差为Q=ul-uR,ul和uR分别为物体在左右视图的横坐标;成像大小u与图像视差之间的关系为u=LQ/b,u为成像大小,b是两个摄像机的基线距离,L为场景物体的实际大小;即成像大小与图像视差以及基线有关;由此可知,物体距离镜头越远,其对应物体的视差范围也越小,因此,如果融合位置较近,树木的层次感强,如果树木距离屏幕较远,树木层次感弱,树木的深度范围应该随着融合位置的远近变化;
3.改善图像失色,处理遮挡;
为使融合效果更加自然,采用透明度对立体图像的失色情况进行优化;同时,对融合后场景的前后景遮挡进行处理来避免视觉错误;具体步骤如下:
(31)颜色调整,具体步骤如下;
S1.在融合区域中引入自适应权重w来控制颜色变化;融合区域公式为:
Iz=wzqz+(1-wz)ρz (13)
z表示图像中的任意像素点,ρz表示像素点z泊松融合结果,qz表示z处透明度融合结果,wz表示z处颜色自适应权值;
S2.通过对源图像和目标图像的亮度对比信息作为调节颜色权值依据;亮度对比系数的计算流程如下:
计算自适应权值:
d为内部融合区域的方差,a为融合区域的均值,ε为亮度阈值;χ为常数0.8;
(32)3D融合由于融合位置不同,不同物体间可能存在遮挡,需对融合树木前后遮挡问题进行处理;采用基于深度计算的遮挡方法,具体步骤如下;
首先,计算真实场景的深度信息,再根据树木对象的融合位置,判断树木对象与真实场景的空间位置关系;融合后的视差图计算公式为:
(x,y)为像素点的坐标,Dfg表示前景中像素点的视差图,Dbg表示背景中像素点的视差图,blend是融合后的视差图;
基于融合后的视差图,判定树木遮挡,如果树木这一前景视差值大于等于背景视差值,说明树木更靠前;否则,树木在目标场景受到遮挡;重建3D树木的深度结构,将重建树木的深度与目标场景的深度信息进行比较,对未遮挡部分进行相应的渲染。
本发明的优点是:将基于采样抠图的方法和树木颜色特点进行有效结合,更加精确地提取出树木对象的透明度,既无需大量用户交互,又提高了抠图的准确性;采用基于透明度的融合和基于梯度域的融合相结合的方式,减少不同背景下的树木对象染色问题,使融合效果更加自然:融合过程能处理遮挡,避免融合异常。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
基于环境感知的立体树木图像融合方法,包括如下步骤:
1.获取树木对象;
(11)获取三色图,具体如下;
自然图像的任意像素是对应前景和背景的线性组合:
Iz=αzFz+(1-αz)Bz (1)
其中,z表示图像中任一像素点,Iz表示z的像素值,Fz表示z处的前景色,Bz表示z处的背景色,αz是z处前景色与背景色加权的比例,取值在[0,1]之间;αz为0时,z点为绝对背景,αz为1时,为绝对前景;三色图把图像分为绝对前景、绝对背景和未知区域三个区域;
(12)提取树木对象粗略的透明度,具体如下;
根据未知像素到已知前景和背景的距离动态变化采样范围,获取未知像素真实的前景、背景集;候选样本对表示为(Fj,Bj)即前景色、背景色对;然后,根据图像的色彩失真,空间和颜色统计选取最佳候选对Oz(Fj,Bj),即:
Oz(Fj,Bj)=Kz(Fj,Bj)×Sz(Fj,Bj)×Cz(Fj,Bj) (2)
其中,j为采样范围内任意像素点,Kz(Fj,Bj)颜色失真函数,Sz(Fj,Bj)图像空间统计函数,Cz(Fj,Bj)图像颜色统计函数;
任一样本对(Fj,Bj)与未知像素z之间的颜色差异Kz(Fj,Bj)为:
Kz(Fj,Bj)=exp(-||Iz-(αFj+(1-α)Bj)||) (3)
其中,α是前景色与背景色的加权比例;
样本对(Fj,Bj)与未知像素z之间的空间距离Sz(Fj,Bj)为:
其中,分别为未知像素z的已知前景和背景样本的集合;k为前景样本集合中的任意像素点,Fk为k处的前景色;n为背景样本集合的任意像素点,Bn为n处的背景色;分别为前景和背景集合的大小,为j处前景Fj的空间坐标,为j处背景Bj的空间坐标,分别为z与Fj和Bj的欧式距离;
图像颜色统计函数Cz(Fj,Bj)为:
其中,Mz为z处的尺度因子,d(Fj,Bj)表示Fj,Bj间的科恩颜色距离值;
根据最佳候选对(F,B),估计αz值:
(13)输入原始树木图像与对应三色图结合,并根据前景色与背景色加权的比例α的值粗略地扣取树木,用K-Means聚类算法进行再次过滤,得到优化后的树木对象;
2.深度一致性视差融合;
为避免立体树木在3D场景中“纸片化”,采用基于深度模板的深度信息构建方法建立多层次结构树木结构,并采用基于融合点的深度一致性视差调整,使融合后树木对象的深度和融合场景保持一致;
首先实现实时的深度一致性融合;将泊松方程转换成拉普拉斯方程,再用加权MVC(Mean-Value coordinates,均值坐标)生成融合结果,在梯度域内重构2D树木对象的深度;
目标是求解MVC的加权均值λ1,...,λm-1,其定义如下:
其中,λi(t)为以t为中心的边界中第i个顶点的加权均值;
泊松融合的目的就是要寻找未知函数f,使融合区域在边界上和目标图像保持一致的同时,梯度场尽可能接近源图像g的梯度场,泊松融合进一步可以表示为:
计算出平滑膜后,泊松融合的结果可以表示为:
f=g+r(t) (12)
对于不同融合位置点,树木成像大小和视差之间有一定的关系,为符合双目视觉成像原理,采用平行摄像机模型;图像视差为Q=ul-uR,ul和uR分别为物体在左右视图的横坐标;成像大小u与图像视差之间的关系为u=LQ/b,u为成像大小,b是两个摄像机的基线距离,L为场景物体的实际大小;即成像大小与图像视差以及基线有关;由此可知,物体距离镜头越远,其对应物体的视差范围也越小,因此,如果融合位置较近,树木的层次感强,如果树木距离屏幕较远,树木层次感弱,树木的深度范围应该随着融合位置的远近变化;3.改善图像失色,处理遮挡;
为使融合效果更加自然,采用透明度对立体图像的失色情况进行优化;同时,对融合后场景的前后景遮挡进行处理来避免视觉错误;具体步骤如下:
(31)颜色调整,具体步骤如下;
S1.在融合区域中引入自适应权重w来控制颜色变化;融合区域公式为:
Iz=wzqz+(1-w)ρz (13)
z表示图像中的任意像素点,ρz表示像素点z泊松融合结果,qz表示z处透明度融合结果,wz表示z处颜色自适应权值;
S2.通过对源图像和目标图像的亮度对比信息作为调节颜色权值依据;亮度对比系数的计算流程如下:
计算自适应权值:
d为内部融合区域的方差,a为融合区域的均值,ε为亮度阈值,χ为常数0.8;
(32)3D融合由于融合位置不同,不同物体间可能存在遮挡,需对融合树木前后遮挡问题进行处理;采用基于深度计算的遮挡方法,具体步骤如下;
首先,计算真实场景的深度信息,再根据树木对象的融合位置,判断树木对象与真实场景的空间位置关系;融合后的视差图计算公式为:
(x,y)为像素点的坐标,Dfg表示前景中像素点的视差图,Dbg表示背景中像素点的视差图,blend是融合后的视差图;
基于融合后的视差图,判定树木遮挡,如果树木这一前景视差值大于等于背景视差值,说明树木更靠前;否则,树木在目标场景受到遮挡;重建3D树木的深度结构,将重建树木的深度与目标场景的深度信息进行比较,对未遮挡部分进行相应的渲染。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.基于环境感知的立体树木图像融合方法,包括如下步骤:
步骤1.获取树木对象;
(11)获取三色图,具体如下;
自然图像的任意像素是对应前景和背景的线性组合:
Iz=αzFz+(1-αz)Bz (1)
其中,z表示图像中任一像素点,Iz表示z的像素值,Fz表示z处的前景色,Bz表示z处的背景色,αz是z处前景色与背景色加权的比例,取值在[0,1]之间;αz为0时,z点为绝对背景,αz为1时,为绝对前景;三色图把图像分为绝对前景、绝对背景和未知区域三个区域;
(12)提取树木对象粗略的透明度,具体如下;
根据未知像素到已知前景和背景的距离动态变化采样范围,获取未知像素真实的前景、背景集;候选样本对表示为(Fj,Bj)即前景色、背景色对;然后,根据图像的色彩失真,空间和颜色统计选取最佳候选对Oz(Fj,Bj),即:
Oz(Fj,Bj)=Kz(Fj,Bj)×Sz(Fj,Bj)×CZ(Fj,Bj) (2)
其中,j为采样范围内任意像素点,Kz(Fj,Bj)颜色失真函数,Sz(Fj,Bj)图像空间统计函数,CZ(Fj,Bj)图像颜色统计函数;
任一样本对(Fj,Bj)与未知像素z之间的颜色差异Kz(Fj,Bj)为:
Kz(Fj,Bj)=exp(-||Iz-(αFj+(1-α)Bj)||) (3)
其中,α是前景色与背景色的加权比例;
样本对(Fj,Bj)与未知像素z之间的空间距离Sz(Fj,Bj)为:
其中,分别为未知像素z的已知前景和背景样本的集合,k为前景样本集合中的任意像素点,Fk为k处的前景色;n为背景样本集合的任意像素点,Bn为n处的背景色;分别为前景和背景集合的大小,为j处前景Fj的空间坐标,为j处背景Bj的空间坐标,分别为z与Fj和Bj的欧式距离;
图像颜色统计函数CZ(Fj,Bj)为:
其中,Mz为z处的尺度因子,d(Fj,Bj)表示Fj,Bj间的科恩颜色距离值;
根据最佳候选对(F,B),估计αz值:
(13)输入原始树木图像与对应三色图结合,并根据前景色与背景色加权的比例α的值粗略地扣取树木,用K-Means聚类算法进行再次过滤,得到优化后的树木对象;
步骤2.深度一致性视差融合;
为避免立体树木在3D场景中“纸片化”,采用基于深度模板的深度信息构建方法建立多层次结构树木结构,并采用基于融合点的深度一致性视差调整,使融合后树木对象的深度和融合场景保持一致;
首先实现实时的深度一致性融合;将泊松方程转换成拉普拉斯方程,再用加权MVC,即Mean-Value coordinates,生成融合结果,在梯度域内重构2D树木对象的深度;
目标是求解MVC的加权均值λ1,...,λm-1,其定义如下:
其中,λi(t)为以t为中心的边界中第i个顶点的加权均值;
泊松融合的目的就是要寻找未知函数f,使融合区域在边界上和目标图像保持一致的同时,梯度场尽可能接近源图像g的梯度场,泊松融合进一步可以表示为:
计算出平滑膜后,泊松融合的结果可以表示为:
f=g+r(t) (12)
对于不同融合位置点,树木成像大小和视差之间有一定的关系,为符合双目视觉成像原理,采用平行摄像机模型;图像视差为Q=ul-uR,ul和uR分别为物体在左右视图的横坐标;成像大小u与图像视差之间的关系为u=LQ/b,u为成像大小,b是两个摄像机的基线距离,L为场景物体的实际大小;即成像大小与图像视差以及基线有关;由此可知,物体距离镜头越远,其对应物体的视差范围也越小,因此,如果融合位置较近,树木的层次感强,如果树木距离屏幕较远,树木层次感弱,树木的深度范围应该随着融合位置的远近变化;
步骤3.改善图像失色,处理遮挡;
为使融合效果更加自然,采用透明度对立体图像的失色情况进行优化;同时,对融合后场景的前后景遮挡进行处理来避免视觉错误;具体步骤如下:
(31)颜色调整,具体步骤如下;
S1.在融合区域中引入自适应权重w来控制颜色变化;融合区域公式为:
Iz=wzqz+(1-wz)ρz (13)
z表示图像中的任意像素点,ρz表示像素点z处泊松融合结果,qz表示z处透明度融合结果,wz表示z处颜色自适应权值;
S2.通过对源图像和目标图像的亮度对比信息作为调节颜色权值依据;亮度对比系数的计算流程如下:
计算自适应权值:
d为内部融合区域的方差,a为融合区域的均值,ε为亮度阈值,χ为常数0.8;
(32)3D融合由于融合位置不同,不同物体间可能存在遮挡,需对融合树木前后遮挡问题进行处理;采用基于深度计算的遮挡方法,具体步骤如下;
首先,计算真实场景的深度信息,再根据树木对象的融合位置,判断树木对象与真实场景的空间位置关系;融合后的视差图计算公式为:
(x,y)为像素点的坐标,Dfg表示前景中像素点的视差图,Dbg表示背景中像素点的视差图,blend是融合后的视差图;
基于融合后的视差图,判定树木遮挡,如果树木这一前景视差值大于等于背景视差值,说明树木更靠前;否则,树木在目标场景受到遮挡;重建3D树木的深度结构,将重建树木的深度与目标场景的深度信息进行比较,对未遮挡部分进行相应的渲染。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910806086.XA CN110751615B (zh) | 2019-08-29 | 2019-08-29 | 基于环境感知的立体树木图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910806086.XA CN110751615B (zh) | 2019-08-29 | 2019-08-29 | 基于环境感知的立体树木图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110751615A CN110751615A (zh) | 2020-02-04 |
CN110751615B true CN110751615B (zh) | 2021-06-08 |
Family
ID=69275895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910806086.XA Active CN110751615B (zh) | 2019-08-29 | 2019-08-29 | 基于环境感知的立体树木图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110751615B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462318B (zh) * | 2020-05-26 | 2022-05-17 | 南京大学 | 一种基于视点互信息的三维树木模型实时简化方法 |
CN111860409A (zh) * | 2020-07-29 | 2020-10-30 | 广东智媒云图科技股份有限公司 | 一种通过无人机对电缆线进行巡检的方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003284002A8 (en) * | 2002-10-08 | 2004-05-04 | Univ Colorado | Kinematic and deformation analysis of 4-d coronary arterial trees reconstructed from cine angiograms |
CN103020963A (zh) * | 2012-11-29 | 2013-04-03 | 北京航空航天大学 | 一种基于自适应分水岭的图割的多目立体匹配方法 |
CN108319973A (zh) * | 2018-01-18 | 2018-07-24 | 仲恺农业工程学院 | 一种树上柑橘果实检测方法 |
US10140733B1 (en) * | 2017-09-13 | 2018-11-27 | Siemens Healthcare Gmbh | 3-D vessel tree surface reconstruction |
CN109345444A (zh) * | 2018-08-30 | 2019-02-15 | 浙江工业大学 | 深度感知增强的超分辨率立体图像构建方法 |
-
2019
- 2019-08-29 CN CN201910806086.XA patent/CN110751615B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003284002A8 (en) * | 2002-10-08 | 2004-05-04 | Univ Colorado | Kinematic and deformation analysis of 4-d coronary arterial trees reconstructed from cine angiograms |
CN103020963A (zh) * | 2012-11-29 | 2013-04-03 | 北京航空航天大学 | 一种基于自适应分水岭的图割的多目立体匹配方法 |
US10140733B1 (en) * | 2017-09-13 | 2018-11-27 | Siemens Healthcare Gmbh | 3-D vessel tree surface reconstruction |
CN108319973A (zh) * | 2018-01-18 | 2018-07-24 | 仲恺农业工程学院 | 一种树上柑橘果实检测方法 |
CN109345444A (zh) * | 2018-08-30 | 2019-02-15 | 浙江工业大学 | 深度感知增强的超分辨率立体图像构建方法 |
Non-Patent Citations (1)
Title |
---|
2D-to-3D method via semantic depth transfer;Yuan H X 等;《Journal of Computer-Aided Design &Computer Graphics》;20141231;第72-80页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110751615A (zh) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10949978B2 (en) | Automatic background replacement for single-image and multi-view captures | |
Chang et al. | Content-aware display adaptation and interactive editing for stereoscopic images | |
US9445072B2 (en) | Synthesizing views based on image domain warping | |
US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
KR101342987B1 (ko) | 3d 이미지의 컬러 보정을 위한 방법 및 시스템 | |
Feng et al. | Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications | |
CN101287143B (zh) | 基于实时人机对话的平面视频转立体视频的方法 | |
JP4625805B2 (ja) | 3次元モデルをスケーリングする方法及びスケーリングユニット | |
US20200320727A1 (en) | Method and apparatus for generating a three-dimensional model | |
CN110381268B (zh) | 生成视频的方法,装置,存储介质及电子设备 | |
US20150379720A1 (en) | Methods for converting two-dimensional images into three-dimensional images | |
JP2010154422A (ja) | 画像処理装置 | |
Maier et al. | Super-resolution keyframe fusion for 3D modeling with high-quality textures | |
CN110751615B (zh) | 基于环境感知的立体树木图像融合方法 | |
Jung | A modified model of the just noticeable depth difference and its application to depth sensation enhancement | |
KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
Kunert et al. | An efficient diminished reality approach using real-time surface reconstruction | |
Waschbüsch et al. | 3d video billboard clouds | |
Sun et al. | Seamless view synthesis through texture optimization | |
US20220309733A1 (en) | Surface texturing from multiple cameras | |
JP2019149112A (ja) | 合成装置、方法及びプログラム | |
Cho et al. | Depth image processing technique for representing human actors in 3DTV using single depth camera | |
Gunnewiek et al. | Coherent spatial and temporal occlusion generation | |
Li et al. | Tour into the picture revisited | |
Heindl et al. | Capturing photorealistic and printable 3d models using low-cost hardware |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |