CN101556700B - 一种虚拟视点图像绘制方法 - Google Patents
一种虚拟视点图像绘制方法 Download PDFInfo
- Publication number
- CN101556700B CN101556700B CN2009100988301A CN200910098830A CN101556700B CN 101556700 B CN101556700 B CN 101556700B CN 2009100988301 A CN2009100988301 A CN 2009100988301A CN 200910098830 A CN200910098830 A CN 200910098830A CN 101556700 B CN101556700 B CN 101556700B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- coloured image
- view
- current block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种虚拟视点图像绘制方法,优点在于通过将参考视点的彩色图像分成若干个尺寸大小相同的块,并对各个块的平坦性进行判断,对于平坦块,只需对该块中的一个像素点实施三维图像变换以确定将该像素点从参考视点彩色图像投影到虚拟视点彩色图像的坐标映射关系,然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中,由于只对一个像素点实施三维图像变换,因而可有效提高平坦块的绘制速度;而对于非平坦块则仍采用逐像素映射的三维图像变换方法将非平坦块中的各个像素点映射到需绘制的虚拟视点彩色图像中,这样可有效保证绘制精度,两者的结合使得在保证虚拟视点彩色图像绘制精度的同时,大大提高了绘制的速度。
Description
技术领域
本发明涉及一种自由视点电视技术,尤其是涉及一种自由视点电视中的虚拟视点图像绘制方法。
背景技术
自由视点电视(Free viewpoint TV,FTV)是一种先进的视觉模式,它具有交互性和临场感,可以满足人们从不同角度观看三维场景的需求。自由视点电视***通常由多视点视频信号采集、校正、编码、网络传输、解码、绘制和显示等几部分组成。
基于彩色图像的绘制是自由视点电视***的关键技术之一,它是从一系列已知的参考视点的彩色图像出发绘制生成虚拟视点图像的方法。与传统的绘制技术相比,它具有不需要复杂的三维场景建模、绘制速度快、适合于合成场景和真实场景等优点。基于深度图像的绘制(Depth Image Based Rendering,DIBR)是一种利用参考视点的彩色图像及该参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法。DIBR由于将场景的深度信息引入到虚拟视点图像绘制中,从而大大减少了虚拟视点图像绘制所需的参考视点的数目。
DIBR通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息来合成三维场景的虚拟视点图像。其过程如下:首先利用深度信息将参考视点的彩色图像中的所有像素点重投影到实际的三维空间中,然后再将这些三维空间中的点投影到目标图像平面即虚拟视点图像平面上。这个从二维到三维的重投影以及从三维再到二维的投影被称为三维图像变换(3D image warping)。
虚拟视点图像绘制质量的好坏以及绘制的速度对于自由视点电视***的性能是至关重要的。现有的基于深度图像的虚拟视点图像绘制算法为保证绘制的精度一般采用逐像素进行三维图像变换(3D image warping)的映射方法,因此计算复杂度过高,要满足实时观看需求还存在一定的困难。
发明内容
本发明所要解决的技术问题是提供一种在能够保证绘制精度的同时,提高绘制速度的虚拟视点图像绘制方法。
本发明解决上述技术问题所采用的技术方案为:一种虚拟视点图像绘制方法,包括以下具体步骤:
①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅深度图像,将t时刻的第k个参考视点的彩色图像记为IR,t k,将t时刻的第k个参考视点的深度图像记为DR,t k,将t时刻的第k个参考视点的彩色图像IR,t k划分成NR k个尺寸大小为(p+Δp)×(q+Δq)的块,记第k个参考视点的彩色图像IR,t k中的第n个块为Bn k,其中,k∈[1,K], Δp表示块Bn k与其右相邻块之间重叠的像素点的列数,0≤Δp≤p,当Δp=0时表示块Bn k与其右相邻块不重叠或表示块Bn k为第k个参考视点的彩色图像IR,t k的右边界处的块,Δq表示块Bn k与其下相邻块之间重叠的像素点的行数,0≤Δq≤q,当Δq=0时表示块Bn k与其下相邻块不重叠或表示块Bn k为第k个参考视点的彩色图像IR,t k的下边界处的块;
②定义第k个参考视点的彩色图像IR,t k中的第n个块Bn k为当前块Bn k,判断当前块Bn k是否为平坦块,如果当前块Bn k为非平坦块,则利用第k个参考视点的深度图像DR,t k所提供的深度信息,采用公知的三维图像变换方法逐像素点计算当前块Bn k中的各个像素点在需绘制的虚拟视点彩色图像中的坐标位置,并将当前块Bn k中的各个像素点逐像素点地映射到需绘制的虚拟视点彩色图像中;如果当前块Bn k为平坦块,则选取当前块Bn k中的一个像素点,再利用第k个参考视点的深度图像DR,t k所提供的该像素点的深度信息,采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像中的坐标位置,得到把该像素点从第k个参考视点的彩色图像IR,t k映射到需绘制的虚拟视点彩色图像中的坐标映射关系,并利用该坐标映射关系将当前块Bn k中的各个像素点映射到需绘制的虚拟视点彩色图像中,具体处理过程如下:a.任取当前块Bn k中的一个像素点,记该像素点的坐标为(xc,yc),将该像素点到当前块Bn k的左边界的距离记为Δx,将该像素点到当前块Bn k的下边界的距离记为Δy,则该像素点到当前块Bn k的右边界的距离为(p+Δp)-Δx-1,该像素点到当前块Bn k的上边界的距离为(q+Δq)-Δy-1;b.利用第k个参考视点的深度图像DR,t k所提供的坐标为(xc,yc)的像素点的深度信息,采用公知的三维图像变换方法计算坐标为(xc,yc)的像素点在需绘制的虚拟视点彩色图像中的坐标位置,记计算得到的坐标位置为(x′c,y′c);c.计算需绘制的虚拟视点彩色图像中坐标为(x′,y′)的像素点的像素值,其中,(x′c-Δx)≤x′≤(x′c+((p+Δp)-Δx-1)),(y′c-Δy)≤y′≤(y′c+((q+Δq)-Δy-1)),记由第k个参考视点的彩色图像IR,t k和第k个参考视点的深度图像DR,t k绘制得到的虚拟视点彩色图像为ID,t k,记虚拟视点彩色图像ID,t k中坐标为(x′,y′)的像素点的像素值为ID,t k(x′,y′), 其中,IR,t k(xc+x′-x′c,yc+y′-y′c)为第k个参考视点的彩色图像IR,t k中坐标为(xc+x′-x′c,yc+y′-y′c)的像素点的像素值;在采用公知的三维图像变换方法确定平坦块和非平坦块的映射关系时,如果需绘制的虚拟视点彩色图像ID,t k中坐标为(x′,y′)的像素点与第k个参考视点的彩色图像IR,t k中的多个像素点相对应,则虚拟视点彩色图像ID,t k中坐标为(x′,y′)的像素点的像素值ID,t k(x′,y′)取第k个参考视点的彩色图像IR,t k中与坐标为(x′,y′)的像素点对应的多个像素点中深度值最小的像素点的像素值;
③重复步骤②将第k个参考视点的彩色图像IR,t k中的所有块全部映射到需绘制的虚拟视点彩色图像ID,t k中,得到由第k个参考视点的彩色图像IR,t k和第k个参考视点的深度图像DR,t k绘制的虚拟视点彩色图像ID,t k;
④重复步骤①~③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制的K幅虚拟视点彩色图像,K幅虚拟视点彩色图像用集合表示为
⑤采用图像融合方法融合由K个参考视点的彩色图像和其对应的深度图像分别绘制得到的K幅虚拟视点彩色图像,得到融合后的虚拟视点彩色图像,记融合后的虚拟视点彩色图像为I′D,t,并对融合后的虚拟视点彩色图像I′D,t中的空洞像素点进行填补,得到最终的虚拟视点彩色图像,记最终的虚拟视点彩色图像为ID,t。
所述的步骤②中判断当前块Bn k是否为平坦块的具体过程为:计算当前块Bn k的背离值E,判断当前块Bn k的背离值E是否大于设定的阈值T,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
所述的当前块Bn k的背离值E通过 、 、 中的任一种公式计算得到,其中,i=1或i=2,IR,t k(x,y)表示当前块Bn k中坐标为(x,y)的像素点的像素值,表示当前块Bn k中的所有像素点的像素值的均值,
所述的阈值T的值为T=E±σ,其中,E为第k个参考视点的彩色图像IR,t k中的所有块 的背离值E构成的集合 的均值,σ为第k个参考视点的彩色图像IR,t k中的所有块 的背离值E构成的集合 的标准差。
所述的步骤②中判断当前块Bn k是否为平坦块的具体过程为:计算第k个参考视点的深度图像DR,t k中与当前块Bn k的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E,判断该对应块的背离值E是否大于设定的阈值T,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
所述的第k个参考视点的深度图像DR,t k中与当前块Bn k的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E通过 、 、 中的任一种公式计算得到,其中,i=1或i=2,DR,t k(x,y)表示对应块中坐标为(x,y)的像素点的像素值,表示对应块中的所有像素点的像素值的均值,
所述的阈值T的值为T=E±σ,其中,E为第k个参考视点的深度图像DR,t k中与第k个参考视点的彩色图像IR,t k中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δp)的各个对应块的背离值E构成的集合 的均值,σ为第k个参考视点的深度图像DR,t k中与第k个参考视点的彩色图像IR,t k中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 的标准差。
所述的步骤②中判断当前块Bn k是否为平坦块的具体过程为:首先采用公知的边缘检测方法对第k个参考视点的彩色图像IR,t k进行边缘检测,得到第k个参考视点的彩色图像IR,t k的二值化边缘图像,记该二值化边缘图像为EdgeI k,该二值化边缘图像EdgeI k中像素值为1的像素点为边缘像素,表示第k个参考视点的彩色图像IR,t k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的彩色图像IR,t k的边缘,该二值化边缘图像EdgeI k中像素值为0的像素点为非边缘像素,表示第k个参考视点的彩色图像IR,t k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的彩色图像IR,t k的边缘;然后判断该二值化边缘图像EdgeI k中与第k个参考视点的彩色图像IR,t k的当前块Bn k坐标位置相同的对应块中是否包含有边缘像素,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
所述的步骤②中判断当前块Bn k是否为平坦块的具体过程为:首先采用公知的边缘检测方法对第k个参考视点的深度图像DR,t k进行边缘检测,得到第k个参考视点的深度图像DR,t k的二值化边缘图像,记该二值化边缘图像为EdgeD k,该二值化边缘图像EdgeD k中像素值为1的像素点为边缘像素,表示第k个参考视点的深度图像DR,t k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的深度图像DR,t k的边缘,该二值化边缘图像EdgeD k中像素值为0的像素点为非边缘像素,表示第k个参考视点的深度图像DR,t k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的深度图像DR,t k的边缘;然后判断该二值化边缘图像EdgeD k中与第k个参考视点的彩色图像IR,t k的当前块Bn k坐标位置相同的对应块中是否包含有边缘像素,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
所述的步骤⑤中对融合后的虚拟视点彩色图像I′D,t中的空洞像素点进行填补的具体过程为:⑤-1、判断由K幅虚拟视点彩色图像 融合得到的有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点是否为空洞像素点,如果是,则继续执行,否则,不进行填补操作,直接转步骤⑤-3;⑤-2、比较该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点的深度值与(t-j)时刻的最终的虚拟视点彩色图像ID,t-j中坐标为(x,y)的像素点的深度值,判断这两个深度值之差是否小于设定值,如果是,则将(t-j)时刻的最终的虚拟视点彩色图像ID,t-j中坐标为(x,y)的像素点的像素值作为该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点的像素值,并结束该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点的空洞填补过程,其中,1≤j≤α,α为整常数;否则,将j的值加1,并判断j的值是否大于α,如果j的值小于等于α,则重复执行步骤⑤-2,如果j的值大于α,则采用公知的图像插值方法填补该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点;⑤-3、重复执行步骤⑤-1和⑤-2直至填补完融合后的虚拟视点彩色图像I′D,t中的所有空洞像素点,得到最终的虚拟视点彩色图像ID,t。步骤⑤中对融合后的虚拟视点彩色图像I′D,t中的空洞像素点进行填补也可直接采用公知的图像插值方法进行实施,得到最终的虚拟视点彩色图像ID,t。
与现有技术相比,本发明的优点在于通过将参考视点的彩色图像分成若干个尺寸大小相同的块,并对各个块的平坦性进行判断,对于平坦块,只需对该块中的一个像素点实施三维图像变换以确定将该像素点从参考视点彩色图像投影到虚拟视点彩色图像的坐标映射关系,然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中,由于只对一个像素点实施三维图像变换,因而可有效提高平坦块的绘制速度;而对于非平坦块则仍采用逐像素映射的三维图像变换方法将非平坦块中的各个像素点映射到需绘制的虚拟视点彩色图像中,这样可有效保证绘制精度,两者的结合使得在保证虚拟视点彩色图像绘制精度的同时,大大提高了绘制的速度。
附图说明
图1a为t时刻的第1个参考视点的尺寸大小为1024×768的彩色图像IR,t 1;
图1b为t时刻的第2个参考视点的尺寸大小为1024×768的彩色图像IR,t 2;
图2a为图1a所示的彩色图像IR,t 1对应的第1个参考视点的尺寸大小为1024×768的深度图像DR,t 1;
图2b为图1b所示的彩色图像IR,t 2对应的第2个参考视点的尺寸大小为1024×768的深度图像DR,t 2;
图3为第k个参考视点的彩色图像IR,t k的互不重叠块的划分方式示意图;
图4为第k个参考视点的彩色图像IR,t k的相邻块之间部分重叠的块划分方式示意图;
图5为将当前块中各个像素点采用相同的坐标映射关系映射到需绘制的虚拟视点彩色图像ID,t k中的过程示意图;
图6a为利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用逐像素进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D,t;
图6b为利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D,t,其中p=q=8,Δp=Δq=0;
图6c为利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D,t,其中p=q=8,Δp=Δq=1;
图7a为图6a的局部图像;
图7b为图6b的局部图像;
图7c为图6c的局部图像;
图8a为在虚拟视点实际拍摄得到的图像的局部区域;
图8b为采用图像插值方法对图6c所示的虚拟视点彩色图像I′D,t进行空洞填补得到的最终的虚拟视点彩色图像ID,t的局部区域;
图8c为采用与图6c所示的虚拟视点彩色图像I′D,t时域上相邻的且已绘制得到的三幅虚拟视点彩色图像ID,t-j(1≤j≤α,α=3)及它们所对应的三幅深度图像DD,t-j(1≤j≤α,α=3)对图6c所示的虚拟视点彩色图像I′D,t进行空洞填补得到的最终的虚拟视点彩色图像ID,t的局部区域。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明的虚拟视点图像绘制方法,包括以下具体步骤:
①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及K幅彩色图像对应的K幅深度图像,将t时刻的第k个参考视点的彩色图像记为IR,t k,将t时刻的第k个参考视点的深度图像记为DR,t k,在此具体实施例中直接采用已有的如图1a和图1b所示的2个参考视点的彩色图像,它们分别所对应的2幅深度图像如图2a和图2b所示,这2幅彩色图像和2幅深度图像的尺寸大小均为1024×768,即K=2,P=1024,Q=768。
将t时刻的第k个参考视点的彩色图像IR,t k划分成NR k个尺寸大小为(p+Δp)×(q+Δq)的块,记第k个参考视点的彩色图像IR,t k中的第n个块为Bn k,其中,k∈[1,K], NR k个块的并集构成了第k个参考视点的彩色图像IR,t k,即 Δp表示块Bn k与其右相邻块之间重叠的像素点的列数,0≤Δp≤p,当Δp=0时表示块Bn k与其右相邻块不重叠,或表示块Bn k为第k个参考视点的彩色图像IR,t k的右边界处的块,即位于第k个参考视点的彩色图像IR,t k的右边界的个最右块的Δp=0;Δq表示块Bn k与其下相邻块之间重叠的像素点的行数,0≤Δq≤q,在此,下相邻块即为位于当前块的正下方的相邻块,当Δq=0时表示块Bn k与其下相邻块不重叠,或表示块Bn k为第k个参考视点的彩色图像IR,t k的下边界处的块,即位于第k个参考视点的彩色图像IR,t k的下边界的个最下方的块的Δq=0。
图3给出了第k个参考视点的彩色图像IR,t k的互不重叠块的划分方式示意图,图3所示的块划分方式中Δp=0且Δq=0。图4给出了第k个参考视点的彩色图像IR,t k的相邻块之间部分重叠的块划分方式示意图,图4所示的块划分方式中Δp≠0且Δq≠0,图4中阴影部分标记了第k个参考视点的彩色图像IR,t k中的第n个块Bn k与其右相邻块和下相邻块的重叠部分。在此具体实施例中采用相邻块部分重叠的块划分方式,Δp=Δq=1。
②定义第k个参考视点的彩色图像IR,t k中的第n个块Bn k为当前块Bn k,判断当前块Bn k是否为平坦块,如果当前块Bn k为非平坦块,则利用第k个参考视点的深度图像DR,t k所提供的深度信息,采用公知的三维图像变换方法逐像素点计算当前块Bn k中的各个像素点在需绘制的虚拟视点彩色图像中的坐标位置,并将当前块Bn k中的各个像素点逐像素点地映射到需绘制的虚拟视点彩色图像中,即对于非平坦块,其处理过程与现有的基于公知的三维图像变换的逐像素点绘制算法相同;如果当前块Bn k为平坦块,则选取当前块Bn k中的一个像素点,再利用第k个参考视点的深度图像DR,t k所提供的该像素点的深度信息,采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像中的坐标位置,得到把该像素点从第k个参考视点的彩色图像IR,t k映射到需绘制的虚拟视点彩色图像中的坐标映射关系,并利用该坐标映射关系将当前块Bn k中的各个像素点映射到需绘制的虚拟视点彩色图像中,具体处理过程如下:a.任取当前块Bn k中的一个像素点,记该像素点的坐标为(xc,yc),将该像素点到当前块Bn k的左边界的距离记为Δx,将该像素点到当前块Bn k的下边界的距离记为Δy,则该像素点到当前块Bn k的右边界的距离为(p+Δp)-Δx-1,该像素点到当前块Bn k的上边界的距离为(q+Δq)-Δy-1;b.利用第k个参考视点的深度图像DR,t k所提供的坐标为(xc,yc)的像素点的深度信息,采用公知的三维图像变换方法计算坐标为(xc,yc)的像素点在需绘制的虚拟视点彩色图像中的坐标位置,记计算得到的坐标位置为(x′c,y′c);c.计算需绘制的虚拟视点彩色图像中坐标为(x′,y′)的像素点的像素值,其中,(x′c-Δx)≤x′≤(x′c+((p+Δp)-Δx-1)),(y′c-Δy)≤y′≤(y′c+((q+Δq)-Δy-1)),记由第k个参考视点的彩色图像IR,t k和第k个参考视点的深度图像DR,t k绘制得到的虚拟视点彩色图像为ID,t k,记虚拟视点彩色图像ID,t k中坐标为(x′,y′)的像素点的像素值为ID,t k(x′,y′), 其中,IR,t k(xc+x′-x′c,yc+y′-y′c)为第k个参考视点的彩色图像IR,t k中坐标为(xc+x′-x′c,yc+y′-y′c)的像素点的像素值;如果需绘制的虚拟视点彩色图像ID,t k中坐标为(x′,y′)的像素点与第k个参考视点的彩色图像IR,t k中的多个像素点相对应,则虚拟视点彩色图像ID,t k中坐标为(x′,y′)的像素点的像素值ID,t k(x′,y′)取第k个参考视点的彩色图像IR,t k中与坐标为(x′,y′)的像素点对应的多个像素点中深度值最小的像素点的像素值。图5给出了当当前块Bn k为平坦块时将当前块Bn k中的各个像素点采用相同的坐标映射关系映射到需绘制的虚拟视点彩色图像ID,t k中的示意图。
对于上述判断当前块Bn k是否为平坦块可通过四种方式实现,具体如下:
第一种方式,通过计算第k个参考视点的彩色图像IR,t k中的当前块Bn k自身的背离值E来直接判断当前块Bn k的平坦性,其具体过程为:计算当前块Bn k的背离值E,判断当前块Bn k的背离值E是否大于设定的阈值T,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。在此,当前块Bn k的背离值E通过 、 、 中的任一种公式计算得到,其中,i=1或i=2,IR,t k(x,y)表示当前块Bn k中坐标为(x,y)的像素点的像素值,表示当前块Bn k中的所有像素点的像素值的均值, 该背离值E的计算公式的选取也可以是多种多样的,只要该背离值E能反映当前块Bn k中的各个像素点的像素值的偏离程度,如当前块Bn k中的各个像素点的像素值的方差、标准差等。阈值T的值为T=E±σ,其中,E为第k个参考视点的彩色图像IR,t k中的所有块 的背离值E构成的集合 的均值,σ为第k个参考视点的彩色图像IR,t k中的所有块 的背离值E构成的集合 的标准差;阈值T的选取也可以采用其它方法,该阈值T可以是固定阈值,也可以是自适应阈值。
第二种方式,该方式与第一种方式相似,不同的是该方式是利用已有的t时刻的第k个参考视点的彩色图像IR,t k对应的深度图像DR,t k,通过判断第k个参考视点的深度图像DR,t k中与当前块Bn k坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的平坦性来间接判断当前块Bn k的平坦性,其具体过程为:计算第k个参考视点的深度图像DR,t k中与当前块Bn k的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E,判断该对应块的背离值E是否大于设定的阈值T,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。在此,对应块的背离值E可通过 、 、 中的任一种公式计算得到,其中,i=1或i=2,DR,t k(x,y)表示对应块中坐标为(x,y)的像素点的像素值,表示对应块中的所有像素点的像素值的均值, 背离值E的计算公式的选取可以是多种多样的,只要该背离值E能反映对应块中的各个像素点的像素值的偏离程度,如对应块中的各个像素点的像素值的方差、标准差等。在此,阈值T的值为T=E±σ,其中,E为第k个参考视点的深度图像DR,t k中与第k个参考视点的彩色图像IR,t k中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 的均值,σ为第k个参考视点的深度图像DR,t k中与第k个参考视点的彩色图像IR,t k中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 的标准差;阈值T的选取也可以采用其它方法,阈值T可以是固定阈值,也可以是自适应阈值。
第三种方式,通过对第k个参考视点的彩色图像IR,t k进行边缘检测,然后通过衡量当前块Bn k中的边缘像素的多寡来判定当前块Bn k的平坦性,其具体过程为:首先采用公知的边缘检测方法对第k个参考视点的彩色图像IR,t k进行边缘检测,得到第k个参考视点的彩色图像IR,t k的二值化边缘图像,记该二值化边缘图像为EdgeI k,该二值化边缘图像EdgeI k中像素值为1的像素点为边缘像素,表示第k个参考视点的彩色图像IR,t k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的彩色图像IR,t k的边缘,该二值化边缘图像EdgeI k中像素值为0的像素点为非边缘像素,表示第k个参考视点的彩色图像IR,t k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的彩色图像IR,t k的边缘;然后判断该二值化边缘图像EdgeI k中与第k个参考视点的彩色图像IR,t k的当前块Bn k坐标位置相同的对应块中是否包含有边缘像素,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
第四种方式,该方式与第三种方式相似,不同的是该方式是通过对第k个参考视点的深度图像DR,t k进行边缘检测,然后通过衡量第k个参考视点的深度图像DR,t k中与当前块Bn k坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块中的边缘像素的多寡来判定该对应块的平坦性,进而判定当前块Bn k的平坦性,其具体过程为:首先采用公知的边缘检测方法对第k个参考视点的深度图像DR,t k进行边缘检测,得到第k个参考视点的深度图像DR,t k的二值化边缘图像,记该二值化边缘图像为EdgeD k,该二值化边缘图像EdgeD k中像素值为1的像素点为边缘像素,第k个参考视点的深度图像DR,t k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的深度图像DR,t k的边缘,该二值化边缘图像EdgeD k中像素值为0的像素点为非边缘像素,表示第k个参考视点的深度图像DR,t k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的深度图像DR,t k的边缘;然后判断该二值化边缘图像EdgeD k中与第k个参考视点的彩色图像IR,t k的当前块Bn k坐标位置相同的对应块中是否包含有边缘像素,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
在此具体实施例中,通过第二种方式来判断当前块Bn k的平坦性,如果当前块Bn k为平坦块,则选取当前块Bn k左上角的像素点作为坐标为(xc,yc)的像素点,通过三维图像变换方法首先利用深度信息将坐标为(xc,yc)的像素点重投影到实际的三维空间中,然后再将该三维空间中的点投影到目标图像平面即虚拟视点彩色图像平面上,由此得到第k个参考视点的彩色图像IR,t k中坐标为(xc,yc)的像素点与其在虚拟视点彩色图像ID,t k中的对应点(x′c,y′c)的坐标映射关系进而对于当前块Bn k中的所有像素点都采用此坐标映射关系将它们投影到虚拟视点彩色图像平面中,而不再是利用三维图像变换方法分别计算当前块Bn k中每个像素点各自的坐标映射关系从而有效减少了三维图像变换的次数,提高了绘制速度。如果当前块Bn k为非平坦块,由于非平坦块可能位于对象的边界,为保证绘制的精度,本发明对于非平坦块仍采用逐像素进行三维图像变换的方法求取这些像素点在需绘制的虚拟视点彩色图像ID,t k中的坐标位置,并将它们逐像素投影到需绘制的虚拟视点彩色图像ID,t k中。需要说明的是,采用三维图像变换的方法将某参考视点的彩色图像重投影到虚拟视点彩色图像的过程如下:首先利用深度信息将参考视点的彩色图像中的像素点重投影到实际的三维空间中,然后再将这些三维空间中的点投影到目标图像平面即虚拟视点图像平面上。该过程不仅能将参考视点的彩色图像中各个像素点重投影到虚拟视点彩色图像中,同时也能获取虚拟视点彩色图像对应的深度图像。
③重复步骤②将第k个参考视点的彩色图像IR,t k中的所有块全部映射到需绘制的虚拟视点彩色图像ID,t k中,得到由第k个参考视点的彩色图像IR,t k和第k个参考视点的深度图像DR,t k绘制的虚拟视点彩色图像ID,t k。
④重复步骤①~③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制的K幅虚拟视点彩色图像,K幅虚拟视点彩色图像用集合表示为
⑤采用公知的任意成熟的图像融合方法融合由K个参考视点的彩色图像和各彩色图像对应的深度图像分别绘制得到的K幅虚拟视点彩色图像 得到融合后的虚拟视点彩色图像,记融合后的虚拟视点彩色图像为I′D,t,并对融合后的虚拟视点彩色图像I′D,t中的空洞像素点进行填补,得到最终的虚拟视点彩色图像,记最终的虚拟视点彩色图像为ID,t。
对于上述对融合后的虚拟视点彩色图像I′D,t中的空洞像素点进行填补的具体过程为:⑤-1、记由图1a所示的第1个参考视点的彩色图像IR,t 1和图2a所示的其对应的深度图像DR,t 1绘制得到的虚拟视点彩色图像为ID,t 1,记由图1b所示的第2个参考视点的彩色图像IR,t 2和图2b所示的其对应的深度图像DR,t 2绘制得到的虚拟视点彩色图像为ID,t 2,记由这2幅虚拟视点彩色图像ID,t 1和ID,t 2融合得到的有空洞像素点的虚拟视点彩色图像为I′D,t,判断该有空洞像素点的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点是否为空洞像素点,空洞像素点即该像素点的像素值未能从2幅虚拟视点彩色图像ID,t 1和ID,t 2融合得到,如果坐标为(x,y)的像素点是空洞像素点,则继续执行,否则,不进行填补操作,直接转步骤⑤-3;⑤-2、比较该有空洞像素点的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点的深度值与(t-j)时刻的最终的虚拟视点彩色图像ID,t-j中坐标为(x,y)的像素点的深度值,(t-j)时刻的最终的虚拟视点彩色图像ID,t-j与该有空洞像素点的虚拟视点彩色图像I′D,t在时域上相邻且(t-j)时刻的虚拟视点彩色图像ID,t-j已绘制,判断这两个深度值之差是否小于设定值,如果是,即两者的深度值相近似,则认为该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点与(t-j)时刻的最终的虚拟视点彩色图像ID,t-j中坐标为(x,y)的像素点为实际的三维空间中的同一个点,因此将第(t-j)时刻的最终的虚拟视点彩色图像ID,t-j中坐标为(x,y)的像素点的像素值作为该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点的像素值,并结束该像素点(x,y)的空洞填补过程,其中,1≤j≤α,α为整常数,在此具体实施例中α取值为3;设定值为一常数,例如1或2,其值越小,意味着判断有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点与(t-j)时刻的最终的虚拟视点彩色图像ID,t-j中坐标为(x,y)的像素点是否为实际的三维空间中的同一个点的条件越苛刻;否则,将j的值加1,并判断j的值是否大于α,如果j的值小于等于α,则重复执行步骤⑤-2,如果j的值大于α,即通过上述步骤处理后坐标为(x,y)的像素点的像素值仍不能确定,则采用公知的图像插值方法填补该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点;⑤-3、重复步骤⑤-1和⑤-2直至填补完虚拟视点彩色图像I′D,t中的所有空洞像素点,得到最终的虚拟视点彩色图像ID,t。
对于上述对融合后的虚拟视点彩色图像I′D,t中的空洞像素点进行填补也可以直接采用公知的图像插值方法来实施。
表1给出了采用本发明的非重叠块划分方法(p=q=8,Δp=Δq=0)和1个像素的重叠块划分方法(p=q=8,Δp=Δq=1)以及采用三维图像变换方法逐像素绘制虚拟视点彩色图像的方法进行虚拟视点彩色图像绘制的时间上的比较。
表1不同绘制方法绘制时间的比较 单位:ms
测试序列 | Torg | Tblock | Toverlap | (Torg-Toverlap)/Torg |
Breakdancers | 125.24 | 59.935 | 66.455 | 46.9% |
Ballet | 125.24 | 60.28 | 67.68 | 46.0% |
上述表1中Tblock为采用非重叠块划分方法的绘制时间,Toverlap为采用1个像素的重叠块划分方法的绘制时间,Torg为采用三维图像变换方法逐像素绘制虚拟视点彩色图像的方法的绘制时间,(Torg-Toverlap)/Torg为实际减少的绘制时间的百分比。由表1可见,与采用三维图像变换方法逐像素绘制虚拟视点彩色图像的方法相比,采用本发明的1个像素的重叠块划分方法(p=q=8,Δp=Δq=1)进行虚拟视点彩色图像绘制可以节省46%的绘制时间。
图6a给出了利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用逐像素进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D,t,图6b给出了利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D,t,图6c给出了利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D,t,其中,图6b采用非重叠块划分方法,p=q=8,Δp=Δq=0,而图6c采用1个像素的重叠块划分方法,p=q=8,Δp=Δq=1。图7a给出了图6a所示的虚拟视点彩色图像I′D,t的局部放大图像,图7b给出了图6b所示的虚拟视点彩色图像I′D,t的局部放大图像,7c给出了图6c所示的虚拟视点彩色图像I′D,t的局部放大图像。由图6a、图6b、图6c、图7a、图7b和图7c可见,采用重叠块划分的方式绘制虚拟视点彩色图像,对象部分更加干净,减少了由于扩展而引起的前景被覆盖的问题。
图8a为在虚拟视点实际拍摄得到的图像的局部区域,图8b为采用图像插值方法对图6c所示的图像进行空洞填补得到的最终的虚拟视点彩色图像ID,t的局部区域,图8c为采用与图6c所示的虚拟视点彩色图像I′D,t时域上相邻的且已绘制得到的三幅虚拟视点彩色图像ID,t-j(1≤j≤α,α=3)及它们所对应的三幅深度图像DD,t-j(1≤j≤α,α=3)对图6c所示的图像进行空洞填补得到的最终的虚拟视点彩色图像ID,t的局部区域,从图8a、图8b和图8c可以发现采用与该有空洞的虚拟视点彩色图像I′D,t时域上相邻的且已绘制得到的三幅虚拟视点彩色图像ID,t-j(1≤j≤α,α=3)及它们所对应的深度图像DD,t-j(1≤j≤α,α=3)进行空洞填补的方式所绘制的虚拟视点彩色图像保持了边界的准确性,而采用图像插值的方式进行空洞填补后则出现了边界模糊的现象。
本发明方法,通过将参考视点的彩色图像分块,并对各个块的平坦性进行判断,以适时地对平坦块采用整块映射的三维图像变换方式以尽可能提高绘制速度,而对非平坦块仍采用逐像素映射的三维图像变换方式以保证绘制的精度,从而在保证虚拟视点彩色图像绘制精度的同时,大大提高了绘制的速度。
Claims (10)
1.一种虚拟视点图像绘制方法,其特征在于包括以下具体步骤:
①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅深度图像,将t时刻的第k个参考视点的彩色图像记为IR,t k,将t时刻的第k个参考视点的深度图像记为DR,t k,将t时刻的第k个参考视点的彩色图像IR,t k划分成NR k个尺寸大小为(p+Δp)×(q+Δq)的块,记第k个参考视点的彩色图像IR,t k中的第n个块为Bn k,其中,k∈[1,K], Δp表示块Bn k与其右相邻块之间重叠的像素点的列数,0≤Δp≤p,当Δp=0时表示块Bn k与其右相邻块不重叠或表示块Bn k为第k个参考视点的彩色图像IR,t k的右边界处的块,Δq表示块Bn k与其下相邻块之间重叠的像素点的行数,0≤Δq≤q,当Δq=0时表示块Bn k与其下相邻块不重叠或表示块Bn k为第k个参考视点的彩色图像IR,t k的下边界处的块;
②定义第k个参考视点的彩色图像IR,t k中的第n个块Bn k为当前块Bn k,判断当前块Bn k是否为平坦块,如果当前块Bn k为非平坦块,则利用第k个参考视点的深度图像DR,t k所提供的深度信息,采用公知的三维图像变换方法逐像素点计算当前块Bn k中的各个像素点在需绘制的虚拟视点彩色图像中的坐标位置,并将当前块Bn k中的各个像素点逐像素点地映射到需绘制的虚拟视点彩色图像中;如果当前块Bn k为平坦块,则选取当前块Bn k中的一个像素点,再利用第k个参考视点的深度图像DR,t k所提供的该像素点的深度信息,采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像中的坐标位置,得到把该像素点从第k个参考视点的彩色图像IR,t k映射到需绘制的虚拟视点彩色图像中的坐标映射关系,并利用该坐标映射关系将当前块Bn k中的各个像素点映射到需绘制的虚拟视点彩色图像中,具体处理过程如下:a.任取当前块Bn k中的一个像素点,记该像素点的坐标为(xc,yc),将该像素点到当前块Bn k的左边界的距离记为Δx,将该像素点到当前块Bn k的下边界的距离记为Δy,则该像素点到当前块Bn k的右边界的距离为(p+Δp)-Δx-1,该像素点到当前块Bn k的上边界的距离为(q+Δq)-Δy-1;b.利用第k个参考视点的深度图像DR,t k所提供的坐标为(xc,yc)的像素点的深度信息,采用公知的三维图像变换方法计算坐标为(xc,yc)的像素点在需绘制的虚拟视点彩色图像中的坐标位置,记计算得到的坐标位置为(x′c,y′c);c.计算需绘制的虚拟视点彩色图像中坐标为(x′,y′)的像素点的像素值,其中,(x′c-Δx)≤x′≤(x′c+((p+Δp)-Δx-1)),(y′c-Δy)≤y′≤(y′c+((q+Δq)-Δy-1)),记由第k个参考视点的彩色图像IR,t k和第k个参考视点的深度图像DR,t k绘制得到的虚拟视点彩色图像为ID,t k,记虚拟视点彩色图像ID,t k中坐标为(x′,y′)的像素点的像素值为ID,t k(x′,y′), 其中,IR,t k(xc+x′-x′c,yc+y′-y′c)为第k个参考视点的彩色图像IR,t k中坐标为(xc+x′-x′c,yc+y′-y′c)的像素点的像素值;在采用公知的三维图像变换方法确定平坦块和非平坦块的映射关系时,如果需绘制的虚拟视点彩色图像ID,t k中坐标为(x′,y′)的像素点与第k个参考视点的彩色图像IR,t k中的多个像素点相对应,则虚拟视点彩色图像ID,t k中坐标为(x′,y′)的像素点的像素值ID,t k(x′,y′)取第k个参考视点的彩色图像IR,t k中与坐标为(x′,y′)的像素点对应的多个像素点中深度值最小的像素点的像素值;
③重复步骤②将第k个参考视点的彩色图像IR,t k中的所有块全部映射到需绘制的虚拟视点彩色图像ID,t k中,得到由第k个参考视点的彩色图像IR,t k和第k个参考视点的深度图像DR,t k绘制的虚拟视点彩色图像ID,t k;
④重复步骤①~③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制的K幅虚拟视点彩色图像,K幅虚拟视点彩色图像用集合表示为
⑤采用图像融合方法融合由K个参考视点的彩色图像和其对应的深度图像分别绘制得到的K幅虚拟视点彩色图像,得到融合后的虚拟视点彩色图像,记融合后的虚拟视点彩色图像为I′D,t并对融合后的虚拟视点彩色图像I′D,t中的空洞像素点进行填补,得到最终的虚拟视点彩色图像,记最终的虚拟视点彩色图像为ID,t。
2.根据权利要求1所述的一种虚拟视点图像绘制方法,其特征在于所述的步骤②中判断当前块Bn k是否为平坦块的具体过程为:计算当前块Bn k的背离值E,判断当前块Bn k的背离值E是否大于设定的阈值T,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
4.根据权利要求2所述的一种虚拟视点图像绘制方法,其特征在于所述的阈值T的值为T=E±σ,其中,E为第k个参考视点的彩色图像IR,t k中的所有块 的背离值E构成的集合 的均值,σ为第k个参考视点的彩色图像IR,t k中的所有块 的背离值E构成的集合 的标准差。
5.根据权利要求1所述的一种虚拟视点图像绘制方法,其特征在于所述的步骤②中判断当前块Bn k是否为平坦块的具体过程为:计算第k个参考视点的深度图像DR,t k中与当前块Bn k的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E,判断该对应块的背离值E是否大于设定的阈值T,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
7.根据权利要求5所述的一种虚拟视点图像绘制方法,其特征在于所述的阈值T的值为T=E±σ,其中,E为第k个参考视点的深度图像DR,t k中与第k个参考视点的彩色图像IR,t k中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 的均值,σ为第k个参考视点的深度图像DR,t k中与第k个参考视点的彩色图像IR,t k中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 的标准差。
8.根据权利要求1所述的一种虚拟视点图像绘制方法,其特征在于所述的步骤②中判断当前块Bn k是否为平坦块的具体过程为:首先采用公知的边缘检测方法对第k个参考视点的彩色图像IR,t k进行边缘检测,得到第k个参考视点的彩色图像IR,t k的二值化边缘图像,记该二值化边缘图像为EdgeI k,该二值化边缘图像EdgeI k中像素值为1的像素点为边缘像素,表示第k个参考视点的彩色图像IR,t k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的彩色图像IR,t k的边缘,该二值化边缘图像EdgeI k中像素值为0的像素点为非边缘像素,表示第k个参考视点的彩色图像IR,t k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的彩色图像IR,t k的边缘;然后判断该二值化边缘图像EdgeI k中与第k个参考视点的彩色图像IR,t k的当前块Bn k坐标位置相同的对应块中是否包含有边缘像素,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
9.根据权利要求1所述的一种虚拟视点图像绘制方法,其特征在于所述的步骤②中判断当前块Bn k是否为平坦块的具体过程为:首先采用公知的边缘检测方法对第k个参考视点的深度图像DR,t k进行边缘检测,得到第k个参考视点的深度图像DR,t k的二值化边缘图像,记该二值化边缘图像为EdgeD k,该二值化边缘图像EdgeD k中像素值为1的像素点为边缘像素,表示第k个参考视点的深度图像DR,t k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的深度图像DR,t k的边缘,该二值化边缘图像EdgeD k中像素值为0的像素点为非边缘像素,表示第k个参考视点的深度图像DR,t k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的深度图像DR,t k的边缘;然后判断该二值化边缘图像EdgeD k中与第k个参考视点的彩色图像IR,t k的当前块Bn k坐标位置相同的对应块中是否包含有边缘像素,如果是,则标记当前块Bn k为非平坦块;否则,标记当前块Bn k为平坦块。
10.根据权利要求1至9中任一项所述的一种虚拟视点图像绘制方法,其特征在于所述的步骤⑤中对融合后的虚拟视点彩色图像I′D,t中的空洞像素点进行填补的具体过程为:⑤-1、判断由K幅虚拟视点彩色图像 融合得到的有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点是否为空洞像素点,如果是,则继续执行,否则,不进行填补操作,直接转步骤⑤-3;⑤-2、比较该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点的深度值与(t-j)时刻的最终的虚拟视点彩色图像ID,t-j中坐标为(x,y)的像素点的深度值,判断这两个深度值之差是否小于设定值,如果是,则将(t-j)时刻的最终的虚拟视点彩色图像ID,t-j中坐标为(x,y)的像素点的像素值作为该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点的像素值,并结束该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点的空洞填补过程,其中,1≤j≤α,α为整常数;否则,将j的值加1,并判断j的值是否大于α,如果j的值小于等于α,则重复执行步骤⑤-2,如果j的值大于α,则采用公知的图像插值方法填补该有空洞的虚拟视点彩色图像I′D,t中坐标为(x,y)的像素点;⑤-3、重复执行步骤⑤-1和⑤-2直至填补完融合后的虚拟视点彩色图像I′D,t中的所有空洞像素点,得到最终的虚拟视点彩色图像ID,t。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100988301A CN101556700B (zh) | 2009-05-15 | 2009-05-15 | 一种虚拟视点图像绘制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100988301A CN101556700B (zh) | 2009-05-15 | 2009-05-15 | 一种虚拟视点图像绘制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101556700A CN101556700A (zh) | 2009-10-14 |
CN101556700B true CN101556700B (zh) | 2012-02-15 |
Family
ID=41174805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100988301A Expired - Fee Related CN101556700B (zh) | 2009-05-15 | 2009-05-15 | 一种虚拟视点图像绘制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101556700B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109982064A (zh) * | 2019-03-18 | 2019-07-05 | 深圳岚锋创视网络科技有限公司 | 一种裸眼3d的虚拟视点图像生成方法和便携式终端 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011091717A1 (en) * | 2010-01-29 | 2011-08-04 | The Hong Kong University Of Science And Technology | Architectural pattern detection and modeling in images |
CN101819678A (zh) * | 2010-03-16 | 2010-09-01 | 昆明理工大学 | 驾驶模拟***三维虚拟图像的标定方法 |
CN102201126B (zh) * | 2010-03-24 | 2013-02-13 | 联想(北京)有限公司 | 一种图像处理方法、***及终端 |
EP2533212A1 (en) * | 2011-06-10 | 2012-12-12 | Samsung Electronics Co., Ltd. | Reference layer for hole recovery within an output image. |
CN102447926B (zh) * | 2011-09-19 | 2013-12-04 | 四川虹微技术有限公司 | 一种无摄像机标定参数的三维图像变换方法 |
CN103369331B (zh) * | 2012-03-27 | 2016-12-21 | 北京数码视讯科技股份有限公司 | 图像空洞的填补方法和装置及视频图像的处理方法和装置 |
CN102831597B (zh) * | 2012-07-10 | 2015-02-04 | 浙江大学 | 一种虚拟视像素生成方法、装置以及对应的码流 |
CN103945209B (zh) * | 2014-04-28 | 2016-01-06 | 华南理工大学 | 一种基于分块投影的dibr方法 |
KR102469228B1 (ko) * | 2016-07-07 | 2022-11-23 | 한국전자통신연구원 | 가상 시점 영상 생성 장치 및 방법 |
CN106875884B (zh) * | 2016-12-30 | 2020-06-26 | 歌尔科技有限公司 | 一种绘制单色屏幕的方法和装置及一种电子设备 |
CN106920207B (zh) * | 2017-03-13 | 2020-05-19 | 哈尔滨工程大学 | 一种基于硬件实现的空间平台像平面投影点实时计算的方法 |
CN108769662B (zh) * | 2018-07-03 | 2020-01-07 | 京东方科技集团股份有限公司 | 一种多视点裸眼3d图像空洞填补方法、装置及电子设备 |
CN110246146B (zh) * | 2019-04-29 | 2021-07-30 | 北京邮电大学 | 基于多次深度图像渲染的全视差光场内容生成方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0656609A1 (en) * | 1993-12-01 | 1995-06-07 | Philips Electronics Uk Limited | Image processing |
CN101179745A (zh) * | 2007-12-05 | 2008-05-14 | 宁波大学 | 一种多视点图像的预处理方法 |
CN101330632A (zh) * | 2008-07-25 | 2008-12-24 | 浙江大学 | 一种立体电视***中虚拟视点图像绘制的方法 |
-
2009
- 2009-05-15 CN CN2009100988301A patent/CN101556700B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0656609A1 (en) * | 1993-12-01 | 1995-06-07 | Philips Electronics Uk Limited | Image processing |
CN101179745A (zh) * | 2007-12-05 | 2008-05-14 | 宁波大学 | 一种多视点图像的预处理方法 |
CN101330632A (zh) * | 2008-07-25 | 2008-12-24 | 浙江大学 | 一种立体电视***中虚拟视点图像绘制的方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109982064A (zh) * | 2019-03-18 | 2019-07-05 | 深圳岚锋创视网络科技有限公司 | 一种裸眼3d的虚拟视点图像生成方法和便携式终端 |
CN109982064B (zh) * | 2019-03-18 | 2021-04-27 | 影石创新科技股份有限公司 | 一种裸眼3d的虚拟视点图像生成方法和便携式终端 |
Also Published As
Publication number | Publication date |
---|---|
CN101556700A (zh) | 2009-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101556700B (zh) | 一种虚拟视点图像绘制方法 | |
CN102892021B (zh) | 一种合成虚拟视点图像的新方法 | |
CN102325259A (zh) | 多视点视频中虚拟视点合成方法及装置 | |
CN102625127B (zh) | 一种适于3d电视虚拟视点生成的优化方法 | |
CN102034265B (zh) | 一种三维视图获取方法 | |
EP3350989B1 (en) | 3d display apparatus and control method thereof | |
CN102307312A (zh) | 一种对dibr技术生成的目标图像进行空洞填充的方法 | |
CN103414909B (zh) | 一种应用于三维视频虚拟视点合成的空洞填补方法 | |
CN101895779A (zh) | 立体显示方法和*** | |
CN104079913B (zh) | 光栅式立体显示器兼容2d-3d显示的子像素排列方法、装置 | |
CN103150729B (zh) | 一种虚拟视图渲染方法 | |
CN101395634A (zh) | 图像中的定向孔洞填充 | |
CN102368826A (zh) | 双视点视频到多视点视频的实时自适应生成方法 | |
CN102510515A (zh) | 一种光栅式多视点立体图像合成方法 | |
CN104869386A (zh) | 一种基于分层处理虚拟视点合成方法 | |
CN101925923A (zh) | 用于孔填充的方法和图像处理设备 | |
CN103024421A (zh) | 自由视点电视中的虚拟视点合成方法 | |
CN101695140B (zh) | 一种基于对象的立体/自由视点电视的虚拟图像绘制方法 | |
CN106060509A (zh) | 引入颜色校正的自由视点图像合成方法 | |
CN104270624A (zh) | 一种分区域的3d视频映射方法 | |
CN102750694B (zh) | 基于局部最优置信传播算法的双目视频深度图求取方法 | |
KR20170025214A (ko) | 다시점 깊이맵 생성 방법 | |
US10893258B1 (en) | Displacement-oriented view synthesis system and method | |
CN103606162A (zh) | 一种基于图像分割的立体匹配算法 | |
CN109345444A (zh) | 深度感知增强的超分辨率立体图像构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120215 Termination date: 20180515 |
|
CF01 | Termination of patent right due to non-payment of annual fee |