CN103634519A - 一种基于双摄像头的图像显示方法及装置 - Google Patents

Abstract

本发明实施例公开了一种基于双摄像头的图像显示方法及装置，属于图像处理领域。方法包括：在同一平面内分别调整两摄像头的角度和景深，使两摄像头在目标场景中的拍摄范围相邻；在同步信号的控制下，将两摄像头采集到的视频帧分别进行合成拼接，从而得到目标场景中对应的宽幅视频；将所述宽幅视频切换为立体视频时，分别调整两摄像头的角度，使两摄像头在目标场景中的拍摄范围相同；在同步信号的控制下，将两摄像头采集到的视频帧分别进行配准重构，从而得到目标场景中对应的立体视频。通过采用两个摄像头分别采集视频，然后将采集到的视频帧进行合成，得到宽幅视频，并在输出三维视频时进行宽幅视频和三维视频采集之间的切换。

Description

一种基于双摄像头的图像显示方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种基于双摄像头的图像显示方法及装置。 

背景技术

宽幅视频为采用多个视频帧组合而成的宽度较大的视频，它比普通的标准投影***具备更大的显示尺寸、更宽的视野、更多的显示内容、更高的显示分辨率以及更具冲击力和沉浸感的视觉效果。 

对于宽幅视频，现有技术无法实现直接采集，往往采用摄像头采集两次，然后把两次采集的视频帧进行合成一副视频帧。在采集时需要连续采集，边采集视频帧边将视频帧合成为宽幅视频帧。 

另外，立体视频是一种新型的描述三维世界的方式，它不仅包含传统二维视频的关于场景的表面信息，而且还包含与场景具***置相关的三维立体信息。与传统的二维视频相比，立体视频是一种更有效、更真实的表达方式。 

目前，现有技术也无法进行宽幅视频和三维视频采集之间的切换，无法在不需要采集的宽幅视频时，直接输出为三维视频。 

发明内容

本发明的实施例提供了一种基于双摄像头的图像显示方法及装置，通过采用两个摄像头分别采集视频，然后将采集到的视频帧进行合成，得到宽幅视频，并在输出三维视频时进行宽幅视频和三维视频采集之间的切换。 

为达到上述目的，采用如下技术方案： 

一种基于双摄像头的图像显示方法，包括如下步骤： 

在同一平面内分别调整两摄像头的角度和景深，使两摄像头 在目标场景中的拍摄范围相邻； 

在同步信号的控制下，将两摄像头采集到的视频帧分别进行合成拼接，从而得到目标场景中对应的宽幅视频； 

将所述宽幅视频切换为立体视频时，分别调整两摄像头的角度，使两摄像头在目标场景中的拍摄范围相同； 

在同步信号的控制下，将两摄像头采集到的视频帧分别进行配准重构，从而得到目标场景中对应的立体视频。 

优选的，所述将两摄像头采集到的视频帧分别进行合成拼接时，将两摄像头对应的两视频帧的重叠部分进行边缘融合。 

优选的，所述将两摄像头采集到的视频帧分别进行配准重构时，将两组视频帧分别逐帧交替输出，形成立体视频。 

优选的，所述将所述宽幅视频切换为立体视频时，分别调整两摄像头的角度时，将摄取的视频帧中的各像素点对应的像素值进行布尔运算，当布尔运算的结果接近为零时，两摄像头在目标场景中的拍摄范围相同。 

本发明还公开了一种基于双摄像头的图像显示装置，包括如下模块： 

调整模块，在同一平面内分别调整两摄像头的角度和景深，使两摄像头在目标场景中的拍摄范围相邻， 

宽屏视频模块，在同步信号的控制下，将两摄像头采集到的视频帧分别进行合成拼接，从而得到目标场景中对应的宽幅视频； 

转换模块，将所述宽幅视频切换为立体视频时，分别调整两摄像头的角度，使两摄像头在目标场景中的拍摄范围相同； 

立体视频模块，在同步信号的控制下，将两摄像头采集到的视频帧分别进行配准重构，从而得到目标场景中对应的立体视频。 

优选的，所述宽屏视频模块将两摄像头采集到的视频帧分别进行合成拼接时，将两摄像头对应的两视频帧的重叠部分进行边缘融合。 

优选的，所述立体视频模块将两组视频帧分别逐帧交替输出， 形成立体视频。 

优选的，所述转换模块将摄取的视频帧中的各像素点对应的像素值进行布尔运算，当布尔运算的结果接近为零时，两摄像头在目标场景中的拍摄范围相同。 

本发明实施例提供的一种基于双摄像头的图像显示方法及装置，通过采用两个摄像头分别采集视频，然后将采集到的视频帧进行合成，得到宽幅视频，并通过调整摄像头的角度即可实现输出三维视频时进行宽幅视频和三维视频采集之间的切换，方便快捷。 

附图说明

图1为本发明实施例一提供的一种基于双摄像头的图像显示方法的流程图； 

图2为本发明实施例一提供的两视频帧拼接的示意图； 

图3为本发明实施例二提供的一种基于双摄像头的图像显示装置的模块结构图。 

具体实施方式

下面结合附图对本发明实施例一种基于双摄像头的图像显示方法和装置进行详细描述。 

本发明的实施例一公开了一种基于双摄像头的图像显示方法，如图1所示，包括如下步骤： 

步骤101、在同一平面内分别调整两摄像头的角度和景深，使两摄像头在目标场景中的拍摄范围相邻； 

本实施例中，原始输入图像为60Hz整幅图像，调整两摄像头的角度和景深，使摄像头分别拍摄人眼观测的145度当前场景的拍摄范围。 

步骤102、在同步信号的控制下，将两摄像头采集到的视频帧分别进行合成拼接，从而得到目标场景中对应的宽幅视频； 

本实施例中，对两视频帧通过序列相似性检测图像拼接算法进行全景相片合成，即将两帧图像共有部分进行切除，同时对畸变夹角图像进行修复。 

如图2所示，本实施例中，将两摄像头采集的视频帧设为第一视频帧和第二视频帧，选取第二视频帧的左上角40*40的区域记为配准模板S，大小为K*L，将第一视频帧作为记为待搜索区域W，大小为M*N。 

匹配时选择S的左上角为基准点，当前待匹配点位于W上的（u,v）处时，在W中所选取的待匹配区域是以点(u,v)，(u,v+L-1)，(u+K-1,v)和(u+K-1,v+L-1)组成的区域，相对于基准点为(i,j)的点的匹配误差定义为： 

e(u,v,i,j)=|S(i,j)-W(u+i,v+j)| 

在第一视频帧和待匹配区域内随机抽取n个点(i₁,j₁)(i₂,j₂)…(i_n,j_n)，计算这些点引起的部分误差和序列，记为： 

$e_s(u,v,k)=\underset{m-1}{\overset{k}{\mathrm{\Σ}}}|S(i,j)-W(u+i_m,v+j_m)|=\underset{m-1}{\overset{k}{\mathrm{\Σ}}}e(u,v,i_m,j_m),k=\mathrm{1,2},...,...n$

将e与一个根据经验计算得出的预置的阈值序列Thresh（n）比较，如果e_s(u,v,k)>Thresh（k），则结束在此处的计算，并记下k，计算下一待匹配点处的误差，如果e_s(u,v,k)<Thresh（k）则继续计算在(u,v)处的下一个抽取点的误差，直到e_s(u,v,k)>Thresh（k）或k=n，记下k值。对不同的待匹配点进行上述匹配计算，最后取最大的k值对应的待匹配点位置，认为这就是需要找的匹配 点。 

找到两摄像头摄取的视频帧的拼接位置后，如果简单叠加，则两帧图像之间就会出现明显的边界，因此，有必要对拼接后的图像进行融合，以获取高质量的全景图。 

本实施例中，采用双线性内插值的方式对拼接后的视频帧分别进行融合，对于融合后的目标像素，通过反向变换得到的浮点坐标为(i+u,j+v)，其中，i、j均为非负整数，u、v为[0,1)区间的浮点数，则预处理后视频帧的像素值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)和(i+1,j+1)所对应的周围四个像素的值决定，即： 

f(i+u，j+v)=(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1) 

其中，f(i,j)表示两摄像头采集到的源图像(i,j)处的像素值。 

本实施例中，首先根据(0,0)和(1,0)的值，线性插值出(x,0)的值f(x,0)，然后根据(0,1)和(1,1)的值，线性插值出(x,1)的值f(x,1)，最后根据(x,0)和(x,1)的值，线性插值出(x,y)的值f(x,y)。在同步信号的控制下，将融合后的图像送入内存单元进行缓存，并以FIFO的形式读出，输出图像的大小为原始图像数据经过缩放后的2倍，从而以宽幅图像输出。 

在其他实施例中，也可以首先采用双线性内插值的方式对两视频帧进行预处理，对两视频帧进行裁剪，消除两视频帧重合的部分后，直接进行拼接。 

步骤103、将所述宽幅视频切换为立体视频时，分别调整两 摄像头的角度，使两摄像头在目标场景中的拍摄范围相同； 

由驱动马达调整两摄像头的角度和景深，使两摄像头拍摄的范围相同，以利下步骤进行立体场景转化。 

具体地，本实施例中，采用激光测定目标场景距两摄像头的距离，结合所述距离和两摄像头间距调整两摄像头的角度。 

在其他实施例中，动态监测两摄像头摄取的视频帧，即将摄取的视频帧中的像素点对应的像素值进行布尔运算，当布尔运算的结果接近为零时，两摄像头在目标场景中的拍摄范围相同。 

步骤104、在同步信号的控制下，将两摄像头采集到的视频帧分别进行配准重构，从而得到目标场景中对应的立体视频。 

在同步信号的控制下，采用双线性内插值的方式将两摄像头采集到的视频帧分别进行缩放。 

对于缩放后的目标像素，通过反向变换得到的浮点坐标为(i+u,j+v)，其中，i、j均为非负整数，u、v为[0,1)区间的浮点数，则预处理后视频帧的像素值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)和(i+1,j+1)所对应的周围四个像素的值决定，即： 

f(i+u，j+v)=(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1) 

其中，f(i,j)表示两摄像头采集到的源图像(i,j)处的像素值。 

根据乒乓FIFO原理，缩放后的两组视频帧分别经缓存后，根据立体成像原理对立体图像进行合成，两摄像头拍摄得到的视频帧分别对应人左右眼的视频图像，采用两组视频帧分别交替输出的模式形成立体视频，即第一帧输出为左眼，第二帧输出为右眼，第三帧输出为左眼……，也因此，在特定时间内，两摄像头所采集的视频帧与合成完毕后输出的三维视频中各视频帧的数 目相等。本实施例中，两摄像头摄取的输入图像均为60Hz，则输出的视频帧为120Hz，用户配以60Hz频率的立体眼镜，即可观看所输出三维视频对应的立体效果，形成了从宽幅视频到三维视频的切换。 

同理，通过向相反方向调整两摄像头的角度，并调用相应的处理过程，即可实现三维视频到宽幅视频的切换，实现过程与上述步骤过程相逆，不再赘述。 

本发明还公开了一种基于双摄像头的图像显示装置，如图3所示，包括如下模块： 

调整模块301，在同一平面内分别调整两摄像头的角度和景深，使两摄像头在目标场景中的拍摄范围相邻， 

宽屏视频模块302，在同步信号的控制下，将两摄像头采集到的视频帧分别进行合成拼接，从而得到目标场景中对应的宽幅视频； 

转换模块303，将所述宽幅视频切换为立体视频时，分别调整两摄像头的角度，使两摄像头在目标场景中的拍摄范围相同； 

立体视频模块304，在同步信号的控制下，将两摄像头采集到的视频帧分别进行配准重构，从而得到目标场景中对应的立体视频。 

优选的，所述宽屏视频模块将两摄像头采集到的视频帧分别进行合成拼接时，将两摄像头对应的两视频帧的重叠部分进行边缘融合。 

优选的，所述立体视频模块将两组视频帧分别逐帧交替输出，形成立体视频。 

优选的，所述转换模块将摄取的视频帧中的各像素点对应的像素值进行布尔运算，当布尔运算的结果接近为零时，两摄像头在目标场景中的拍摄范围相同。 

本发明实施例提供的一种基于双摄像头的图像显示方法及装置，通过采用两个摄像头分别采集视频，然后将采集到的视频帧进行合成，得到宽幅视频，并通过调整摄像头的角度即可实现输出三维视频时进行宽幅视频和三维视频采集之间的切换，方便快捷。 

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。 

Claims (8)

1.一种基于双摄像头的图像显示方法，其特征在于，包括如下步骤：

在同一平面内分别调整两摄像头的角度和景深，使两摄像头在目标场景中的拍摄范围相邻；

在同步信号的控制下，将两摄像头采集到的视频帧分别进行合成拼接，从而得到目标场景中对应的宽幅视频；

将所述宽幅视频切换为立体视频时，分别调整两摄像头的角度，使两摄像头在目标场景中的拍摄范围相同；

在同步信号的控制下，将两摄像头采集到的视频帧分别进行配准重构，从而得到目标场景中对应的立体视频。

2.根据权利要求1所述的方法，其特征在于：所述将两摄像头采集到的视频帧分别进行合成拼接时，将两摄像头对应的两视频帧的重叠部分进行边缘融合。

3.根据权利要求1所述的方法，其特征在于：所述将两摄像头采集到的视频帧分别进行配准重构时，将两组视频帧分别逐帧交替输出，形成立体视频。

4.根据权利要求1所述的方法，其特征在于：所述将所述宽幅视频切换为立体视频时，分别调整两摄像头的角度时，将摄取的视频帧中的各像素点对应的像素值进行布尔运算，当布尔运算的结果接近为零时，两摄像头在目标场景中的拍摄范围相同。

5.一种基于双摄像头的图像显示装置，其特征在于，包括如下模块：

调整模块，在同一平面内分别调整两摄像头的角度和景深，使两摄像头在目标场景中的拍摄范围相邻，

宽屏视频模块，在同步信号的控制下，将两摄像头采集到的视频帧分别进行合成拼接，从而得到目标场景中对应的宽幅视频；

转换模块，将所述宽幅视频切换为立体视频时，分别调整两摄像头的角度，使两摄像头在目标场景中的拍摄范围相同；

立体视频模块，在同步信号的控制下，将两摄像头采集到的视频帧分别进行配准重构，从而得到目标场景中对应的立体视频。

6.根据权利要求5所述的装置，其特征在于：所述宽屏视频模块将两摄像头采集到的视频帧分别进行合成拼接时，将两摄像头对应的两视频帧的重叠部分进行边缘融合。

7.根据权利要求5所述的装置，其特征在于：所述立体视频模块将两组视频帧分别逐帧交替输出，形成立体视频。

8.根据权利要求5所述的装置，其特征在于：所述转换模块将摄取的视频帧中的各像素点对应的像素值进行布尔运算，当布尔运算的结果接近为零时，两摄像头在目标场景中的拍摄范围相同。

Images