CN106028019A - 视频三维格式快速检测方法 - Google Patents

Abstract

本发明揭示了一种视频三维格式快速检测方法，根据三维视频内容制作所要求的左右视图只能存在水平视差，不允许存在垂直视差，以及左右视图亮度/色度等各方面特征必须高度一致这些特征，采用计算不同视图的投影向量之间的距离来进行格式检测，整个过程的计算量只存在加法运算，由此可以方便/经济的适合软硬件快速实现。其次，本发明方法利用了同一视频节目格式唯一这一事实条件，只是在每个新节目开始时做必要的计算/检测，特别适用于移动设备(平板电脑、笔记本电脑)这类对功耗、制造成本要求非常苛刻的***。本发明提出的视频三维格式快速检测方法，可快速检测视频的三维格式。

Description

视频三维格式快速检测方法

技术领域

本发明属于视频格式检测技术领域，涉及一种视频格式检测方法，尤其涉及一种视频三维格式快速检测方法。

背景技术

随着三维(3D)视频的影片在视频网站上越来越普及和3D数字电视节目的开播，可以预见在未来一段时间内，2D内容和3D内容将长期(并一直)共存。对终端显示设备而言，如何自动检测视频节目格式是2D还是3D，对于内容正确呈现是必不可少的。

在目前3D视频中，有一大类是将3D内容排列2D帧中，以便于现有2D显示***兼容。根据3D子帧在2D帧中的排列格式，此类3D视频分为以下几种格式，其中左右3D格式和上下3D格式是最为普遍格式。

(1)左右3D格式(SBS)：3D左右视图并排排列在2D帧中；

(2)上下3D格式(TB)：3D左右视图排列在2D帧中的上部和下部；

(3)行交织3D格式(LI)：交织3D左右视图的行让左右视图排列在2D帧中；

(4)列交织3D格式(CI)：交织3D左右视图的列让左右视图排列在2D帧中；

(5)方格-交错3D格式(CB)：以方格模式交错让3D左右视图排列在2D帧中；

(6)方格-并排3D格式(CBS)：以方格模式让3D左右视图并排排列在2D帧中；

(7)2D+深度格式(2D+D)：将2D子帧和深度信息子帧并排排列在2D帧中。

根据观看舒适性要求，三维视频内容制作时除了要求左右视图的亮度/色度等各方面特征具有高度一致性，还只允许存在水平视差，不能有垂直视差；否则会给观看者造成很大的不舒适感。同时，根据现有视频节目制作的惯例，每个节目的格式都是确定并唯一的。要么是2D视频，如果是3D内容则采用上面的一种格式，不存在一个节目里面包含多种视频格式。

有鉴于此，如今迫切需要设计一种新的视频格式检测方式，以便克服现有检测方式存在的上述缺陷。

发明内容

本发明所要解决的技术问题是：提供一种视频三维格式快速检测方法，可快速检测视频的三维格式。

为解决上述技术问题，本发明采用如下技术方案：

一种视频三维格式快速检测方法，所述检测方法包括如下步骤：

步骤一、判断视频是否为上下3D格式视频或左右3D格式视频，包括：

S1、新视频节目开始，对第一计数器、第二计数器清零；

S2、获取一帧宽度为N高度为L的图像P，对输入图像划分为4个子区域，形成左上、左下、右上、右下4个子区域；同时再按左右3D、上下3D格式进行视图划分；按左右3D格式化时，左视图在左边，右视图在右边；按上下3D格式化时，上视图在上边，下视图在下边；

S3、对于YUV模式图像，只对亮度分量Y进行计算，计算步骤S2中4个子区域的水平投影向量Y_h和垂直投影向量Y_v。分别得到第一子区域水平投影向量第一子区域垂直投影向量第二子区域水平投影向量第二子区域垂直投影向量第三子区域水平投影向量第三子区域垂直投影向量第四子区域水平投影向量第四子区域垂直投影向量其中，Y_h的维度为L/2，Y_v的维度为N/2。

第二子区域水平投影向量与垂直投影向量的计算公式如下，其中Y_ij为第i行第j列像素点的Y分量；

$Y_h^2=\left[\begin{array}{c}{Y}_{1h}\\ Y_{\mathrm{2h}}\\ Y_{\mathrm{3h}}\\ \·\\ \·\\ \·\\ Y_{\frac{L}{2}h}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{1j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{2j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{3j}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{\frac{L}{2}j}\end{array}\right];$

$Y_v^2=\left[\begin{array}{c}{Y}_{1v}\\ Y_{2v}\\ Y_{3v}\\ \·\\ \·\\ \·\\ Y_{\frac{N}{2}v}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i1}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i2}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i3}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i\frac{L}{2}}\end{array}\right];$

其他3个区域的的计算过程与之相同，只需要按照不同区域i，j的取值修改取值范围。第一区域为第三区域为第四区域为

对于RGB模式图像，将图像从RGB颜色空间转为YUV颜色空间，再按照上述过程对Y进行处理；或者直接在RGB空间，对R、G、B三个分量都按上述Y的过程进行处理，从而判断格式；

S4、根据步骤S2中子区域与左右视图的关系，得到左视图对应的水平投影向量和垂直投影向量右视图的水平投影向量和垂直投影向量

$Y_h^{11}=Y_h^2\left|\right|Y_h^3;$

$Y_v^{11}=Y_v^2+Y_v^3;$

$Y_h^{12}=Y_h^1\left|\right|Y_h^4;$

$Y_v^{12}=Y_v^1+Y_v^4;$

其中,和维度为L，和维度为N/2；

定义两个向量V和T的连接运算为：

$V\left|\right|T=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ \·\\ \·\\ \·\\ v_n\\ t_1\\ t_2\\ \·\\ \·\\ \·\\ t_m\end{array}\right]$

其中，向量V的维度为n，向量T的维度为m，连接后的新向量维度为n+m；

同样，得到上视图对应的水平投影向量和垂直投影向量下视图的水平投影向量和垂直投影向量

$Y_h^{21}=Y_h^2+Y_h^1;$

$Y_v^{21}=Y_v^2\left|\right|Y_v^1;$

$Y_h^{22}=Y_h^3+Y_h^4;$

$Y_v^{22}=Y_v^3\left|\right|Y_v^4;$

S5、计算左视图和右视图、上视图和下视图各投影向量之间的距离和

$D_h^1=Y_h^{11}-Y_h^{12};$

$D_v^1=Y_v^{11}-Y_v^{12};$

$D_h^2=Y_h^{21}-Y_h^{22};$

$D_v^2=Y_v^{21}-Y_v^{22};$

S6、如果左视图和右视图水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第一计数器值加1；如果上视图和下视图水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第二计数器值加1；

S7、重复步骤S2～S6，直至步骤S6被执行了m次；

S8、若第一计数器的值大于等于k*m,k∈(0.5,1]，则检测到的当前视频节目格式为左右3D视频格式；

若第二计数器的值大于等于k*m,k∈(0.5,1]，则检测到的当前视频节目格式为上下3D视频格式；

S9、若以上两个计数器的值都不满足条件，则检测到的当前视频节目不是左右3D视频格式，也不是上下3D视频格式；

步骤二、判断视频是否为行交织3D格式LI视频或列交织3D格式CI视频或方格-交错3D格式CB视频或方格-并排3D格式CBS视频；包括：与步骤一过程的步骤S2、步骤S3、步骤S4类似，依据不同格式左右视图排布的规则，进行左右视图的区域划分，得到左右视图的水平投影和垂直投影；行交织3D格式LI的左右区域划分按照图像像素的奇偶行进行划分，所有奇数行的像素进行水平投影/垂直投影，得到一个视图的水平/垂直投影向量；所有偶数行的像素进行水平投影/垂直投影，得到另一个视图的水平/垂直投影向量；后续处理步骤则跟步骤一的步骤S5到S8完全相同。

步骤三、若步骤一、步骤二中均未检测到3D格式视频，则判断检测到的当前视频节目为2D视频格式。

一种视频三维格式快速检测方法，其特征在于，所述检测方法包括如下步骤：

计数器初始化；

获取一帧图像，根据所需要检测的n种3D视频格式，对图像进行n种左右视图的划分；

计算每一种视图划分，其左右视图的像素分量的水平投影向量和垂直投影向量；

计算每一种视图划分，对应的左右视图的水平投影向量距离以及垂直投影向量距离；

针对每一种视图划分，如果水平投影向量距离以及垂直投影向量距离小于给定阈值，则该视图划分对应的3D格式计数器加1；

重复m次，查看何种3D格式计数器值大于k*m,k∈(0.5,1]，大于则断定格式为该3D格式；如果所有计数器值都不满足，则断定格式为2D格式。

作为本发明的一种优选方案，所述3D格式为以下6种格式中的其中之一：左右3D格式SBS、上下3D格式TB、行交织3D格式LI、列交织3D格式、方格-交错3D格式、方格-并排3D格式。

作为本发明的一种优选方案，对于目前最为普遍的左右3D和上下3D格式，所述检测方法具体包括如下步骤：

S1、新视频节目开始，对第一计数器、第二计数器清零；

S2、获取一帧宽度为N高度为L的图像P，对输入图像划分为4个子区域，形成左上、左下、右上、右下4个子区域；同时再按左右3D、上下3D格式进行视图划分；按左右3D格式化时，左视图在左边，右视图在右边；按上下3D格式化时，上视图在上边，下视图在下边；

S3、对于YUV模式图像，对步骤S2中4个子区域的亮度分量Y进行计算，计算步骤S2中4个子区域的水平投影向量Y_h和垂直投影向量Y_v；

对于RGB模式图像,计算步骤S2中4个子区域的R、G、B三个分量进行计算，得到对应的水平投影向量R_h、G_h、B_h和垂直投影向量R_v、G_v、B_v；

将上述各个分量Y、R、G、B标记为X，对于分量X，分别得到第一子区域水平投影向量第一子区域垂直投影向量第二子区域水平投影向量第二子区域垂直投影向量第三子区域水平投影向量第三子区域垂直投影向量第四子区域水平投影向量第四子区域垂直投影向量其中，X_h的维度为L/2，X_v的维度为N/2；

S4、根据步骤S2中子区域与左右视图的关系，得到左视图对应的水平投影向量和垂直投影向量右视图的水平投影向量和垂直投影向量其中,和维度为L，和维度为N/2；

同样，得到上视图对应的水平投影向量和垂直投影向量下视图的水平投影向量和垂直投影向量

S5、计算左视图和右视图、上视图和下视图各投影向量之间的距离和

S6、如果左视图和右视图水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第一计数器值加1；如果上视图和下视图水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第二计数器值加1；

S7、重复步骤S2～S6，直至步骤S6被执行了m次；

S8、若第一计数器的值大于等于设定值，则检测到的当前视频节目格式为左右3D视频格式；

若第二计数器的值大于等于设定值，则检测到的当前视频节目格式为上下3D视频格式；

若以上两个计数器的值都不满足条件，则检测到的当前视频节目为2D视频格式。

作为本发明的一种优选方案，所述步骤S3中，第二子区域水平投影向量与垂直投影向量的计算公式如下，其中Y_ij为第i行第j列像素点的Y分量；

$Y_h^2=\left[\begin{array}{c}{Y}_{1h}\\ Y_{\mathrm{2h}}\\ Y_{\mathrm{3h}}\\ \·\\ \·\\ \·\\ Y_{\frac{L}{2}h}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{1j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{2j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{3j}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{\frac{L}{2}j}\end{array}\right];$

$Y_v^2=\left[\begin{array}{c}{Y}_{1v}\\ Y_{2v}\\ Y_{3v}\\ \·\\ \·\\ \·\\ Y_{\frac{N}{2}v}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i1}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i2}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i3}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i\frac{L}{2}}\end{array}\right];$

其他3个区域的的计算方式与之类似。

作为本发明的一种优选方案，所述步骤S4中，

$X_h^{21}=X_h^2+X_h^1;X_v^{21}=X_v^2\left|\right|X_v^1;X_h^{22}=X_h^3+X_h^4;X_v^{22}=X_v^3\left|\right|X_v^4;$

定义两个向量V、T的连接运算为：

$V\left|\right|T=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ \·\\ \·\\ \·\\ v_n\\ t_1\\ t_2\\ \·\\ \·\\ \·\\ t_m\end{array}\right]$

V的维度为n，T的维度为m，连接后的新向量维度为n+m。

作为本发明的一种优选方案，所述步骤S5中，

本发明的有益效果在于：本发明提出的视频三维格式快速检测方法，可快速检测视频的三维格式。

本发明通过设计一种指标，该指标计算于水平视差无关，只与垂直视差相关，则针对3D内容的左右视图，该指标具有高度一致性，这一点跟普通2D视频具有显著差异，进而检测出视频的3D/2D格式。

本发明根据三维视频内容制作所要求的左右视图只能存在水平视差，不允许存在垂直视差，以及左右视图亮度/色度等各方面特征必须高度一致这些特征，采用计算不同视图的投影向量之间的距离来进行格式检测，整个过程的计算量只存在加法运算，由此可以方便/经济的适合软硬件快速实现。

其次，本发明方法利用了同一视频节目格式唯一这一事实条件，只是在每个新节目开始时做必要的计算/检测，特别适用于移动设备(平板电脑、笔记本电脑)这类对功耗、制造成本要求非常苛刻的***。

附图说明

图1为对输入图像划分为4个子区域的示意图。

图2为对输入图像按左右3D格式化的示意图。

图3为对输入图像按上下3D格式化的示意图。

图4为本发明视频三维格式快速检测方法的流程图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

请参阅图4，本发明揭示了一种视频三维格式快速检测方法，本方法设计的指标是将视频中的左右视图区域中的像素值分别水平和垂直方向投影，得到水平投影向量和垂直投影向量。由于左右视图的水平视差，对水平投影计算影响小，而对垂直投影计算影响大，因此左右视图的水平投影向量的差异小(或者说距离很近)，而垂直投影向量的差异显著(或者距离较大)。这个特征对3D视频成立，对2D视频则不存在，从而可以区分出3D和2D视频格式。

水平投影向量的详细计算过程如下，对一帧具有L行N列个像素点的RGB模式图像P(如果是YUV模式，则只对亮度分量Y进行计算)，将RGB分量分别向水平方向进行投影，得到3个维数都为L的向量R_h、G_h、B_h。以R_h为例，计算公式如下,其中R_ij为第i行第j列像素点的R分量。

$R_h=\left[\begin{array}{c}{R}_{1h}\\ R_{2h}\\ R_{3h}\\ \·\\ \·\\ \·\\ R_{Lh}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{j=1}^N{R}_{1j}\\ {\mathrm{\Σ}}_{j=1}^N{R}_{2j}\\ {\mathrm{\Σ}}_{j=1}^N{R}_{3j}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{j=1}^N{R}_{Lj}\end{array}\right]$

向量和之间距离定义为DR_h，计算如下。

${\mathrm{DR}}_h=R_h^1-R_h^2={\mathrm{\Σ}}_{j=1}^L|R_{jh}^1-R_{jh}^2|$

同样，对分量G和B得到类似水平投影向量的距离DG_h和DB_h。

与水平投影类似的，得到图像P垂直方向投影向量R_v、G_v、B_v(其维度为N)，以及向量间的距离DR_v、DG_v和DB_v。

定义两个向量V(维度为n)和T(维度为m)的连接运算为，连接后的新向量维度为n+m

$V\left|\right|T=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ \·\\ \·\\ \·\\ v_n\\ t_1\\ t_2\\ \·\\ \·\\ \·\\ t_m\end{array}\right].$

以最为普遍的左右3D和上下3D格式为例，整个格式检测过程包括如下步骤：

【步骤S1】新视频节目开始，对第一计数器、第二计数器清零；

【步骤S2】获取一帧宽度为N高度为L的图像P，对输入图像划分为4个子区域，形成左上、左下、右上、右下4个子区域，如图1所示；同时再按左右3D、上下3D格式进行视图划分；按左右3D格式化时(如图2所示)，左视图11在左边，右视图12在右边；按上下3D格式化时(如图3所示)，上视图21在上边，下视图22在下边；

【步骤S3】对于YUV模式图像，对亮度分量Y进行计算，计算步骤S2中4个子区域的水平投影向量Y_h和垂直投影向量Y_v；分别得到第一子区域水平投影向量第一子区域垂直投影向量第二子区域水平投影向量第二子区域垂直投影向量第三子区域水平投影向量第三子区域垂直投影向量第四子区域水平投影向量第四子区域垂直投影向量其中，Y_h的维度为L/2，Y_v的维度为N/2；

对于RGB模式图像，可以将图像从RGB颜色空间转为YUV颜色空间，再按照上述过程对Y进行处理。考虑到颜色空间转换所需要大量乘加运算，也可以直接在RGB空间，对R、G、B三个分量都按上述Y的过程进行处理，从而判断格式。

对于具有L行N列个像素点的RGB模式图像，计算步骤S2中4个子区域的水平投影向量R_h、G_h、B_h和垂直投影向量R_v、G_v、B_v；

各个子区域水平投影向量R_h、G_h、B_h的计算方法为：将R、G、B分量分别向水平方向进行投影，得到3个维数都为L的水平投影向量R_h、G_h、B_h；

$R_h=\left[\begin{array}{c}{R}_{1h}\\ R_{2h}\\ R_{\mathrm{3h}}\\ \·\\ \·\\ \·\\ R_{Lh}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{j=1}^N{R}_{1j}\\ {\mathrm{\Σ}}_{j=1}^N{R}_{2j}\\ {\mathrm{\Σ}}_{j=1}^N{R}_{3j}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{j=1}^N{R}_{Lj}\end{array}\right];$

$G_h=\left[\begin{array}{c}{G}_{1h}\\ G_{2h}\\ G_{3h}\\ \·\\ \·\\ \·\\ G_{Lh}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{j=1}^N{G}_{1j}\\ {\mathrm{\Σ}}_{j=1}^N{G}_{2j}\\ {\mathrm{\Σ}}_{j=1}^N{G}_{3j}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{j=1}^N{G}_{Lj}\end{array}\right];$

$B_h=\left[\begin{array}{c}{B}_{1h}\\ B_{2h}\\ B_{3h}\\ \·\\ \·\\ \·\\ B_{Lh}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{j=1}^N{B}_{1j}\\ {\mathrm{\Σ}}_{j=1}^N{B}_{2j}\\ {\mathrm{\Σ}}_{j=1}^N{B}_{3j}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{j=1}^N{B}_{Lj}\end{array}\right];$

其中，R_ij为第i行第j列像素点的R分量，G_ij为第i行第j列像素点的G分量，B_ij为第i行第j列像素点的B分量；

各个子区域垂直投影向量R_v、G_v、B_v的计算方法为：将R、G、B分量分别向垂直方向进行投影，得到3个维数都为N的水平投影向量R_v、G_v、B_v；

$R_v=\left[\begin{array}{c}{R}_{1v}\\ R_{2v}\\ R_{3v}\\ \·\\ \·\\ \·\\ R_{Nv}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{i=1}^L{R}_{1i}\\ {\mathrm{\Σ}}_{i=1}^L{R}_{2i}\\ {\mathrm{\Σ}}_{i=1}^L{R}_{3i}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{i=1}^L{R}_{Li}\end{array}\right];$

$G_v=\left[\begin{array}{c}{G}_{1v}\\ G_{2v}\\ G_{3v}\\ \·\\ \·\\ \·\\ G_{Nv}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{i=1}^L{G}_{1i}\\ {\mathrm{\Σ}}_{i=1}^L{G}_{2i}\\ {\mathrm{\Σ}}_{i=1}^L{G}_{3i}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{i=1}^L{G}_{Li}\end{array}\right];$

$B_v=\left[\begin{array}{c}{B}_{1v}\\ B_{2v}\\ B_{3v}\\ \·\\ \·\\ \·\\ B_{Nv}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{i=1}^L{B}_{1i}\\ {\mathrm{\Σ}}_{i=1}^L{B}_{2i}\\ {\mathrm{\Σ}}_{i=1}^L{B}_{3i}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{i=1}^L{B}_{Li}\end{array}\right];$

其中，R_ij为第i行第j列像素点的R分量，G_ij为第i行第j列像素点的G分量，B_ij为第i行第j列像素点的B分量；

【步骤S4】根据步骤S2中子区域与左右视图的关系，得到左视图11对应的水平投影向量和垂直投影向量右视图12的水平投影向量和垂直投影向量

$Y_h^{11}=Y_h^2\left|\right|Y_h^3;$

$Y_v^{11}=Y_v^2+Y_v^3;$

$Y_h^{12}=Y_h^1\left|\right|Y_h^4;$

$Y_v^{12}=Y_v^1+Y_v^4;$

其中,和维度为L，和维度为N/2；

定义两个向量V和T的连接运算为：

$V\left|\right|T=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ \·\\ \·\\ \·\\ v_n\\ t_1\\ t_2\\ \·\\ \·\\ \·\\ t_m\end{array}\right]$

其中，向量V的维度为n，向量T的维度为m，连接后的新向量维度为n+m；

同样，得到上视图21对应的水平投影向量和垂直投影向量下视图22的水平投影向量和垂直投影向量

$Y_h^{21}=Y_h^2+Y_h^1;$

$Y_v^{21}=Y_v^2\left|\right|Y_v^1;$

$Y_h^{22}=Y_h^3+Y_h^4;$

$Y_v^{22}=Y_v^3\left|\right|Y_v^4;$

【步骤S5】计算左视图11和右视图12、上视图21和下视图22各投影向量之间的距离和

$D_h^1=Y_h^{11}-Y_h^{12};$

$D_v^1=Y_v^{11}-Y_v^{12};$

$D_h^2=Y_h^{21}-Y_h^{22};$

$D_v^2=Y_v^{21}-Y_v^{22};$

【步骤S6】如果左视图11和右视图12水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第一计数器值加1；如果上视图21和下视图22水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第二计数器值加1；

【步骤S7】重复步骤S2～S6，直至步骤S6被执行了m次；

【步骤S8】若第一计数器的值大于等于k*m,k∈(0.5,1]，则检测到的当前视频节目格式为左右3D视频格式；

【步骤S9】若第二计数器的值大于等于k*m,k∈(0.5,1]，则检测到的当前视频节目格式为上下3D视频格式。

还可以根据上述流程，判断当前视频节目格式是否为其他几种3D格式，例如行交织3D格式(LI)、列交织3D格式(CI)、方格-交错3D格式(CB)、方格-并排3D格式(CBS)。检测过程可以与上述过程的S2、S3、S4类似，依据不同格式左右视图排布的规则，进行左右视图的区域划分，得到左右视图的水平投影和垂直投影。例如行交织3D格式(LI)，左右区域划分按照图像像素的奇偶行进行划分，所有奇数行的像素进行水平投影/垂直投影，得到一个视图的水平/垂直投影向量；所有偶数行的像素进行水平投影/垂直投影，得到另一个视图的水平/垂直投影向量。后续处理步骤则跟上述S5到S8完全相同。

若根据上述过程均未检测到3D格式视频，则判断检测到的当前视频节目为2D视频格式。

实施例二

一种视频三维格式快速检测方法，所述检测方法包括如下步骤：

步骤一、判断视频是否为上下3D格式视频或左右3D格式视频，包括：

S1、新视频节目开始，对第一计数器、第二计数器清零；

S2、获取一帧宽度为N高度为L的图像P，对输入图像划分为4个子区域，形成左上、左下、右上、右下4个子区域；同时再按左右3D、上下3D格式进行视图划分；按左右3D格式化时，左视图11在左边，右视图12在右边；按上下3D格式化时，上视图21在上边，下视图22在下边；

S3、对于YUV模式图像，只对亮度分量Y进行计算，计算步骤S2中4个子区域的水平投影向量Y_h和垂直投影向量Y_v。分别得到第一子区域水平投影向量第一子区域垂直投影向量第二子区域水平投影向量第二子区域垂直投影向量第三子区域水平投影向量第三子区域垂直投影向量第四子区域水平投影向量第四子区域垂直投影向量其中，Y_h的维度为L/2，Y_v的维度为N/2。

第二子区域水平投影向量与垂直投影向量的计算公式如下，其中Y_ij为第i行第j列像素点的Y分量；

$Y_h^2=\left[\begin{array}{c}{Y}_{1h}\\ Y_{\mathrm{2h}}\\ Y_{\mathrm{3h}}\\ \·\\ \·\\ \·\\ Y_{\frac{L}{2}h}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{1j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{2j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{3j}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{\frac{L}{2}j}\end{array}\right];$

$Y_v^2=\left[\begin{array}{c}{Y}_{1v}\\ Y_{2v}\\ Y_{3v}\\ \·\\ \·\\ \·\\ Y_{\frac{N}{2}v}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i1}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i2}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i3}\\ \·\\ \·\\ \·\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i\frac{L}{2}}\end{array}\right];$

其他3个区域的的计算过程与之相同，只需要按照不同区域i，j的取值修改取值范围(本领域技术人员可以根据本发明的描述获取其他3个区域的 这里不做赘述)。第一区域为第三区域为第四区域为

对于RGB模式图像，将图像从RGB颜色空间转为YUV颜色空间，再按照上述过程对Y进行处理；或者直接在RGB空间，对R、G、B三个分量都按上述Y的过程进行处理，从而判断格式；

S4、根据步骤S2中子区域与左右视图的关系，得到左视图11对应的水平投影向量和垂直投影向量右视图12的水平投影向量和垂直投影向量

$Y_h^{11}=Y_h^2\left|\right|Y_h^3;$

$Y_v^{11}=Y_v^2+Y_v^3;$

$Y_h^{12}=Y_h^1\left|\right|Y_h^4;$

$Y_v^{12}=Y_v^1+Y_v^4;$

其中,和维度为L，和维度为N/2；

定义两个向量V和T的连接运算为：

$V\left|\right|T=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ \·\\ \·\\ \·\\ v_n\\ t_1\\ t_2\\ \·\\ \·\\ \·\\ t_m\end{array}\right]$

其中，向量V的维度为n，向量T的维度为m，连接后的新向量维度为n+m；

同样，得到上视图21对应的水平投影向量和垂直投影向量下视图22的水平投影向量和垂直投影向量

$Y_h^{21}=Y_h^2+Y_h^1;$

$Y_v^{21}=Y_v^2\left|\right|Y_v^1;$

$Y_h^{22}=Y_h^3+Y_h^4;$

$Y_v^{22}=Y_v^3\left|\right|Y_v^4;$

S5、计算左视图11和右视图12、上视图21和下视图22各投影向量之间的距离 和

$D_h^1=Y_h^{11}-Y_h^{12};$

$D_v^1=Y_v^{11}-Y_v^{12};$

$D_h^2=Y_h^{21}-Y_h^{22};$

$D_v^2=Y_v^{21}-Y_v^{22};$

S6、如果左视图11和右视图12水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第一计数器值加1；如果上视图21和下视图22水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第二计数器值加1；

S7、重复步骤S2～S6，直至步骤S6被执行了m次；

S8、若第一计数器的值大于等于k*m,k∈(0.5,1]，则检测到的当前视频节目格式为左右3D视频格式；

若第二计数器的值大于等于k*m,k∈(0.5,1]，则检测到的当前视频节目格式为上下3D视频格式；

S9、若以上两个计数器的值都不满足条件，则检测到的当前视频节目不是左右3D视频格式，也不是上下3D视频格式；

步骤二、判断视频是否为行交织3D格式LI视频或列交织3D格式CI视频或方格-交错3D格式CB视频或方格-并排3D格式CBS视频；包括：与步骤一过程的步骤S2、步骤S3、步骤S4类似，依据不同格式左右视图排布的规则，进行左右视图的区域划分，得到左右视图的水平投影和垂直投影；行交织3D格式LI的左右区域划分按照图像像素的奇偶行进行划分，所有奇数行的像素进行水平投影/垂直投影，得到一个视图的水平/垂直投影向量；所有偶数行的像素进行水平投影/垂直投影，得到另一个视图的水平/垂直投影向量；后续处理步骤则跟步骤一的步骤S5到S8完全相同。

步骤三、若步骤一、步骤二中均未检测到3D格式视频，则判断检测到的当前视频节目为2D视频格式。

实施例三

一种视频三维格式快速检测方法，所述检测方法包括如下步骤：

计数器初始化；

获取一帧图像，根据所需要检测的n种3D视频格式(所述3D格式为以下6种格式中的其中之一：左右3D格式SBS、上下3D格式TB、行交织3D格式LI、列交织3D格式、方格-交错3D格式、方格-并排3D格式)，对图像进行n种左右视图的划分；

计算每一种视图划分，其左右视图的像素分量的水平投影向量和垂直投影向量；

计算每一种视图划分，对应的左右视图的水平投影向量距离以及垂直投影向量距离；

针对每一种视图划分，如果水平投影向量距离以及垂直投影向量距离小于给定阈值，则该视图划分对应的3D格式计数器加1；

重复m次，查看何种3D格式计数器值大于k*m,k∈(0.5,1]，大于则断定格式为该3D格式；如果所有计数器值都不满足，则断定格式为2D格式。

综上所述，本发明提出的视频三维格式快速检测方法，可快速检测视频的三维格式。本发明通过设计一种指标，该指标计算于水平视差无关，只与垂直视差相关，则针对3D内容的左右视图，该指标具有高度一致性，这一点跟普通2D视频具有显著差异，进而检测出视频的3D/2D格式。

本发明根据三维视频内容制作所要求的左右视图只能存在水平视差，不允许存在垂直视差，以及左右视图亮度/色度等各方面特征必须高度一致这些特征，采用计算不同视图的投影向量之间的距离来进行格式检测，整个过程的计算量只存在加法运算，由此可以方便/经济的适合软硬件快速实现。

其次，本发明方法利用了同一视频节目格式唯一这一事实条件，只是在每个新节目开始时做必要的计算/检测，特别适用于移动设备(平板电脑、笔记本电脑)这类对功耗、制造成本要求非常苛刻的***。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (7)

1.一种视频三维格式快速检测方法，其特征在于，所述检测方法包括如下步骤：

步骤一、判断视频是否为上下3D格式视频或左右3D格式视频，包括：

S1、新视频节目开始，对第一计数器、第二计数器清零；

S2、获取一帧宽度为N高度为L的图像P，对输入图像划分为4个子区域，形成左上、左下、右上、右下4个子区域；同时再按左右3D、上下3D格式进行视图划分；按左右3D格式化时，左视图(11)在左边，右视图(12)在右边；按上下3D格式化时，上视图(21)在上边，下视图(22)在下边；

S3、对于YUV模式图像，只对亮度分量Y进行计算，计算步骤S2中4个子区域的水平投影向量Y_h和垂直投影向量Y_v；分别得到第一子区域水平投影向量第一子区域垂直投影向量第二子区域水平投影向量第二子区域垂直投影向量第三子区域水平投影向量第三子区域垂直投影向量第四子区域水平投影向量第四子区域垂直投影向量其中，Y_h的维度为L/2，Y_v的维度为N/2；

第二子区域水平投影向量与垂直投影向量的计算公式如下，其中Y_ij为第i行第j列像素点的Y分量；

$Y_h^2=\left[\begin{array}{c}{Y}_{1h}\\ Y_{2h}\\ Y_{3h}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ Y_{\frac{L}{2}h}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{1j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{2j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{3j}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{\frac{L}{2}j}\end{array}\right];$

$Y_v^2=\left[\begin{array}{c}{Y}_{1v}\\ Y_{2v}\\ Y_{3v}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ Y_{\frac{N}{2}v}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i1}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i2}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i3}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i\frac{L}{2}}\end{array}\right];$

其他3个区域的的计算过程与之相同，只需要按照不同区域i，j的取值修改取值范围；第一区域为第三区域为第四区域为

对于RGB模式图像，将图像从RGB颜色空间转为YUV颜色空间，再按照上述过程对Y进行处理；或者直接在RGB空间，对R、G、B三个分量都按上述Y的过程进行处理，从而判断格式；

S4、根据步骤S2中子区域与左右视图的关系，得到左视图(11)对应的水平投影向量和垂直投影向量右视图(12)的水平投影向量和垂直投影向量

$Y_h^{11}=Y_h^2\left|\right|Y_h^3;$

$Y_v^{11}=Y_v^2+Y_v^3;$

$Y_h^{12}=Y_h^1\left|\right|Y_h^4;$

$Y_v^{12}=Y_v^1+Y_v^4;$

其中,和维度为L，和维度为N/2；

定义两个向量V和T的连接运算为：

$V\left|\right|T=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ \begin{array}{c}.\\ .\\ .\end{array}\\ v_n\\ t_1\\ t_2\\ \begin{array}{c}.\\ .\\ .\end{array}\\ t_m\end{array}\right]$

其中，向量V的维度为n，向量T的维度为m，连接后的新向量维度为n+m；

同样，得到上视图(21)对应的水平投影向量和垂直投影向量下视图(22)的水平投影向量和垂直投影向量

$Y_h^{21}=Y_h^2+Y_h^1;$

$Y_v^{21}=Y_v^2\left|\right|Y_v^1;$

$Y_h^{22}=Y_h^3+Y_h^4;$

$Y_v^{22}=Y_v^3\left|\right|Y_v^4;$

S5、计算左视图(11)和右视图(12)、上视图(21)和下视图(22)各投影向量之间的距离和

$D_h^1=Y_h^{11}-Y_h^{12};$

$D_v^1=Y_v^{11}-Y_v^{12};$

$D_h^2=Y_h^{21}-Y_h^{22};$

$D_v^2=Y_v^{21}-Y_v^{22};$

S6、如果左视图(11)和右视图(12)水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第一计数器值加1；如果上视图(21)和下视图(22)水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第二计数器值加1；

S7、重复步骤S2～S6，直至步骤S6被执行了m次；

S8、若第一计数器的值大于等于k*m,k∈(0.5,1]，则检测到的当前视频节目格式为左右3D视频格式；

若第二计数器的值大于等于k*m,k∈(0.5,1]，则检测到的当前视频节目格式为上下3D视频格式；

S9、若以上两个计数器的值都不满足条件，则检测到的当前视频节目不是左右3D视频格式，也不是上下3D视频格式；

步骤二、判断视频是否为行交织3D格式LI视频或列交织3D格式CI视频或方格-交错3D格式CB视频或方格-并排3D格式CBS视频；包括：与步骤一过程的步骤S2、步骤S3、步骤S4类似，依据不同格式左右视图排布的规则，进行左右视图的区域划分，得到左右视图的水平投影和垂直投影；行交织3D格式LI的左右区域划分按照图像像素的奇偶行进行划分，所有奇数行的像素进行水平投影/垂直投影，得到一个视图的水平/垂直投影向量；所有偶数行的像素进行水平投影/垂直投影，得到另一个视图的水平/垂直投影向量；后续处理步骤则跟步骤一的步骤S5到S8完全相同；

步骤三、若步骤一、步骤二中均未检测到3D格式视频，则判断检测到的当前视频节目为2D视频格式。

2.一种视频三维格式快速检测方法，其特征在于，所述检测方法包括如下步骤：

计数器初始化；

获取一帧图像，根据所需要检测的n种3D视频格式，对图像进行n种左右视图的划分；

计算每一种视图划分，其左右视图的像素分量的水平投影向量和垂直投影向量；

计算每一种视图划分，对应的左右视图的水平投影向量距离以及垂直投影向量距离；

针对每一种视图划分，如果水平投影向量距离以及垂直投影向量距离小于给定阈值，则该视图划分对应的3D格式计数器加1；

重复m次，查看何种3D格式计数器值大于k*m,k∈(0.5,1]，大于则断定格式为该3D格式；如果所有计数器值都不满足，则断定格式为2D格式。

3.根据权利要求2所述的视频三维格式快速检测方法，其特征在于：

所述3D格式为以下6种格式中的其中之一：左右3D格式SBS、上下3D格式TB、行交织3D格式LI、列交织3D格式、方格-交错3D格式、方格-并排3D格式。

4.根据权利要求2所述的视频三维格式快速检测方法，其特征在于：

对于目前最为普遍的左右3D和上下3D格式，所述检测方法具体包括如下步骤：

S1、新视频节目开始，对第一计数器、第二计数器清零；

S2、获取一帧宽度为N高度为L的图像P，对输入图像划分为4个子区域，形成左上、左下、右上、右下4个子区域；同时再按左右3D、上下3D格式进行视图划分；按左右3D格式化时，左视图(11)在左边，右视图(12)在右边；按上下3D格式化时，上视图(21)在上边，下视图(22)在下边；

S3、对于YUV模式图像，对步骤S2中4个子区域的亮度分量Y进行计算，计算步骤S2中4个子区域的水平投影向量Y_h和垂直投影向量Y_v；

对于RGB模式图像,计算步骤S2中4个子区域的R、G、B三个分量进行计算，得到对应的水平投影向量R_h、G_h、B_h和垂直投影向量R_v、G_v、B_v；

将上述各个分量Y、R、G、B标记为X，对于分量X，分别得到第一子区域水平投影向量第一子区域垂直投影向量第二子区域水平投影向量第二子区域垂直投影向量第三子区域水平投影向量第三子区域垂直投影向量第四子区域水平投影向量第四子区域垂直投影向量其中，X_h的维度为L/2，X_v的维度为N/2；

S4、根据步骤S2中子区域与左右视图的关系，得到左视图(11)对应的水平投影向量和垂直投影向量右视图(12)的水平投影向量和垂直投影向量其中,和维度为L，利维度为N/2；

同样，得到上视图(21)对应的水平投影向量和垂直投影向量下视图(22)的水平投影向量和垂直投影向量

S5、计算左视图(11)和右视图(12)、上视图(21)和下视图(22)各投影向量之间的距离和

S6、如果左视图(11)和右视图(12)水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第一计数器值加1；如果上视图(21)和下视图(22)水平投影向量距离小于第一阈值TH_h，并且投影向量距离小于第二阈值TH_v，则第二计数器值加1；

S7、重复步骤S2～S6，直至步骤S6被执行了m次；

S8、若第一计数器的值大于等于设定值，则检测到的当前视频节目格式为左右3D视频格式；

若第二计数器的值大于等于设定值，则检测到的当前视频节目格式为上下3D视频格式；

若以上两个计数器的值都不满足条件，则检测到的当前视频节目为2D视频格式。

5.根据权利要求2所述的视频三维格式快速检测方法，其特征在于：

所述步骤S3中，第二子区域水平投影向量与垂直投影向量的计算公式如下，其中Y_ij为第i行第j列像素点的Y分量；

$Y_h^2=\left[\begin{array}{c}{Y}_{1h}\\ Y_{2h}\\ Y_{3h}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ Y_{\frac{L}{2}h}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{1j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{2j}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{3j}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ {\mathrm{\Σ}}_{j=1}^{\frac{N}{2}}{Y}_{\frac{L}{2}j}\end{array}\right];$

$Y_v^2=\left[\begin{array}{c}{Y}_{1v}\\ Y_{2v}\\ Y_{3v}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ Y_{\frac{N}{2}v}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i1}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i2}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i3}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ {\mathrm{\Σ}}_{i=1}^{\frac{L}{2}}{Y}_{i\frac{L}{2}}\end{array}\right];$

其他3个区域的的计算方式与之类似。

6.根据权利要求2所述的视频三维格式快速检测方法，其特征在于：

所述步骤S4中，

定义两个向量V、T的连接运算为：

$V\left|\right|T=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ \begin{array}{c}.\\ .\\ .\end{array}\\ v_n\\ t_1\\ t_2\\ \begin{array}{c}.\\ .\\ .\end{array}\\ t_m\end{array}\right]$

V的维度为n，T的维度为m，连接后的新向量维度为n+m。

7.根据权利要求2所述的视频三维格式快速检测方法，其特征在于：

所述步骤S5中，