CN102227127A - 全自动多媒体素材缺陷检测及质量分析方法 - Google Patents

Abstract

全自动多媒体素材缺陷检测及质量分析方法。包括：媒体素材缺陷模型集的建立；媒体素材质量分析指标集的建立；媒体素材缺陷的检测；媒体素材质量分析；媒体素材缺陷的检测与质量分析结果保存。在本发明方法基础上实现的软件可在现有主流计算机上达到实时处理的效果，可用于历史上多年积累下来的海量模拟媒体素材的数字化恢复及存储***的预处理中。该方法为模拟素材的恢复提供实时、全自动的缺陷检测（包括缺陷类型、帧号、时间戳/片段信息、缺陷位置等）及媒体压缩存储所需必要的低层质量信息（包括视频音频信噪比、视频音频带宽、视频音频平均值等），在此信息基础上，可手工或自动地进行媒体素材的恢复修补、视频音频压缩及数字化存储等任务。

Description

全自动多媒体素材缺陷检测及质量分析方法

技术领域

本发明涉及多媒体技术，尤其涉及模拟影视素材缺陷检测与恢复及数字化存储技术。

背景技术

电影技术产生于19世纪末，成熟于20世纪并发展至今；广播电视技术出现稍晚，大约在产生于二战后期，并发展至今。早期的电影、电视、唱片等媒体都是存储在诸如电影胶片、录像带、模拟唱盘等模拟存储介质上。存储在这些模拟介质上的媒体素材随着时间的推移及使用次数的增多，逐渐老化、破损，从而导致质量下降。其突出的特点表现为各种各样的媒体素材缺陷的产生，例如由于录像带损伤或玷污引起的视频帧完全或各种各样的部分帧内容缺失、录像带老化引起的帧内容质量下降(如划痕、帧滚动、颜色不正常)等。

20世纪80年代以来，计算机及数字媒体技术进入了高速发展阶段。由于数字存储技术具备存储容量大、使用方便、信息不易丢失等特点，很多媒体素材的存储逐渐由模拟过渡到采用数字存储介质。到了今天几乎所有的媒体都是存储在数字设备上。但是，大量早期原生模拟媒体素材，随着时间的推移，其历史价值越来越重要，同时又面临着随着时间的推移及保护措施的不利，造成质量下降甚至有不可恢复再生的风险。根据权威部门研究报告，欧洲有几百万小时的模拟媒体素材面临此种危机，我国做为一个大国，同样面临这样的问题。目前大量早期影视作品、纪录片，作为历史的一部分，弥足珍贵。及时抢救这些资料，尽快利用先进的计算机及数字技术存储、恢复这些资料，是广播电影电视行业当今面临的重要课题。

另一方面，由于历史的积累，这种有待于抢救保存的早期模拟媒体素材数量及其庞大(以百万小时计)，利用人工检测并恢复的方法耗时耗资巨大。因此，一个全自动多媒体素材缺陷检测、恢复及数字化存储***亟待出现。

发明内容

本发明目的是为了及时抢救保护历史上留存下来大量的、珍贵的模拟媒体素材，利用高科技数字手段自动地对其质量进行预分析，检测其中各类视频缺陷并提供视频(包括信噪比、带宽、有效区、平均值等)、音频低层质量信息(包括信噪比、带宽、平均值等)，为进一步恢复、重建、压缩编码等后处理工作预备必要的信息，故此，提出一种全自动多媒体素材缺陷检测及质量分析方法。

本发明要解决的第一个技术问题是分析现存各种制式模拟媒体素材在长期存储后，由于环境变化、存储介质老化、破损等原因，造成的各类型视频内容的缺陷，并建立一套完善的视频缺陷模型。

本发明要解决的第二个技术问题是根据建立好的模拟视频缺陷模型，提出一套有效的检测方法进行实时检测。

本发明要解决的第三个技术问题提供一套全自动视频音频基本质量信息分析算法。

为此，本发明提供的全自动多媒体素材缺陷检测与质量分析方法包括：

第1、媒体素材缺陷模型集的建立；

第2、媒体素材质量分析指标集的建立；

第3、媒体素材缺陷的检测；

第4、媒体素材质量分析；

第5、保存媒体素材缺陷的检测与质量分析结果。

其中，第1步所述的媒体素材缺陷模型集包括：

第11、失效帧缺陷模型，该模型的视频帧内容完全缺失，由一些杂乱无章的信号所替代；

第1.2、I型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，非受损行信息完全保留，并且损伤的行与行间无特殊相关性；

第1.3、II型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，并且受损区域内行间信息几乎相同，行间相关度极强；

第1.4、III型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，并且受损区域的行内信息规律性向右偏移，由此在受损区域左边形成一无信号的黑色三角形；

第1.5、IV型行失效帧缺陷模型，该模型的视频缺陷特点为整帧左移，在整帧右边留一无信号黑色区域，同时缺陷以“行”为单位，受损行信息部分缺失，并且受损区域相对整帧平行右移，同时受损行左部亦有一无信号黑色区域；

第1.6、划痕型缺陷模型，该模型的视频缺陷特点为整帧信息未完全丢失，但视频图像上增加位置固定或变化的横向划痕状内容；

第1.7、帧间滚动型缺陷模型，该模型的视频缺陷的特点为，一帧内同时显示相邻两帧的部分图像，并且两帧间分割部分随时间滚动向上或向下运动，时间持续在0.5秒到数秒之间；

第1.8、颜色失真型缺陷模型，该模型的视频缺陷的显著特征为某一以“行”为单位的区域颜色异常，其原因在于该制式信号部分相位信息缺失。

第2步所述的媒体素材质量分析指标集包括：

第2.1、视频信号帧平均值及有效区域检测；

第2.2、视频信号带宽；

第2.3、视频信号信噪比；

第2.4、音频信号帧平均值；

第2.5、音频信号带宽；

第2.6、音频信号信噪比。

第3步所述的媒体素材缺陷的检测算法是：

第3.1、失效帧缺陷模型检测算法，利用帧间相关信息，检测出帧内失效点集合，然后根据失效点的分布及密度，判断该帧是否为失效帧；

第3.2、I型行失效帧缺陷模型检测算法，将被检测帧灰度图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量；然后在此信号基础上，考察帧间、行间相关信息，并结合行间运动补偿，最终检测判断出该类缺陷的失效行；

第3.3、II型行失效帧缺陷模型检测算法，将被检测帧灰度图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量；然后在此信号基础上，依据帧内行间相关性信息，结合帧间相关性信息，检测出帧内缺陷候选行，最后从检测出失效行开始，上下搜索，采用区域增长的方法检测出该帧内所有缺陷区域；

第3.4、III型行失效帧缺陷模型检测算法，利用行间相关性及帧间相关性信息，检测出候选行；由于此类缺陷具备行间位移的特点，在计算行间相关性时，候选行在相邻±行内进行搜索，计算两行之间的相关性最大值作为行间相关性；该候选行具备行内高相关性和帧间低相关性的特点；然后根据候选行的区域分布、相关度，确定该类缺陷的存在区域；

第3.5、IV型行失效帧缺陷模型检测算法，通过检测帧内左边黑色特征区域，将图像分割出缺陷候选区，即左边检测出黑色区域的行的集合；然后利用候选区的帧间直方图比对，确定该类缺陷的存在区域；

第3.6、划痕型缺陷模型检测算法，在帧内检测出宽度小于4个像素的线形物体，并二值化做为模板；然后在此模板基础上，利用Hough变换，检测出横向线形物体，过滤掉其余方向的线形物体；最后，利用形态学开-闭算子进行运动补偿，从检测出横向线形物体集中过滤掉由于帧内物体运动造成的线，留下由于缺陷产生的线；最后利用中值滤波方法过滤掉孤立的像素点，留下划痕缺陷存在的位置；

第3.7、帧间滚动型缺陷模型检测算法，利用帧内行间相关性，检测出前后两帧相连接的部分；然后在连续的帧组中跟踪检测这部分的位置，直到该部分消失为止，从而得到帧滚动的位置及其滚动的帧片段；

第3.8、颜色失真型缺陷模型检测算法，将2维图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量，然后在此基础上，以“行”为单位，根据帧间相关性，检测颜色异常的区域。

第4步所述媒体素材质量分析方法是：

第4.1、视频信号帧平均值及有效区域检测方法，帧内像素灰度值直方图，以其5％像素值为判决阈值，考察横向及纵向边界区，如果该行或列所以像素值都小于该阈值，则判断为无信号的边缘区，剩余区域为有效区；在有效区内计算像素灰度平均值，即为视频信号平均值；

第4.2、视频信号带宽估算方法，首先利用FFT按行计算功率谱，然后将帧内各行功率谱求平均；根据帧内平均功率谱得到该帧图像的带宽：带宽低频点设为0，高频点定义为使平均功率谱达到95％的频率的下限值；

第4.3、视频信号信噪比估算方法，首先将图像帧利用Daubechies小波进行多尺度分解；根据分解后的小波系数综合采用两种途径进行噪声估计：一种采用噪声奇异点的方法，即考察相同像素点的不同尺度小波分解系数的相互关系来确定奇异点；另一种利用阈值判断的方法，即根据前面帧估计的噪声方差作为阈值参数，考察小波分解后的系数；结合两种噪声估计的结果，采用其组合信息，估计噪声能量，最后计算出视频信号的信噪比；

第4.4、音频信号帧平均值计算方法，音频信号平均值定义为对应某视频帧的音频片段的幅度的平均值；

第4.5、音频信号带宽估算方法，音频信号带宽计算基于FFT变换，将音频片段FFT变换后功率谱5％～95％之间的频率定义为该音频片段的带宽；

第4.6、音频信号信噪比估算方法，首先假定音频带宽以外(高频部分)为噪声带宽，然后利用音频带宽信息，音频功率谱计算出噪声功率谱，从而计算出音频信噪比。本发明的优点和积极效果：

本发明采用先进的计算机视频分析技术，实时、自动地检测各类视频缺陷，同时提供视频质量分析信息，为后端视频恢复、压缩、存储提供必要的信息。由于历史积累出海量的模拟媒体素材，使用人工方式进行检测效率低下，费时费力，采用本发明解决方案，可以节约大量成本及社会资源。

附图说明

图1示出本发明的***架构图；

图2示出本发明的媒体分析子***架构图

图3示出本发明关于视频缺陷检测***架构

图4示出本发明关于失效帧缺陷模型、检测结果及检测方法

图5示出本发明关于行缺陷I型的模型、检测结果及检测方法

图6示出本发明关于行缺陷II型的模型、检测结果及检测方法

图7示出本发明关于行缺陷III型的模型、检测结果及检测方法

图8示出本发明关于行缺陷IV型的模型、检测结果及检测方法

图9示出本发明关于划痕型缺陷模型、检测结果及检测方法

图10示出本发明关于帧间滚动型缺陷模型、检测结果及检测方法

图11示出本发明关于颜色失真型缺陷模型、检测结果及检测方法

图12示出本发明关于视频信噪比计算方法

图13示出本发明关于音频信噪比计算方法

具体实施方式

一、本发明提供的全自动多媒体素材缺陷检测与质量分析方法包括：

第1、媒体素材缺陷模型集的建立；

第2、媒体素材质量分析指标集的建立；

第3、媒体素材缺陷的检测；

第4、媒体素材质量分析；

第5、保存媒体素材缺陷的检测与质量分析结果。

在本发明实施软件中，模拟视频采集后转化为分辨率为352x288视频帧图像，所有算法针对于此分辨率视频处理。

1、媒体素材缺陷模型集

包括：

●失效帧模型。该类型缺陷模型及检测结果由图4示出。由图可见，该类缺陷全帧容完全缺失，由一些杂乱无章的信号所替代。

●各类行失效帧模型包括，

■I型行失效帧模型。该类型缺陷模型及检测结果由图5示出。由图可见，该类型缺陷以“行”为单位，受损行信息完全缺失，非受损行信息完全保留，并且损伤行行间无相关性。

■II型行失效帧模型。该类型缺陷模型、检测结果由图6示出。由图可见，该类型缺陷以“行”为单位，受损行信息完全缺失，并且受损区域行间信息几乎相同，行间相关度极强。

■III型行失效帧模型。该类型缺陷模型及检测结果由图7示出。由图可见，该类型缺陷以“行”为单位，受损行信息完全缺失，并且受损区域行内信息规律性向右偏移，由此在受损区域左边形成一无信号的黑色三角形。

■IV型失效帧模型。该类型缺陷模型及检测结果由图8示出。由图可见，该类缺陷特点为，整帧左移，在帧右边留言一无信号黑色区域，同时缺陷以“行”为单位，受损行信息部分缺失，并且受损区域平行右移，同时受损行左部亦有一无信号黑色区域。

●划痕型缺陷模型及其检测。该类缺陷模型及检测结果由图9示出。由图可见，该类缺陷特点为，整帧信息未丢失，但视频图像上增加固定或动态的横向划痕状内容。

●帧间滚动型缺陷模型及其检测。该类缺陷模型及检测结果由图10示出。由图可见，该类缺陷的特点为，由于某种时基信息错误或丢失，造成一帧内同时显示相邻两帧的部分图像，并且两帧间分割部分随时间滚动向上(或向下)运动，时间持续有0.5秒到数秒不等。

●颜色失真型缺陷模型及其检测。该类缺陷模型及检测结果由图11示出。该类缺陷一般出现在SCEMA制式的视频中，其原因在于该制式信号某类相位的缺失。由图可见，其特征为某一以“行”为单位的区域颜色异常(通常为紫色)。

2、媒体素材质量分析指标集包括：

●视频信号帧平均值及有效区域检测；

●视频信号带宽；

●视频信号信噪比；

●音频信号帧平均值；

●音频信号带宽；

●音频信号信噪比。

3、媒体素材缺陷的检测，包括：

●失效帧缺陷检测算法。该类型缺陷检测方法框图由图4示出。检测方法为：

■首先利用帧间相关信息，检测出帧内失效点集合。为此，定义失效点模板为，

$M_{i,j}^t=\left\{\begin{array}{cc}1& \mathrm{if}\min \left(\right|x_{i,j}^t-x_{i,j}^{t-1}|,|x_{i,j}^t-x_{i,j}^{t+1}\left|\right)>150\\ 0& \mathrm{else}\end{array}\right.$

这里，t为时间信息，(i，j)为坐标，x为帧内像素灰度值

■然后根据失效点的分布及密度，判断失效帧是否存在。

将整个帧分割为22x12个子区域(每个子区域大小为12x16)。如果相同行中含失效点的子区域超过该行子区域数的80％，定义该子区域行为失效子区域行；如果这样的失效子区域行数超过所有子区域行数50％，则判断该帧是否为失效帧

●各类行失效帧缺陷检测算法，包括，

■I型行失效帧缺陷检测。该类型缺陷检测方法框图由图5示出。检测方法为：

◆首先将被检测帧灰度图像转换为1维信号(每行像素灰度值累加)

$y\left(i\right)=\frac{1}{N}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}x(i,j)$

这里，i为行坐标，j为列坐标，x为帧内像素灰度值，N为行像素个数

◆定义帧间-行间相关函数：

$H(i,k)=\left\{\begin{array}{cc}1& \mathrm{if}\min \left(\right|y^t\left(i\right)-y^{t-1}(i+k)|,|y^t\left(i\right)-y^{t+1}(i+k)\left|\right)>\min \left(\right|y^{t-1}(i+k)-y^{t+1}(i+k)|,20)\\ 0& \mathrm{else}\end{array}\right.$

这里，t为时间信息，k为行间位移因子，i为行坐标。

◆最后根据帧间-行间相关函数，结合前后帧1维化后的信息，同时进行运动补偿，确定该类型缺陷的存在区域。

定义前帧差异度： $D_0(i,k)=\left\{\begin{array}{cc}\frac{1}{N}\underset{j=-4}{\overset{4}{\mathrm{\Σ}}}\left(\right|y^t(i+j)-y^{t-1}(i+j+k)|*H(i+j,k))& \mathrm{if\; N}\≠0\\ 0& \mathrm{else}\end{array}\right.$

定义后帧差异度： $D_1(i,k)=\left\{\begin{array}{cc}\frac{1}{N}\underset{j=-4}{\overset{4}{\mathrm{\Σ}}}\left(\right|y^t(i+j)-y^{t-1}(i+j+k)|*H(i+j,k))& \mathrm{if\; N}\≠0\\ 0& \mathrm{else}\end{array}\right.$

这里， $N=\underset{j=-4}{\overset{4}{\mathrm{\Σ}}}H(i+j,k)$

定义前帧差异度运动补偿： $Z_0\left(i\right)=\underset{k=-10}{\overset{10}{\min }}\left(D_0(i,k)\right)$

定义后帧差异度运动补偿： $Z_1\left(i\right)=\underset{k=-10}{\overset{10}{\min }}\left(D_1(i,k)\right)$

判决准则函数：min(Z₀(i)，Z₁(i))＞min(|y^t+1(i)-y^t-1(i)|+15，30)，即如该式满足，第i行即为缺陷行

■II型行失效帧缺陷检测。该类型缺陷检测方法框图由图6示出。检测方法为：

◆首先将被检测帧灰度图像转换为1维信号(每行像素灰度值累加)

$y\left(i\right)=\frac{1}{N}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}x(i,j)$

这里，i为行坐标，j为列坐标，x为帧内像素灰度值，N为行像素个数

◆然后依据帧内行间相关性信息，结合帧间相关性信息，检测出帧内缺陷候选行，该候选行满足行间高相关性及帧间低相关性的特点；

行间高相关性要求同时满足：

$T_1\left(i\right)=\underset{k=-5}{\overset{5}{\max }}\left(\right|y\left(i\right)-y(i+k+1)|<3$

$T_2\left(i\right)=\underset{j=0}{\overset{N}{\max }}\left(\frac{1}{11}\underset{k=-5}{\overset{5}{\mathrm{\&Sigma;}}}\right|x(i,j)-x(i+k,j)|<20$

这里，k为行位移因子

帧间低相关性要求满足：

min(d₀，d₁)＞T₂*(T₁+0.5)

这里，

$d_0=\frac{1}{N}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}|x^t(i,j)-x^{t-1}(i,j)|$

$d_1=\frac{1}{N}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}|x^t(i,j)-x^{t-1}(i,j)|,$

其中t为时间信息

◆最后从候选行开始上下搜索，将所有与缺陷区相邻的，并且与候选行有高相关性的行纳入到缺陷区内

■III型行失效帧缺陷检测。该类型缺陷检测方法框图由图7示出。检测方法为：

◆首先利用行间相关性及帧间相关性信息，检测出候选行。由于此类缺陷具备行间位移的特点，在计算行间相关性时，小范围地平行移动其中一行，计算移动后两行之间的相关性最大值作为行间相关性。该候选行具备行内高相关性和帧间低相关性的特点；

定义行间位移相关度：

$k\left(i\right)=\min \left(\frac{1}{N}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\right|x(i,j)-x(i+1,j)|,\frac{1}{N-1}\underset{j=0}{\overset{N-2}{\mathrm{\&Sigma;}}}|x(i,j)-x(i+1,j+1)|$

这里，i为行坐标，j为列坐标，x为帧内像素灰度值，N为行像素个数候选缺陷行要求同时满足：

min(k(i)-k(i-1)，k(i)-k(i+1))＞5

$\underset{j=1}{\overset{10}{\max }}\left(k(i-j)\right)-\underset{j=1}{\overset{10}{\min }}\left(k(i-j)\right)<3$

◆最后从候选行开始上下搜索，将所有与缺陷区相邻的，并且与候选行有高相关性的行纳入到缺陷区内

■IV型失效帧缺陷检测。该类型缺陷检测方法框图由图8示出。检测方法为：

◆首先通过检测帧内左边黑色特征区域，将图像分割出缺陷候选区(即左边检测出黑色区域的行的集合)；

定义黑色区域检测门限为：

$T=\min (\underset{i}{\max }(\frac{1}{N}\underset{k=0}{\overset{i}{\mathrm{\&Sigma;}}}H\left(k\right)<0.05),50)$

这里H(k)为直方图，N为帧内像素个数。利用此门限，获取黑色候选区域

$M(i,j)=\left\{\begin{array}{cc}1& \mathrm{if\; x}(i,j)<T\\ 0& \mathrm{else}\end{array}\right.$

◆然后利用上式M(i，j)及行间相关性，得到缺陷候选区(以行为单位)。该区域所有行要求同时满足：

1.行间低相关度

2.行左侧检出黑色像素(M(i，j)＝1)不少于5个

◆最后，利用缺陷候选区的帧间直方图比对，确定该类缺陷的存在区域。

●划痕型缺陷检测算法。该类缺陷检测方法框图由图9示出。检测方法为：

■首先在帧内检测出宽度小于4个像素的线形物体，并二值化做为模板；为此，有以下定义：

$\left|\right|\stackrel{\mathrm{\&rho;}}{x}-\stackrel{\mathrm{\&rho;}}{y}\left|\right|={(x_r-y_r)}^2+{(x_g-y_g)}^2+{(x_b-y_b)}^2$

$d_0(i,j)=\left|\right|\stackrel{\mathrm{\&rho;}}{x}(i,j)-\stackrel{\mathrm{\&rho;}}{x}(i-2,j)\left|\right|$

$d_1(i,j)=\left|\right|\stackrel{\mathrm{\&rho;}}{x}(i,j)-\stackrel{\mathrm{\&rho;}}{x}(i+2,j)\left|\right|$

$d_2(i,j)=\left|\right|\stackrel{\mathrm{\&rho;}}{x}(i+2,j)-\stackrel{\mathrm{\&rho;}}{x}(i-2,j)\left|\right|$

$M_1(i,j)=\left\{\begin{array}{cc}1& \mathrm{if}\min (d_0(i,j),d_1(i,j))>1.5*(d_2(i,j)+10)\\ 0& \mathrm{else}\end{array}\right.$

$M_2(i,j)=\left\{\begin{array}{cc}1& \mathrm{if}\min \left(\right|x^t(i,j)-x^{t-1}(i,j)|,|x^t(i,j)-x^{t+1}(i,j)\left|\right)>40\\ 0& \mathrm{else}\end{array}\right.$

M＝M₁⌒M₂

这里，i为行坐标，j为列坐标，x_r，x_g，x_b，为像素R、G、B分量，t为时间信息

■然后在此模板基础上，利用Hough变换，检测出横向线形物体，过滤掉其余方向的线形物体；

■然后，利用形态学开-闭算子进行运动补偿，从检测出横向线形物体集中过滤掉由于帧内物体运动造成的线，留下由于缺陷产生的线；

■最后利用中值滤波方法过滤掉孤立的像素点，留下划痕缺陷存在的位置。

●帧间滚动型缺陷检测算法。该类缺陷检测方法框图由图10示出。检测方法为：

■首先利用帧内行间相关性，检测出前后两帧相连接的部分(如果存在的话)；为此，有如下定义，

$y\left(i\right)=\frac{1}{N}\underset{j=0}{\overset{N}{\mathrm{\&Sigma;}}}|x(i,j)-x(i+1,j)|$

$T=\max \left(\frac{1}{N}\underset{j=0}{\overset{N}{\mathrm{\&Sigma;}}}\right|x(1,j)-x(M-1,j)|,50)$

$y\left(k\right)=\underset{i}{\max }\left(y\left(i\right)\right),y\left(i\right)>T$

这里，i为行坐标，j为列坐标，M为行的个数，N为每行像素的个数，k为滚动帧间连接行(如果y(k)＞T，该行存在，否则不存在)

■然后在连续的帧组中跟踪检测这部分的位置(k(t))，并计算其滚动的变换范围，直到该部分消失为止，从而得到帧滚动的位置及其滚动的帧片段。

●颜色失真型缺陷检测算法。该类缺陷检测方法框图由图11示出。检测方法为：

■首先将2维图像转换为1维信号(行数为维数，值为该行像素的和)

$y\left(i\right)=\frac{1}{N}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}x(i,j)$

这里，i为行坐标，j为列坐标，x为帧内像素灰度值，N为行像素个数

■然后在此基础上，根据帧间相关性，检测颜色异常的区域(以“行”为单位)为此定义：

T(i)＝max(|y^t(i)-y^t-1(i)|，|y^t(i)-y^t+1(i)|)

缺陷行判断准则为：

$\min (y_r^t\left(i\right)-y_r^{t-1}\left(i\right),y_r^t\left(i\right)-y_r^{t+1}\left(i\right))>T\left(i\right)$

$\min (y_g^{t-1}\left(i\right)-y_g^t\left(i\right),y_g^{t+1}\left(i\right)-y_g^t\left(i\right))>T\left(i\right)$

$\min (y_b^{t-1}\left(i\right)-y_b^t\left(i\right),y_b^{t+1}\left(i\right)-y_b^t\left(i\right))>T\left(i\right)$

这里，y_r，y_g，y_b，为1维信号R、G、B分量，i为行数，T(i)为判决门限。

4、媒体素材质量分析；包括：

●视频信号帧平均值及有效区域检测。

■在检测视频有效区中，利用帧内5％最小像素值集合的上限值(利用直方图分布得到)作为阈值，考察横向及纵向边界区，如果该行(列)所以像素值都小于该阈值，则判断为无信号的边缘区，剩余区域为有效区。

定义： $\underset{k}{\min }(\underset{i=0}{\overset{k}{\mathrm{\&Sigma;}}}H\left(i\right)>\frac{1}{20}\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}H\left(i\right))$

这里，H(i)为帧内直方图，k为判决阈值。

■在有效区内计算像素灰度平均值，即为视频信号平均值。

$\mathrm{VL}=\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{M-1}{\mathrm{\&Sigma;}}}x(i,j)$

这里，N为行数，M为列数。

●视频信号带宽。计算视频带宽时，

■首先利用FFT按行计算功率谱，然后将帧内各行功率谱求平均。

$P\left(f\right)=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{P}_i\left(f\right)$

这里P_i(f)为第i行功率谱，N为行数

■根据帧内平均功率谱得到该帧图像的带宽：带宽低频点设为0，高频点定义为使平均功率谱达到95％的频率的下限值

$f_{\mathrm{high}}=\underset{f}{\max }(\underset{i=0}{\overset{f}{\mathrm{\&Sigma;}}}P\left(i\right)<\frac{19}{20}\underset{i=0}{\overset{\&infin;}{\mathrm{\&Sigma;}}}P\left(i\right))$

f_low＝0

●视频信号信噪比。视频信号信噪比计算利用小波变换的方法，流程由图12示出。

■首先将图像帧利用Daubechies小波进行多尺度分解；

$W_{2^i}f(x,y)=f*{\mathrm{\&psi;}}_{2^j}(x,y)$

■根据分解后的小波系数综合采用两种途径进行噪声估计：

◆一种采用噪声奇异点的方法，即考察相同像素点的不同尺度小波分解系数的相互关系来确定奇异点；

$S(x,y)=\frac{W_{2^j}(x,y)}{W_{2^{j+1}}(x,y)}$

S_s＝{(x，y)|S(x，y)＞t_s}

◆另一种利用阈值判断的方法，即根据前面帧估计的噪声方差(σ)作为阈值参数，考察小波分解后的系数。

t_c＝kσ

$S_c=\left\{(x,y)\right|W_{2^j}(x,y)<t_c\}$

◆结合两种噪声估计的结果，采用其组合信息，估计噪声能量，最后计算出视频信号的信噪比。

S＝S_t⌒S_c

$P_{\mathrm{noise}}=\underset{(x,y)\&Element;S}{\mathrm{\&Sigma;}}{W}_{2^j}(x,y)$

$\mathrm{SNR}=10*\left(\frac{\underset{(x,y)\&Element;I}{\mathrm{\&Sigma;}}f(x,y)-P_{\mathrm{noise}}}{P_{\mathrm{noise}}}\right)$

●音频信号帧平均值。音频信号平均值定义为对应某视频帧的音频片段的幅度的平均值。

$\mathrm{AL}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}x\left(i\right)$

●音频信号带宽。音频信号带宽计算基于FFT变换，将音频片段FFT变换后功率谱5％～95％之间的频率定义为该音频片段的带宽。

$f_{\mathrm{low}}=\underset{f}{\min }(\underset{i=0}{\overset{f}{\mathrm{\&Sigma;}}}P\left(i\right)>\frac{1}{20}\underset{i=0}{\overset{\&infin;}{\mathrm{\&Sigma;}}}P\left(i\right))$

$f_{\mathrm{high}}=\underset{f}{\max }(\underset{i=0}{\overset{f}{\mathrm{\&Sigma;}}}P\left(i\right)<\frac{19}{20}\underset{i=0}{\overset{\&infin;}{\mathrm{\&Sigma;}}}P\left(i\right))$

●音频信号信噪比。音频信噪比利用FFT变换的方法，流程由图13示出。计算时，

■首先假定音频带宽以外(高频部分)为噪声带宽

$f_{\mathrm{high}}=\underset{f}{\max }(\underset{i=0}{\overset{f}{\mathrm{\&Sigma;}}}P\left(i\right)<\frac{19}{20}\underset{i=0}{\overset{\&infin;}{\mathrm{\&Sigma;}}}P\left(i\right))$

■然后利用音频带宽信息，音频功率谱计算出噪声功率谱，从而计算出音频信噪比。

$P_{\mathrm{noise}}=\underset{i=f}{\overset{f_{\mathrm{sample}}/2}{\mathrm{\&Sigma;}}}p\left(i\right)$

$P_N=\frac{f_{\mathrm{sample}}/2}{f_{\mathrm{sample}}/2-f_{\mathrm{hight}}}*P_{\mathrm{noise}}$

$\mathrm{SNR}=10*\log \left(\frac{\underset{i=0}{\overset{f_{\mathrm{sample}}/2}{\mathrm{\&Sigma;}}}p\left(i\right)-P_N}{P_N}\right).$

二、以下部分介绍示例性实时例

本实施例为运行于Linux平台、多线程、基于插件的软件架构。

图1示出本实施例软件架构图。由图可知，

●本实施例软件主要由4个模块构成：

■主程序模块，该模块主要功能为应用程序初始化、内存分配、动态加载、设置以下各子功能模块。该模块可由远程计算机通过socket控制，包括启动、暂停、停止、配置设置等

■数据采集子模块，该模块为动态库插件形式，由主程序动态加载，运行在单独的线程内。主要功能为，通过操作底层数据采集板卡，采集数据，到输入共享内存(“输入Buffer”)

■低层质量信息分析子模块，该模块为动态库插件形式，由主程序动态加载，运行在单独的线程内。主要功能为，读取“输入Buffer”视音频内容，进行低层质量分析，并将分析结果保存到输出共享内存(“输出Buffer”)。同时通过Socket，将“输出Buffer”内容输出结果到接收服务器(媒体恢复***)。低层质量信息分析子模块提供的信息有：

◆视频小波变换域系数

◆音频FFT变换域系数

◆单帧缺陷检测预备信息(用于高层信息分析子***综合分析处理)

◆视频基本信息(帧平均值、带宽、信噪比)

◆音频基本信息(帧平均值、带宽、信噪比)

■视频缺陷检测子模块，该模块为动态库插件形式，由主程序动态加载，运行在单独的线程内。该模块主要功能为，基于读取“输入Buffer”视音频内容，结合低层质量信息分析子模块预分析部分信息，进行视频缺陷内容检测，并将检测结果保存到输出共享内存(“输出Buffer”)。同时通过Socket，将“输出Buffer”内容输出结果到接收服务器(媒体恢复***)。视频缺陷检测子模块有：

◆失效帧缺陷检测

◆各类行失效帧检测，包括，

●I型行失效帧检测

●II型行失效帧检测。

●III型行失效帧检测

●IV型行失效帧检测。

◆划痕型缺陷检测。

◆帧间滚动型缺陷检测。

◆颜色失真型缺陷检测。

图2示出本实施用例主要类以及其调用和派生关系(实线为“调用”；虚线为“派生”)，其中，

◆LibSocket.a和Libpthread.a为Linux下标准Socket和线程库

◆Thread为对Libpthread的一个C++封装

◆Plugin由Thread派生，增加动态库加载、环境设置、执行、结束等接口

◆FrameCapture由Plugin派生，实现视音频数据采集功能

◆MediaInfo由Plugin派生，实现低层质量信息分析功能

◆MediaDefect由Plugin派生，实现视频缺陷检测功能

◆MediaAnalysis是主程序，可通过Socket远程控制

◆MTBuffer负责数据管理。

图3示出视频缺陷检测的***架构。由图可知，***首先进行失效帧缺陷检测，如该帧检出为失效帧，则检测完成；否则分别进行不同类别的缺陷检测；最后，将检测结果汇总并输出。

Claims (5)

1.全自动多媒体素材缺陷检测与质量分析方法，其特征在于该方法包括：

第1、媒体素材缺陷模型集的建立；

第2、媒体素材质量分析指标集的建立；

第3、媒体素材缺陷的检测；

第4、媒体素材质量分析；

第5、保存媒体素材缺陷的检测与质量分析结果。

2.根据权利要求1所述的方法，其特征在于第1步所述的媒体素材缺陷模型集包括：

第1.1、失效帧缺陷模型，该模型的视频帧内容完全缺失，由一些杂乱无章的信号所替代；

第1.2、Ⅰ型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，非受损行信息完全保留，并且损伤的行与行间无特殊相关性；

第1.3、Ⅱ型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，并且受损区域内行间信息相关度极强；

第1.4、Ⅲ型行失效帧缺陷模型，该模型的视频缺陷以“行”为单位，受损行信息完全缺失，并且受损区域的行内信息规律性向右偏移，由此在受损区域左边形成一无信号的黑色三角形；

第1.5、Ⅳ型行失效帧缺陷模型，该模型的视频缺陷特点为整帧左移，在整帧右边留一无信号黑色区域，同时缺陷以“行”为单位，受损行信息部分缺失，并且受损区域相对于全帧区域平行右移，同时受损行左部亦有一无信号黑色区域；

第1.6、划痕型缺陷模型，该模型的视频缺陷特点为整帧信息未完全丢失，但视频图像上增加位置固定或变化的横向划痕状内容；

第1.7、帧间滚动型缺陷模型，该模型的视频缺陷的特点为，一帧内同时显示相邻两帧的部分图像，并且两帧间分割部分随时间滚动向上或向下运动，时间持续在0.5秒到数秒之间；

第1.8、颜色失真型缺陷模型，该模型的视频缺陷的显著特征为某一以“行”为单位的区域颜色异常，其原因在于该制式信号部分相位信息缺失。

3.根据权利要求1所述的方法，其特征在于第2步所述的媒体素材质量分析指标集包括：

第2.1、视频信号帧平均值及有效区域检测；

第2.2、视频信号带宽；

第2.3、视频信号信噪比；

第2.4、音频信号帧平均值；

第2.5、音频信号带宽；

第2.6、音频信号信噪比。

4.根据权利要求2所述的方法，其特征在于第3步所述的媒体素材缺陷的检测算法是：

第3.1、失效帧缺陷模型检测算法， 利用帧间相关信息，检测出帧内失效点集合；然后根据失效点的分布及密度，判断该帧是否为失效帧；

第3.2、Ⅰ型行失效帧缺陷模型检测算法，将被检测帧灰度图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量；然后在此信号基础上，考察帧间、行间相关信息，并结合行间运动补偿，最终检测判断出该类缺陷的失效行；

第3.3、Ⅱ型行失效帧缺陷模型检测算法，将被检测帧灰度图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量；然后在此信号基础上，依据帧内行间相关性信息，结合帧间相关性信息，检测出帧内缺陷候选行；最后从检测出失效行开始，上下搜索，采用区域增长的方法检测出该帧内所有缺陷区域；

第3.4、Ⅲ型行失效帧缺陷模型检测算法，利用行间相关性及帧间相关性信息，检测出候选行；由于此类缺陷具备行间位移的特点，在计算行间相关性时，候选行在其相邻±5行区间进行搜索，计算两行之间的相关性最大值作为行间相关性；该候选行具备行内高相关性和帧间低相关性的特点；然后根据候选行的区域分布、相关度，确定该类缺陷的存在区域；

第3.5、Ⅳ型行失效帧缺陷模型检测算法，通过检测帧内左边黑色特征区域，将图像分割出缺陷候选区，即左边检测出黑色区域的行的集合；然后利用候选区的帧间直方图比对，确定该类缺陷的存在区域；

第3.6、划痕型缺陷模型检测算法，在帧内检测出宽度小于4个像素的线形物体，并二值化做为模板；然后在此模板基础上，利用Hough变换，检测出横向线形物体，过滤掉其余方向的线形物体；最后，利用形态学开-闭算子进行运动补偿，从检测出横向线形物体集中过滤掉由于帧内物体运动造成的线，留下由于缺陷产生的线；最后利用中值滤波方法过滤掉孤立的像素点，留下划痕缺陷存在的位置；

第3.7、帧间滚动型缺陷模型检测算法，利用帧内行间相关性，检测出前后两帧相连接的部分；然后在连续的帧组中跟踪检测这部分的位置，直到该部分消失为止，从而得到帧滚动的位置及其滚动的帧片段；

第3.8、颜色失真型缺陷模型检测算法，将2维图像转换为1维信号，其中行数为自变量，每行像素灰度值累加值为因变量；然后在此基础上，以“行”为单位，根据帧间相关性，检测颜色异常的区域。

5.根据权利要求3所述的方法，其特征在于第4步所述媒体素材质量分析方法是：

第4.1、视频信号帧平均值及有效区域检测方法，帧内像素灰度值直方图，以其5%像素值为判决阈值，考察横向及纵向边界区，如果该行或列所以像素值都小于该阈值，则判断为无信号的边缘区，剩余区域为有效区；在有效区内计算像素灰度平均值，即为视频信号平均值；

第4.2、视频信号带宽估算方法，首先利用FFT按行计算功率谱，然后将帧内各行功率谱求平均；根据帧内平均功率谱得到该帧图像的带宽：带宽低频点设为0，高频点定义为使平均功率谱达到95%的频率的下限值；

第4.3、视频信号信噪比估算方法，首先将图像帧利用Daubechies小波进行多尺度分解；根据分解后的小波系数综合采用两种途径进行噪声估计：一种采用噪声奇异点的方法，即考察相同像素点的不同尺度小波分解系数的相互关系来确定奇异点；另一种利用阈值判断的方法，即根据前面帧估计的噪声方差作为阈值参数，考察小波分解后的系数；结合两种噪声估计的结果，采用其组合信息，估计噪声能量，最后计算出视频信号的信噪比；

第4.4、音频信号帧平均值计算方法，音频信号平均值定义为对应某视频帧的音频片段的幅度的平均值；

第4.5、音频信号带宽估算方法，音频信号带宽计算基于FFT变换，将音频片段FFT变换后功率谱5%～95%之间的频率定义为该音频片段的带宽；

第4.6、音频信号信噪比估算方法，首先假定音频带宽以外的高频部分为噪声带宽，然后利用音频带宽信息，音频功率谱计算出噪声功率谱，从而计算出音频信噪比。

Images