CN106447656B - 基于图像识别的渲染瑕疵图像检测方法 - Google Patents

Abstract

本发明提供了基于图像识别的渲染瑕疵图像检测方法，该方法包括以下步骤：输入待检测的渲染视频图像；计算渲染图像的差分矩阵；根据渲染图像变化率确定检测模板尺寸；根据检测模板计算每一帧图像中各个像素点的邻域最小像素差；根据邻域最小像素差判断坏帧图像及瑕疵所处位置。本发明针对现有技术存在的问题，其目的在于提供一种视频瑕疵检测方法，对渲染结果视频图像中的瑕疵部分进行快速检测。

Description

基于图像识别的渲染瑕疵图像检测方法

技术领域

本发明设计一种渲染图像瑕疵检测技术，尤其设计一种用于渲染图像瑕疵检测的方法。

背景技术

由于家装及影视渲染计算资源及存储资源需求较大，使用大规模云计算技术完成此类渲染成为主流技术。由此提供渲染的***面对众多不同类型的渲染任务，在资源加载过程中存在一定概率使得部分计算节点无法保障所有资源全部正常加载，由此会造成部分渲染节点渲染失常。在渲染结果图像文件汇总时，由人工检测甄别那些渲染场景与其相邻图像存在差异的结果图像，并定义此类图像为异常帧图像，将其重新渲染以修正错误。虽然这种异常图像在渲染结果中属于偶发情况，一般孤立存在，在极少数的情况下会出现连续两帧渲染错误图像出现，但这类错误导致整个渲染过程严重依赖人工后处理排错，极大的限制了渲染的自动化流程及效率，为此，本专利设计一类算法自动识别渲染异常帧图像，以提升渲染流程自动化水平，提升渲染效率。

以上渲染异常图像其文件大小、格式与正常渲染结果并无明显区别，在使用常规基于文件格式的信息时难以甄别，为此本发明设计一种基于机器视觉的方法，利用连续图像变化的局部特性自动检测渲染结果中的坏帧图像，其具体发明内容如下。

发明内容

本发明针对现有技术存在的问题，其目的在于提供一种视频瑕疵检测方法，对渲染结果视频图像中的瑕疵部分进行快速检测。

为实现上述目的，本发明提供了一种基于图像识别的渲染瑕疵图像检测方法，该方法包括以下步骤：输入待检测的渲染视频图像；计算渲染图像的差分矩阵；根据渲染图像变化率确定检测模板尺寸；根据检测模板计算每一帧图像中各个像素点的邻域最小像素差；根据邻域最小像素差判断坏帧图像及瑕疵所处位置。

作为本发明的进一步改进，所述方法还包括以下步骤：对输入的渲染结果图像进行序列化处理，以RGB形式读入待结果图像，并按时间顺序进行排列。获得四维矩阵数据M[X，Y，Z，T]，其中X、Y为视频图像像素位置，Z为RGB三色，T为时间轴。

作为本发明的进一步改进，所述方法还包括以下步骤：根据渲染结果图像的变化速率确定单像素邻域检测模板ST，因为渲染图像的特殊性质，当渲染环境相同时，渲染结果图像中每个像素点的数值相对恒定。对按时间序列排序的相邻两帧图像，如果前景或背景物***移相对不大的前提下，则一定可以在临近帧图像中找到与当前像素点完全对应的另一个像素点，且此对应两个像素点在位置上具有邻域相似性。因此根据图像前景或背景位移的速率可以确定一个邻域模板，使得当前帧图像中每个像素都可以以这个邻域模板为范围，在临近帧此像素对应位置的一个邻域内找到与其相同的像素，邻域尺寸即为ST的模板尺寸。在实际应用过程中，此模板尺寸一般由人工经验获得。

作为本发明的进一步改进，所述方法还包括以下步骤：对时间序列的渲染结果图像按时间轴顺序进行差分处理，差分处理分为两个步骤，即矩阵移位和差分计算：

M’＝M^t-M^t+1 t＝[1...T-1]

矩阵移位是对相邻的两帧图像矩阵M^t与M^t+1中M^t矩阵进行移位处理。首先根据ST模板的形状，确定模板中元点位置，除元点外模板中的每个像素确定一个M^t的移动(Δx，Δy)操作。M^t根据Δx、Δy的大小以像素为单位进行平移，原矩阵M^t中每个像素移动后得到新像素(x+Δx，y+Δy)。若像素移动后移出矩阵M^t+1范围的部分直接舍弃；而若像素移动后出现在矩阵M^t+1范围中且原像素不在矩阵M^t范围中，则需要对该新像素进行初始化赋值，赋值大小为两倍于单像素最大值p_max(p_max＝max(m)m∈M^t)。

根据单像素邻域检测模板每次移位后计算移位后矩阵M_i ^t与M^t+1矩阵差矩阵ΔM_i ^t一次(i∈{ST-0})，所有差后矩阵按RGB维度求向量2范数，得到差模矩阵|ΔM_i ^t|。最后对所有差模矩阵中每个对应像素点求最小值矩阵ΔM_min ^t(ΔM_min ^t＝min_i{|ΔM_i ^t|,i∈{ST-0}})。

作为本发明的进一步改进，所述方法还包括以下步骤：对矩阵ΔM_min ^t进行后处理，因为大部分像素点在相邻帧中邻域内存在完全相同的像素点，所以矩阵ΔM_min ^t理论上大部分区域为0。但由于图像中存在噪声的影响，ΔM_min ^t中会出现个别非0孤立点，使用数学形态学方法可对ΔM_min ^t中孤立的异常点去噪处理。具体操作为首先确定数学形态学方法的模板SE(使用圆盘模板，模板尺寸为|XY|/20000)，然后对ΔM_min ^t进行形态学闭运算，并将结果进行形态学开运算，得到修正矩阵序列ΔM’_min ^t。

作为本发明的进一步改进，所述方法还包括以下步骤：对差分模修正矩阵序列ΔM’_min ^t的判别分析。因为基于渲染结果图像中像素邻域内相似的原理，矩阵序列中ΔM’_min ^t大部分为0矩阵，因此对矩阵序列ΔM’_min ^t中每一个矩阵进行非0像素统计，当其中非0像素数激增时则可以判定当前时刻t对应的渲染结果中存在坏帧，并检查此渲染结果图像进行分辨。

有益效果：

本文方法在工业生产中意义重大，使用本方法可实现渲染图像的坏帧自动检测功能，在无需人工干预的条件下自动检测渲染中的异常结果，并进行标记。在大规模实景渲染任务中，自动坏帧检测方法可辅助甄别坏帧渲染图像，提高渲染结果的品质，降低识别坏帧的人工成本。

附图说明

图1本发明的渲染图像瑕疵检测流程图。

图2本发明的渲染坏帧实例图。

图3本发明的差分矩阵非零区域图。

图4本发明的差分矩阵计算示意图。

图5本发明的坏帧检测曲线图。

图6本发明的坏帧区域标定图。

具体实施方式

以下将结合附图所示的各实施方式对本发明进行详细描述。

参阅图1所示为本发明较佳***流程图，分为输入图像并进行序列化处理、确定单像素邻域模板、对序列图像矩阵进行移位及差分计算、对差分模矩阵进行后处理、统计检测坏帧图像等五个步骤。

参阅图2所示左图为正常渲染结果图片，右图为渲染异常结果图片。因为材质加载问题，可明显看出右图中右下角草地部分渲染异常，与左图对应区域存在明显差异。此两帧图像相减，在对应位置上存在大面积非零区域。换句话说此相邻两帧图像在这个位置上的各个像素均在模板ST邻域内找不到与其对应的相同像素。此两帧图像的差分结果图像如图3，其中瑕疵位置可见连续非零区域，而其他散点均为两帧图像前景及背景移动所造成的差异点。由于前景及背景移动速度不快，所以此类差异点均为孤立小区域，单体面积不大。

参阅图4所示为求取第t帧的差分矩阵。如前文所述，是在第t帧图像M^t的基础上平移得到的若干张子图的集合，子图的张数与选定的模板大小有关，模板越大需要平移的次数越多，其子图越多。如图4(1)所示，在M^t的基础上水平方向平移了Δx个像素，垂直方向平移了Δy个像素，(Δx,Δy)需要遍历模板ST上除0点的全部像素。在平移过程中会有一部分区域移出M^t，同时也会有一部分区域移入对于移入的这部分区域需要对其初始化赋值，也就是图像中灰色区域，赋值大小为两倍于单像素最大值p_max(p_max＝max(m)m∈M^t)。

平移之后得到的若干张图像集合经过与后一张图像M^t+1相减，得到差分矩阵

参阅图5所示为利用本发明求取的本段连续图像中含有异常的帧的编号。如图3所示，图像中标记了由坏帧造成的连续非零区域及前景、背景移动造成的散点区域。使用形态学方法先对图像进行闭运算，然后对结果进行形态学开运算，即可以去除散点区域同时保留坏帧造成的连续区域。通过计算形态学运算后图像中的残存区域的像素面积即可以绘出如图5的柱状图。

参阅图6所示为利用本发明对图2所示的异常帧中，求取的异常部分的确切位置，即图6中右下角黑色区域。通过对上一步中残存区域进行判读或阈值筛选即可分辨出还有坏帧的图像编号，通过对此编号图像中连续非零区域进行标记即可得到如图6所示的坏帧区域图像。

当然上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。

Claims (5)

1.基于图像识别的渲染瑕疵图像检测方法，其特征在于，该方法包括以下步骤：

步骤一、输入待检测的渲染视频图像；

步骤二、计算渲染图像的差分矩阵；

步骤三、根据渲染结果图像变化速率确定检测模板尺寸；

步骤四、根据检测模板计算每一帧图像中各个像素点的邻域最小像素差；

步骤五、根据邻域最小像素差判断坏帧图像及瑕疵所处位置；

步骤三中根据渲染结果图像变化速率确定单像素邻域检测模板ST，因为渲染图像的特殊性质，当渲染环境相同时，渲染结果图像中每个像素点的数值相对恒定；对按时间序列排序的相邻两帧图像，如果前景或背景物***移相对不大的前提下，则在临近帧图像中找到与当前像素点完全对应的另一个像素点，且此对应两个像素点在位置上具有邻域相似性；因此根据图像前景或背景位移的速率确定一个邻域模板，使得当前帧图像中每个像素都以这个邻域模板为范围，在临近帧此像素对应位置的一个邻域内找到与其相同的像素，邻域尺寸即为ST的模板尺寸；

对时间序列的渲染结果图像按时间轴顺序进行差分处理，差分处理分为两个步骤，即矩阵移位和差分计算：

M’＝M^t-M^t+1t＝[1...T-1]

矩阵移位是对相邻的两帧图像矩阵M^t与M^t+1中M^t矩阵进行移位处理：首先根据ST模板的形状，确定模板中元点位置，除元点外模板中的每个像素确定一个M^t的移动(Δx，Δy)操作；M^t根据Δx、Δy的大小以像素为单位进行平移，原矩阵M^t中每个像素移动后得到新像素(x+Δx，y+Δy)；若像素移动后移出矩阵M^t+1范围的部分直接舍弃；而若像素移动后出现在矩阵M^t+1范围中且原像素不在矩阵M^t范围中，则需要对该新像素进行初始化赋值，赋值大小为两倍于单像素最大值p_max(p_max＝max(m)m∈M^t)；

根据单像素邻域检测模板每次移位后计算移位后矩阵M_i ^t与M^t+1矩阵差矩阵ΔM_i ^t一次(i∈{ST-0})，所有差后矩阵按RGB维度求向量2范数，得到差模矩阵|ΔM_i ^t|；最后对所有差模矩阵中每个对应像素点求最小值矩阵ΔM_min ^t(ΔM_min ^t＝min_i{|ΔM_i ^t|,i∈{ST-0}})。

2.根据权利要求1所述的渲染瑕疵图像检测方法，其特征在于：对矩阵ΔM_min ^t进行后处理，因为大部分像素点在相邻帧中邻域内存在完全相同的像素点，所以矩阵ΔM_min ^t理论上大部分区域为0；但由于图像中存在噪声的影响，ΔM_min ^t中会出现个别非0孤立点，使用数学形态学方法可对ΔM_min ^t中孤立的异常点去噪处理。

3.根据权利要求2所述的渲染瑕疵图像检测方法，其特征在于，所述异常点去噪处理具体操作为：首先确定数学形态学方法的模板SE，然后对ΔM_min ^t进行形态学闭运算，并将结果进行形态学开运算，得到差分模修正矩阵序列ΔM’_min ^t。

4.根据权利要求3所述的渲染瑕疵图像检测方法，其特征在于：所述模板SE使用圆盘模板，模板尺寸为|XY|/20000；其中X、Y为视频图像像素位置。

5.根据权利要求4所述的渲染瑕疵图像检测方法，其特征在于，对差分模修正矩阵序列ΔM’_min ^t的判别分析：因为基于渲染结果图像中像素邻域内相似的原理，矩阵序列中ΔM’_min ^t大部分为0矩阵，因此对矩阵序列

ΔM’_min ^t中每一个矩阵进行非0像素统计，当其中非0像素数激增时则判定当前时刻t对应的渲染结果中存在坏帧，并检查此渲染结果图像进行分辨。