一种图像插值方法及装置
技术领域
本发明涉及数字图像处理领域,尤其涉及一种图像插值方法及装置。
背景技术
现在显示设备向着支持4k2k(分辨率为3840×2160)的超高分辨率发展。由于目前4k2k的图像较少,所以需要将现有技术中低分量率的图像转化高分辨率,得到优质的超高清图像。分辨率转化一般都是先利用图像插值算法扩充图像中的像素,然后将扩充后的图像缩放至目标倍数。
现有技术中提供了一种图像插值算法,根据待处理像素周围的八个像素按照插值方向分为三类(以待处理像素为坐标原点,建立平面直角坐标系,在坐标轴上的像素分为一类,在第一和第三象限的像素分为一类,在第二和第四象限的像素分为一类),不同类别对应设定的校正参数,从而对邻近像素赋予校正参数,将插值方向信息与校正参数利用校正规则进行处理,得到待处理像素校正后的插值方向信息;利用待处理像素邻近像素的插值方向信息对像素的插值方向信息进行校正;利用校正后的插值方向检测结果对待处理像素进行插值。
在实现上述图像插值的过程中,发明人发现上述方法只利用相邻的八个像素进行插值,并且将八个像素简单的分为三类,这样得到的方向信息不能准确的反映出原像素与周围像素的趋向性,最终使得插值之后得到的图像不能较好的反映出原图像的细节信息。
发明内容
本发明的实施例提供一种图像插值方法及装置,通过按照不同角度分别确定出不同角度上的优选方向,并根据多个优选方向计算插值点,并根据插值点计算新的像素,以使插值之后的像素能够准确反映出原图像的细节。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明提供了一种图像插值方法,包括:
从水平方向和垂直方向中确定出基础优选方向;
根据基础优选方向,从高角度方向、低角度方向和中角度方向中确定出高角度优选方向、低角度优选方向和中角度优选方向;
根据待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值和中角度优选方向的亮度值确定中间估计亮度值;
根据基础优选方向、高角度优选方向、低角度优选方向和中角度优选方向确定出最优方向,并将最优方向上像素的色度的平均值作为中间估计色度值;
将中间估计亮度值和中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。
第二方面,本发明提供了一种图像插值装置,包括:
方向确定单元,用于从水平方向和垂直方向中确定出基础优选方向;
方向确定单元,还用于根据基础优选方向,从高角度方向、低角度方向和中角度方向中确定出高角度优选方向、低角度优选方向和中角度优选方向;
中间估计单元,用于根据待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值和中角度优选方向的亮度值确定中间估计亮度值;
中间估计单元,还用于根据基础优选方向、高角度优选方向、低角度优选方向和中角度优选方向确定出最优方向,并将最优方向上像素的色度的平均值作为中间估计色度值;
插值单元,用于将中间估计亮度值和中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。
本发明实施例提供了一种图像插值方法及装置,从水平方向和垂直方向中确定出基础优选方向;根据基础优选方向,从高角度方向、低角度方向和中角度方向中确定出高角度优选方向、低角度优选方向和中角度优选方向;根据待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值和中角度优选方向的亮度值确定中间估计亮度值;根据基础优选方向、高角度优选方向、低角度优选方向和中角度优选方向确定出最优方向,并将最优方向上像素的色度的平均值作为中间估计色度值;将中间估计亮度值和中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。这样,由于确定最优方向时综合考虑了十个方向上像素的变化,使得最终确定出的最优方向能够准确反映出待处理像素在所属区域内的最接近的像素方向,使得根据最优方向插值后的插值像素能够准确的反映出原图像的细节信息。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种阵列排布像素的方法;
图2为本发明实施例提供的一种图像插值方法的流程示意图;
图3为图1中的高角度方向的示意图;
图4为图1中的中角度方向的示意图;
图5为图1中的低角度方向的示意图;
图6为本发明实施例提供的一种图像插值装置的功能示意图;
图7为本发明实施例提供的另一种图像插值装置的功能示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所有实施例适用于像素为阵列排布的图像。像素的亮度值用Y第一角标,第二角标表示;像素的色度值用U第一角标,第二角标和V第一角标,第二角标表示。其中,第一角标表示像素在图像中的行数,第二角标表示像素在图像中的列数。
如图1所示,本发明中的待处理像素是第i行第j列的像素、第i行第j+1列的像素、第i+1行第j列的像素、第i+1行第j+1列的像素这四个像素的统称。最后计算得出的新的插值像素是如图1所示的像素a1、像素a2、像素a3、像素a4。
待处理像素的亮度值为Yi,j,Yi,j+1,Yi+1,j,Yi+1,j+1,待处理像素的色度值分别为Ui,j和Vi,j,Ui,j+1和Vi,j+1,Ui+1,j和Vi+1,j,Ui+1,j+1和Vi+1,j+1。
实施例一
本发明实施例提供了一种图像插值方法。如图2所示,包括:
201、从水平方向和垂直方向中确定出基础优选方向。
需要说明的是,基础优选方向用于表示待处理像素在包含待处理像素的周围区域内,待处理像素与水平方向的像素或者垂直方向的像素更相似。
需要说明的是,一个像素可以通过亮度(Y分量)和色度(U分量和V分量)表示。其中,像素的亮度变化更能反映出像素之间的相似程度,所以本实施例中优选利用像素的亮度值来判断待处理像素与哪一方向上的像素更相似。
具体的,确定基础优选方向的方法为:计算水平方向像素平均差值avg_h和垂直方向像素平均差值avg_v;在avg_h小于avg_v的情况下,将水平方向确定为基础优选方向;在avg_h不小于avg_v的情况下,将垂直方向确定为基础优选方向。
上述方法中的avg_h和avg_v可以至少有以下两种计算方法:
第一种计算方法是
第二种计算方法是
需要说明的是,确定基础优选方向的方法,还可以是现有技术中的任意一种确定待处理像素更接近水平方向上的像素或者垂直方向上的像素的方法,本发明对此不做限定。
202、根据基础优选方向,从高角度方向、低角度方向和中角度方向中确定出高角度优选方向、低角度优选方向和中角度优选方向。
其中,高角度方向是指如图3所示的两条线所代表的两种方向;中角度方向是指如图4所示的四条线所代表的四种方向;低角度方向是指如图5所示的四条线所代表的四种方向。
需要说明的是,阵列排布的像素中,行间距和列间距可以相同也可以不同。不论行间距和列间距分别为多少,对本发明中的方法并不产生影响。本发明所有实施例中的45度方向、135度方向,72度方向、108度方向、18度方向、162度方向、80.5度方向、99.5度方向、9.5度方向和170.5度方向并不是指实际像素之间的角度,而仅仅是表明像素之间的相对位置关系。
在不同角度方向只代表像素之间相对位置关系时,可以将行间距和列间距等值看待,此时根据三角函数计算出的估计值,可以得出高角度方向是指45度方向和135度方向,中角度方向是指72度方向、108度方向、18度方向和162度方向,低角度方向是指80.5度方向、99.5度方向、9.5度方向和170.5度方向。
需要说明的是,从高角度方向、低角度方向和中角度方向中确定出高角度优选方向、低角度优选方向和中角度优选方向具体为,从两种角度方向中确定哪一方向上像素更接近,就把该方向确定为高角度优选方向,从四种低角度方向中确定哪一方向上像素更接近,就把该方向确定为低角度优选方向,从四种中角度方向中确定哪一方向上像素更接近,就把该方向确定为中角度优选方向。
具体的,确定高角度优选方向、低角度优选方向和中角度优选方向的方法为:
计算45度方向像素平均差值avg_45和135度方向像素平均差值avg_135;在avg_45小于avg_135的情况下,将45度方向确定为高角度优选方向;在avg_45不小于avg_135的情况下,将135度方向确定为高角度优选方向;
在基础优选方向是水平方向的情况下,计算18度方向像素平均差值avg_18和162度方向像素平均差值avg_162;在avg_18小于avg_162的情况下,将18度方向确定为中角度优选方向;在avg_18不小于avg_162的情况下,将162度方向确定为中角度优选方向;或者,在基础优选方向是垂直方向的情况下,计算72度方向像素平均差值avg_72和108度方向像素平均差值avg_108;在avg_72小于avg_108的情况下,将72度方向确定为中角度优选方向;在avg_72不小于avg_108的情况下,将108度方向确定为中角度优选方向;
在基础优选方向是水平方向的情况下,计算9.5度方向像素平均差值avg_9.5和170.5度方向像素平均差值avg_170.5;在avg_9.5小于avg_170.5的情况下,将9.5度方向确定为低角度优选方向;在avg_9.5不小于avg_170.5的情况下,将170.5度方向确定为中角度优选方向;或者,在基础优选方向是垂直方向的情况下,计算80.5度方向像素平均差值avg_80.5和99.5度方向像素平均差值avg_99.5;在avg_80.5小于avg_99.5的情况下,将80.5度方向确定为低角度优选方向;在avg_80.5不小于avg_99.5的情况下,将99.5度方向确定为低角度优选方向。
上述方法中的avg_45、avg_13、avg_18、avg_162、avg_72、avg_108、avg_9.5、avg_170.5、avg_80.5、avg_99.5可以至少有以下两种计算方法:
第一种计算方法是
第二种计算方法是
203、根据待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值和中角度优选方向的亮度值确定中间估计亮度值。
需要说明的是,高角度优选方向的亮度值是指待处理像素周围高角度优选方向上像素亮度的平均值。中角度优选方向的亮度值是指待处理像素周围中角度优选方向上像素亮度的平均值。低角度优选方向的亮度值是指待处理像素周围低角度优选方向上像素亮度的平均值。
需要说明的是,中间估计亮度值是综合考虑不同角度优选方向上像素亮度值后得到的一个中间调整值。
其中,待处理像素的平均亮度值
在高角度优选方向为45度方向的情况下,高角度优选方向的亮度值
在高角度优选方向为135度方向的情况下,高角度优选方向的亮度值
在中角度优选方向为18度方向的情况下,中角度优选方向的亮度值
在中角度优选方向为162度方向的情况下,中角度优选方向的亮度值
在中角度优选方向为72度方向的情况下,中角度优选方向的亮度值
在中角度优选方向为108度方向的情况下,中角度优选方向的亮度值
在低角度优选方向为9.5度方向的情况下,低角度优选方向的亮度值
在低角度优选方向为170.5度方向的情况下,低角度优选方向的亮度值
在低角度优选方向为80.5度方向的情况下,低角度优选方向的亮度值
在低角度优选方向为99.5度方向的情况下,低角度优选方向的亮度值
具体的,确定中间估计亮度值的方法可以为:
确定待处理像素的平均亮度值和高角度优选方向的亮度值的差值是否小于第一阈值;在不小于第一阈值的情况下,将待处理像素的平均亮度值与第一阈值的和作为高角度校正亮度值;在小于第一阈值的情况下,将高角度优选方向的亮度值作为高角度校正亮度值;
确定中角度优选方向的亮度值和高角度校正亮度值的差值是否小于第二阈值;在不小于第二阈值的情况下,将高角度校正亮度值与第二阈值的和作为中角度校正亮度值;在小于第二阈值的情况下,将中角度优选方向的亮度值作为中角度校正亮度值;
确定低角度优选方向的亮度值和高角度校正亮度值的差值是否小于第三阈值;在不小于第三阈值的情况下,将高角度校正亮度值与第三阈值的和作为低角度校正亮度值;在小于第三阈值的情况下,将低角度优选方向的亮度值作为低角度校正亮度值;
确定低角度校正亮度值和中角度校正亮度值的差值是否小于第四阈值;在不小于第四阈值的情况下,将中角度校正亮度值与第四阈值的和作为综合校正亮度值;在小于第四阈值的情况下,将低角度校正亮度值作为综合校正亮度值;
将待处理像素的平均亮度值与综合校正亮度值中的较小值作为中间估计亮度值。
其中,第一阈值、第二阈值、第三阈值和第四阈值可以是预设值,也可以是根据以下方法计算出的值。
具体的,第一阈值T1=max(|avg_h-avg_v|,|avg_45-avg_135|);
在基础优选方向是水平方向的情况下,第二阈值T2=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_18-avg_162|);或者,在基础优选方向是垂直方向的情况下,第二阈值T2=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_72-avg_108|);
在基础优选方向是水平方向的情况下,第三阈值T3=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_9.5-avg_170.5|);或者,在基础优选方向是垂直方向的情况下,第三阈值T3=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_80.5-avg_99.5|);
在基础优选方向是水平方向的情况下,第四阈值T4=max(|avg_h-avg_v|,|avg_18-avg_162|,|avg_9.5-avg_170.5|);或者,在基础优选方向是垂直方向的情况下,第四阈值T4=max(|avg_h-avg_v|,|avg_72-avg_108|,|avg_80.5-avg_99.5|)。
可选的,确定中间估计亮度值的方法还可以为:
确定待处理像素的平均亮度值和高角度优选方向的亮度值的差值是否小于第一阈值;在不小于第一阈值的情况下,将待处理像素的平均亮度值与第一阈值的和作为高角度校正亮度值;在小于第一阈值的情况下,将高角度优选方向的亮度值作为高角度校正亮度值;
确定中角度优选方向的亮度值和高角度校正亮度值的差值是否小于第二阈值;在不小于第二阈值的情况下,将高角度校正亮度值与第二阈值的和作为中角度校正亮度值;在小于第二阈值的情况下,将中角度优选方向的亮度值作为中角度校正亮度值;
确定低角度优选方向的亮度值和中角度校正亮度值的差值是否小于第五阈值;在不小于第五阈值的情况下,将中角度校正亮度值与第五阈值的和作为综合校正亮度值;在小于第五阈值的情况下,将低角度优选方向的亮度值作为综合校正亮度值;
将待处理像素的平均亮度值与综合校正亮度值中的较小值作为中间估计亮度值Y_data。
其中,第一阈值、第二阈值、第三阈值可以与上一种方法中的第一阈值、第二阈值、第三阈值相同。
在基础优选方向是水平方向的情况下,第五阈值T5=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_18-avg_162|,|avg_9.5-avg_170.5|);或者,在基础优选方向是垂直方向的情况下,第五阈值T5=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_72-avg_108|,|avg_80.5-avg_99.5|)。
204、根据基础优选方向、高角度优选方向、低角度优选方向和中角度优选方向确定出最优方向,并将最优方向上像素的色度的平均值作为中间估计色度值。
其中,最优方向是在高角度优选方向、低角度优选方向和中角度优选中与待处理像素更趋近的方向。
具体的,根据基础优选方向、高角度优选方向、低角度优选方向和中角度优选方向确定出最优方向的方法可以为:
分别将待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值、中角度优选方向的亮度值与中间估计亮度值作差,分别得到第一差值、第二差值、第三差值和第四差值;
将第二差值、第三差值和第四差值中与第一差值正负号相同并且相差最小的差值所对应的方向确定为最优方向。
其中,若第二差值是第二差值、第三差值和第四差值中与第一差值正负号相同并且相差最小的差值,则将高角度优选方向确定为最优方向;若第三差值是第二差值、第三差值和第四差值中与第一差值正负号相同并且相差最小的差值,则将低角度优选方向确定为最优方向;若第四差值是第二差值、第三差值和第四差值中与第一差值正负号相同并且相差最小的差值,则将中角度优选方向确定为最优方向。
具体的,将最优方向上像素的色度的平均值作为中间估计色度值具体为:将最优方向上像素的U分量的平均值作为中间估计色度值中的U分量,将最优方向上像素的V分量的平均值作为中间估计色度值中的V分量。
其中,将中间估计色度值中的U分量用U_data表示,将中间估计色度值中的V分量用V_data表示。
在最优方向是高角度优选方向,且高角度优选方向是45度的情况下,
在最优方向是高角度优选方向,且高角度优选方向是135度的情况下,
在最优方向是中角度优选方向,且中角度优选方向是18度的情况下,
在最优方向是中角度优选方向,且中角度优选方向是162度的情况下,
在最优方向是中角度优选方向,且中角度优选方向是72度的情况下,
在最优方向是中角度优选方向,且中角度优选方向是108度的情况下,
在最优方向是低角度优选方向,且低角度优选方向是9.5度的情况下,
在最优方向是低角度优选方向,且低角度优选方向是170.5度的情况下,
在最优方向是低角度优选方向,且低角度优选方向是80.5度的情况下,
在最优方向是低角度优选方向,且低角度优选方向是99.5度的情况下,
需要说明的是,步骤203与步骤204之间,可以先执行步骤204再执行步骤204,也可以先执行步骤204再执行步骤203,还可以同时执行步骤203和步骤204,本发明对此不作限制。
205、将中间估计亮度值和中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。
需要说明的是,待处理像素中有四个像素,新生成的插值像素中也有四个像素。
具体的,分别将中间估计亮度值与待处理像素中每一像素的亮度值的平均值确定为每一插值像素的亮度值;分别将中间估计色度值与待处理像素中每一像素的色度值的平均值确定为每一插值像素的色度值。
示例性的,如图1所示的图像,步骤205具体为:
对于像素a1:
对于像素a2:
对于像素a3:
对于像素a4:
需要说明的是,本发明的实施例证至少涉及包括待处理像素周围6×6阵列像素中的20个像素。当待处理像素为一个图像中边缘像素,在图像中找不到6×6阵列像素的情况下,可以按照现有技术中的方法将6×6阵列中的剩余像素补齐。最简单的补齐方法为:将需要补齐的像素的亮度值设定为待处理像素中像素的亮度值,将需要补齐的像素的色度值设定为待处理像素中像素的色度值。
本发明实施例提供了一种图像插值方法,从水平方向和垂直方向中确定出基础优选方向;根据基础优选方向,从高角度方向、低角度方向和中角度方向中确定出高角度优选方向、低角度优选方向和中角度优选方向;根据待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值和中角度优选方向的亮度值确定中间估计亮度值;根据基础优选方向、高角度优选方向、低角度优选方向和中角度优选方向确定出最优方向,并将最优方向上像素的色度的平均值作为中间估计色度值;将中间估计亮度值和中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。这样,由于确定最优方向时综合考虑了十个方向上像素的变化,使得最终确定出的最优方向能够准确反映出待处理像素在所属区域内的最接近的像素方向,使得根据最优方向插值后的插值像素能够准确的反映出原图像的细节信息。
实施例二
本发明实施例以待处理像素为第3行第3列的像素、第3行第4列的像素、第4行第3列的像素、第4行第4列的像素这四个像素为例进行说明。
本发明实施例提供了一种图像插值方法。包括:
步骤1、计算avg_h和avg_v;若avg_h<avg_v,则将水平方向确定为基础优选方向;若avg_h≥avg_v,则将垂直方向确定为基础优选方向。
其中,
步骤2、计算avg_45和avg_135;若avg_45<avg_135,则将45度方向确定为高角度优选方向;若avg_45≥avg_135,则将135度方向确定为高角度优选方向。
其中,
步骤3、在基础优选方向是水平方向的情况下,计算avg_18和avg_162;若avg_18<avg_162,则将18度方向确定为中角度优选方向;若avg_18≥avg_162,则将162度方向确定为中角度优选方向;或者,在基础优选方向是垂直方向的情况下,计算avg_72和avg_108;若avg_72<avg_108,则将72度方向确定为中角度优选方向;若avg_72≥avg_108,则将108度方向确定为中角度优选方向。
其中,
步骤4、在基础优选方向是水平方向的情况下,计算avg_9.5和avg_170.5;若avg_9.5<avg_170.5,则将9.5度方向确定为低角度优选方向;若avg_9.5≥avg_170.5,则将170.5度方向确定为中角度优选方向;或者,在基础优选方向是垂直方向的情况下,计算avg_80.5和avg_99.5;若avg_80.5<avg_99.5,则将80.5度方向确定为低角度优选方向;若avg_80.5≥avg_99.5,则将99.5度方向确定为低角度优选方向。
其中,
步骤5、将mean_Y与校正量Value_m之和作为校正后的待处理像素的平均亮度值corr_mean_Y。
即,corr_mean_Y=mean_Y+Value_m。
其中,待处理像素的平均亮度值
其中,在基础优选方向是水平方向的情况下,Value_m=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_18-avg_162|,|avg_9.5-avg_170.5|);或者,在基础优选方向是垂直方向的情况下,Value_m=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_72-avg_108|,|avg_80.5-avg_99.5|)。
步骤6、计算|corr_mean_Y-ha_Y|;若|correct_mean_Y-ha_Y|≥T1,则高角度校正亮度值corr_ha_Y=corr_mean_Y+T1;若|correct_mean_Y-ha_Y|<T1,则corr_ha_Y=ha_Y。
其中,第一阈值T1=max(|avg_h-avg_v|,|avg_45-avg_135|)。
其中,在高角度优选方向为45度方向的情况下,高角度优选方向的亮度值在高角度优选方向为135度方向的情况下,高角度优选方向的亮度值
步骤7、计算|ma_Y-corr_ha_Y|;若|ma_Y-corr_ha_Y|≥T2,则中角度校正亮度值corr_ma_Y=corr_ha_Y+T2;若|ma_Y-corr_ha_Y|<T2,则corr_ma_Y=ma_Y。
其中,在基础优选方向是水平方向的情况下,第二阈值T2=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_18-avg_162|);或者,在基础优选方向是垂直方向的情况下,第二阈值T2=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_72-avg_108|)。
其中,在中角度优选方向为18度方向的情况下,中角度优选方向的亮度值
在中角度优选方向为162度方向的情况下,中角度优选方向的亮度值
在中角度优选方向为72度方向的情况下,中角度优选方向的亮度值
在中角度优选方向为108度方向的情况下,中角度优选方向的亮度值
步骤8、计算|la_Y-corr_ha_Y|;若|la_Y-corr_ha_Y|≥T3,则低角度校正亮度值corr_la_Y=corr_ha_Y+T3;若|la_Y-corr_ha_Y|<T3,则corr_la_Y=la_Y。
其中,在基础优选方向是水平方向的情况下,第三阈值T3=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_9.5-avg_170.5|);或者,在基础优选方向是垂直方向的情况下,第三阈值T3=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_80.5-avg_99.5|)。
其中,在低角度优选方向为9.5度方向的情况下,低角度优选方向的亮度值
在低角度优选方向为170.5度方向的情况下,低角度优选方向的亮度值
在低角度优选方向为80.5度方向的情况下,低角度优选方向的亮度值
在低角度优选方向为99.5度方向的情况下,低角度优选方向的亮度值
步骤9、计算|corr_la_Y-corr_ma_Y|;若|corr_la_Y-corr_ma_Y|≥T4,则综合校正亮度值hml_Y=corr_ma_Y+T4;若|corr_la_Y-corr_ma_Y|<T4,则hml_Y=corr_la_Y。
其中,在基础优选方向是水平方向的情况下,第四阈值T4=max(|avg_h-avg_v|,|avg_18-avg_162|,|avg_9.5-avg_170.5|);或者,在基础优选方向是垂直方向的情况下,第四阈值T4=max(|avg_h-avg_v|,|avg_72-avg_108|,|avg_80.5-avg_99.5|)。
步骤10、计算中间估计亮度值Y_data=min(mean_Y,hml_Y)。
步骤11、分别将mean_Y、ha_Y、la_Y、ma_Y与Y_data作差,分别得到第一差值mean_diff、第二差值ha_diff、第三差值la_diff和第四差值ma_diff。
即mean_Y-Y_data=mean_diff,ha_Y-Y_data=ha_diff,
la_Y-Y_data=la_diff,ma_Y-Y_data=ma_diff。
步骤12、将ha_diff、la_diff和ma_dif中与mean_diff正负号相同并且相差最小的差值所对应的方向确定为最优方向。
步骤13、将最优方向上像素的U分量的平均值作为中间估计色度值中的U分量U_data,将最优方向上像素的V分量的平均值作为中间估计色度值中的V分量V_data。
其中,在最优方向是高角度优选方向,且高角度优选方向是45度的情况下,
在最优方向是高角度优选方向,且高角度优选方向是135度的情况下,
在最优方向是中角度优选方向,且中角度优选方向是18度的情况下,
在最优方向是中角度优选方向,且中角度优选方向是162度的情况下,
在最优方向是中角度优选方向,且中角度优选方向是72度的情况下,
在最优方向是中角度优选方向,且中角度优选方向是108度的情况下,
在最优方向是低角度优选方向,且低角度优选方向是9.5度的情况下,
在最优方向是低角度优选方向,且低角度优选方向是170.5度的情况下,
在最优方向是低角度优选方向,且低角度优选方向是80.5度的情况下,
在最优方向是低角度优选方向,且低角度优选方向是99.5度的情况下,
步骤14、将ha_diff、la_diff和ma_dif中与mean_diff正负号相同并且相差最小的差值确定为最优方向差值,将最优方向差值与mean_diff之差确定为最优方向矫正量diff_best。
步骤15、将ha_diff、la_diff和ma_dif中与mean_diff正负号不同并且相差最大的差值所对应的方向确定为非优方向。
步骤16、将非优方向上像素的U分量的平均值作为非优方向U分量U_worst,将非优方向上像素的V分量的平均值作为非优方向V分量V_worst。
其中,在非优方向是高角度优选方向,且高角度优选方向是45度的情况下,
在非优方向是高角度优选方向,且高角度优选方向是135度的情况下,
在非优方向是中角度优选方向,且中角度优选方向是18度的情况下,
在非优方向是中角度优选方向,且中角度优选方向是162度的情况下,
在非优方向是中角度优选方向,且中角度优选方向是72度的情况下,
在非优方向是中角度优选方向,且中角度优选方向是108度的情况下,
在非优方向是低角度优选方向,且低角度优选方向是9.5度的情况下,
在非优方向是低角度优选方向,且低角度优选方向是170.5度的情况下,
在非优方向是低角度优选方向,且低角度优选方向是80.5度的情况下,
在非优方向是低角度优选方向,且低角度优选方向是99.5度的情况下,
步骤17、将ha_diff、la_diff和ma_dif中与mean_diff正负号不同并且相差最大的差值确定为非优方向差值,将非优方向差值与mean_diff之差确定为非优方向矫正量diff_worst。
步骤18、在diff_best=diff_worst的情况下,确定第一系数K=0;在diff_best≠diff_worst的情况下,确定
步骤19、计算方向校正U分量U_tmp=(U_worst-U_data)*K+U_data以及方向校正V分量V_tmp=(V_worst-V_data)*K+V_data。
步骤20、在|U_tmp-mean_U|<mean_diff的情况下,确定校正后的中间估计色度值的U分量corr_U_data=U_tmp;在|U_tmp-mean_U|≥mean_diff的情况下,确定corr_U_data=mean_U-sign(U_tmp-mean_U)*mean_diff。
其中,待处理像素的U分量的平均值
sign(x)函数为符号函数,其功能是取某个数的符号。当x>0时,sign(x)=1;当x=0时,sign(x)=0;当x<0时,sign(x)=-1。
步骤21、在|V_tmp-mean_V|<mean_diff的情况下,确定校正后的中间估计色度值的V分量corr_V_data=V_tmp;在|V_tmp-mean_V|≥mean_diff的情况下,确定corr_V_data=mean_V-sign(V_tmp-mean_V)*mean_diff。
其中,待处理像素的V分量的平均值
步骤22、将中间估计亮度值和校正后的中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。
具体的,对于像素a1:
对于像素a2:
对于像素a3:
对于像素a4:
本发明实施例提供了一种图像插值方法,从水平方向和垂直方向中确定出基础优选方向;根据基础优选方向,从高角度方向、低角度方向和中角度方向中确定出高角度优选方向、低角度优选方向和中角度优选方向;根据待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值和中角度优选方向的亮度值确定中间估计亮度值;根据基础优选方向、高角度优选方向、低角度优选方向和中角度优选方向确定出最优方向,并将最优方向上像素的色度的平均值作为中间估计色度值;将中间估计亮度值和中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。这样,由于确定最优方向时综合考虑了十个方向上像素的变化,使得最终确定出的最优方向能够准确反映出待处理像素在所属区域内的最接近的像素方向,使得根据最优方向插值后的插值像素能够准确的反映出原图像的细节信息。进一步的,对待处理像素的平均亮度值mean_Y和中间估计色度值中的V分量和U分量分别进行校正,利用校正后的待处理像素的平均亮度值mean_Y、中间估计色度值中的V分量和U分量确定最终的插值像素,使得计算出的插值像素能够更加真实的反映出图像中的细节。
实施例三
图6为本发明实施例提供的一种图像插值装置的功能示意图。如图6所示,该图像插值装置包括:方向确定单元601、中间估计单元602和插值单元603。
方向确定单元601,用于从水平方向和垂直方向中确定出基础优选方向;
方向确定单元601,还用于根据基础优选方向,从高角度方向、低角度方向和中角度方向中确定出高角度优选方向、低角度优选方向和中角度优选方向;
中间估计单元602,用于根据待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值和中角度优选方向的亮度值确定中间估计亮度值;
中间估计单元602,还用于根据基础优选方向、高角度优选方向、低角度优选方向和中角度优选方向确定出最优方向,并将最优方向上像素的色度的平均值作为中间估计色度值;
插值单元603,用于将中间估计亮度值和中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。
其中,中间估计单元602,具体用于确定待处理像素的平均亮度值和高角度优选方向的亮度值的差值是否小于第一阈值;在不小于第一阈值的情况下,将待处理像素的平均亮度值与第一阈值的和作为高角度校正亮度值;在小于第一阈值的情况下,将高角度优选方向的亮度值作为高角度校正亮度值;确定中角度优选方向的亮度值和高角度校正亮度值的差值是否小于第二阈值;在不小于第二阈值的情况下,将高角度校正亮度值与第二阈值的和作为中角度校正亮度值;在小于第二阈值的情况下,将中角度优选方向的亮度值作为中角度校正亮度值;确定低角度优选方向的亮度值和高角度校正亮度值的差值是否小于第三阈值;在不小于第三阈值的情况下,将高角度校正亮度值与第三阈值的和作为低角度校正亮度值;在小于第三阈值的情况下,将低角度优选方向的亮度值作为低角度校正亮度值;确定低角度校正亮度值和中角度校正亮度值的差值是否小于第四阈值;在不小于第四阈值的情况下,将中角度校正亮度值与第四阈值的和作为综合校正亮度值;在小于第四阈值的情况下,将低角度校正亮度值作为综合校正亮度值;将待处理像素的平均亮度值与综合校正亮度值中的较小值作为中间估计亮度值。
方向确定单元601,具体用于分别将待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值、中角度优选方向的亮度值与中间估计亮度值作差,分别得到第一差值、第二差值、第三差值和第四差值;将第二差值、第三差值和第四差值中与第一差值正负号相同并且相差最小的差值所对应的方向确定为最优方向。
进一步的,图像中各像素阵列排列;像素的亮度值用Y第一角标,第二角标表示;其中第一角标表示像素在图像中的行数,第二角标表示像素在图像中的列数;
待处理像素的亮度值为Yi,j,Yi,j+1,Yi+1,j,Yi+1,j+1;
相应的,方向确定单元601,具体用于计算水平方向像素平均差值avg_h和垂直方
向像素平均差值avg_v;在avg_h小于avg_v的情况下,将水平方向确定为基础优选方向;在
avg_h不小于avg_v的情况下,将垂直方向确定为基础优选方向;其中,
进一步的,图像中各像素阵列排列;像素的亮度值用Y第一角标,第二角标表示;其中第一角标表示像素在图像中的行数,第二角标表示像素在图像中的列数;
待处理像素的亮度值为Yi,j,Yi,j+1,Yi+1,j,Yi+1,j+1;
方向确定单元601,用于计算45度方向像素平均差值avg_45和135度方向像素平均差值avg_135;在avg_45小于avg_135的情况下,将45度方向确定为高角度优选方向;在avg_45不小于avg_135的情况下,将135度方向确定为高角度优选方向;在基础优选方向是水平方向的情况下,计算18度方向像素平均差值avg_18和162度方向像素平均差值avg_162;在avg_18小于avg_162的情况下,将18度方向确定为中角度优选方向;在avg_18不小于avg_162的情况下,将162度方向确定为中角度优选方向;或者,在基础优选方向是垂直方向的情况下,计算72度方向像素平均差值avg_72和108度方向像素平均差值avg_108;在avg_72小于avg_108的情况下,将72度方向确定为中角度优选方向;在avg_72不小于avg_108的情况下,将108度方向确定为中角度优选方向;在基础优选方向是水平方向的情况下,计算9.5度方向像素平均差值avg_9.5和170.5度方向像素平均差值avg_170.5;在avg_9.5小于avg_170.5的情况下,将9.5度方向确定为低角度优选方向;在avg_9.5不小于avg_170.5的情况下,将170.5度方向确定为中角度优选方向;或者,在基础优选方向是垂直方向的情况下,计算80.5度方向像素平均差值avg_80.5和99.5度方向像素平均差值avg_99.5;在avg_80.5小于avg_99.5的情况下,将80.5度方向确定为低角度优选方向;在avg_80.5不小于avg_99.5的情况下,将99.5度方向确定为低角度优选方向;
其中,
具体的,待处理像素的平均亮度值
在高角度优选方向为45度方向的情况下,高角度优选方向的亮度值
在高角度优选方向为135度方向的情况下,高角度优选方向的亮度值
在中角度优选方向为18度方向的情况下,中角度优选方向的亮度值
在中角度优选方向为162度方向的情况下,中角度优选方向的亮度值
在中角度优选方向为72度方向的情况下,中角度优选方向的亮度值
在中角度优选方向为108度方向的情况下,中角度优选方向的亮度值
在低角度优选方向为9.5度方向的情况下,低角度优选方向的亮度值
在低角度优选方向为170.5度方向的情况下,低角度优选方向的亮度值
在低角度优选方向为80.5度方向的情况下,低角度优选方向的亮度值
在低角度优选方向为99.5度方向的情况下,低角度优选方向的亮度值
具体的,第一阈值T1=max(|avg_h-avg_v|,|avg_45-avg_135|);
在基础优选方向是水平方向的情况下,第二阈值T2=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_18-avg_162|);或者,在基础优选方向是垂直方向的情况下,第二阈值T2=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_72-avg_108|);
在基础优选方向是水平方向的情况下,第三阈值T3=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_9.5-avg_170.5|);或者,在基础优选方向是垂直方向的情况下,第三阈值T3=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_80.5-avg_99.5|);
在基础优选方向是水平方向的情况下,第四阈值T4=max(|avg_h-avg_v|,|avg_18-avg_162|,|avg_9.5-avg_170.5|);或者,在基础优选方向是垂直方向的情况下,第四阈值T4=max(|avg_h-avg_v|,|avg_72-avg_108|,|avg_80.5-avg_99.5|)。
进一步的,在图6的基础上,该图像插值装置还包括:校正单元604。
校正单元604,用于将待处理像素的平均亮度值mean_Y与校正量Value_m之和作为校正后的待处理像素的平均亮度值;
其中,在基础优选方向是水平方向的情况下,校正量Value_m=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_18-avg_162|,|avg_9.5-avg_170.5|);或者,在基础优选方向是垂直方向的情况下,校正量Value_m=max(|avg_h-avg_v|,|avg_45-avg_135|,|avg_72-avg_108|,|avg_80.5-avg_99.5|);
相应的,中间估计单元602,具体用于根据校正后的待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值和中角度优选方向的亮度值确定中间估计亮度值。
具体的,色度值包括:U分量和V分量;中间估计色度值包括:中间估计色度值的U分量U_data,中间估计色度值的V分量V_data;
校正单元604,还用于将第二差值、第三差值和第四差值中与第一差值正负号相同并且相差最小的差值确定为最优方向差值,将最优方向差值与第一差值之差确定为最优方向矫正量diff_best;将第二差值、第三差值和第四差值中与第一差值正负号不同并且相差最大的差值所对应的方向确定为非优方向,将非优方向上像素的U分量的平均值作为非优方向U分量U_worst,将非优方向上像素的V分量的平均值作为非优方向V分量V_worst;将第二差值、第三差值和第四差值中与第一差值正负号不同并且相差最大的差值确定为非优方向差值,将非优方向差值与第一差值之差确定为非优方向矫正量diff_worst;在diff_best=diff_worst的情况下,确定第一系数K=0;在diff_best≠diff_worst的情况下,确定计算方向校正U分量U_tmp=(U_worst-U_data)*K+U_data以及方向校正V分量V_tmp=(V_worst-V_data)*K+V_data;在|U_tmp-mean_U|小于第一差值的情况下,确定校正后的中间估计色度值的U分量corr_U_data=U_tmp;在|U_tmp-mean_U|不小于第一差值的情况下,确定corr_U_data=mean_U-sign(U_tmp-mean_U)*第一差值;其中,mean_U为待处理像素的U分量的平均值;sign()函数为符号函数;在|V_tmp-mean_V|小于第一差值的情况下,确定校正后的中间估计色度值的V分量corr_V_data=V_tmp;在|V_tmp-mean_V|不小于第一差值的情况下,确定corr_V_data=mean_V-sign(V_tmp-mean_V)*第一差值;其中,mean_V为待处理像素的V分量的平均值;
相应的,插值单元603,具体用于将中间估计亮度值和校正后的中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。
本发明实施例提供了一种图像插值装置,从水平方向和垂直方向中确定出基础优选方向;根据基础优选方向,从高角度方向、低角度方向和中角度方向中确定出高角度优选方向、低角度优选方向和中角度优选方向;根据待处理像素的平均亮度值、高角度优选方向的亮度值、低角度优选方向的亮度值和中角度优选方向的亮度值确定中间估计亮度值;根据基础优选方向、高角度优选方向、低角度优选方向和中角度优选方向确定出最优方向,并将最优方向上像素的色度的平均值作为中间估计色度值;将中间估计亮度值和中间估计色度值分别与待处理像素的亮度值和色度值作平均得到插值像素的亮度值和色度值。这样,由于确定最优方向时综合考虑了十个方向上像素的变化,使得最终确定出的最优方向能够准确反映出待处理像素在所属区域内的最接近的像素方向,使得根据最优方向插值后的插值像素能够准确的反映出原图像的细节信息。进一步的,对待处理像素的平均亮度值mean_Y和中间估计色度值中的V分量和U分量分别进行校正,利用校正后的待处理像素的平均亮度值mean_Y、中间估计色度值中的V分量和U分量确定最终的插值像素,使得计算出的插值像素能够更加真实的反映出图像中的细节。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。