发明内容
本发明实施例提供一种下采样方法及装置,用以解决现有技术中基于子像素下采样算法的计算复杂度高,计算效率低下的问题。
本发明的第一方面,提供一种下采样方法,所述方法包括:
根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率;
根据所述滤波器的截止频率,生成抗混叠滤波函数;
采用所述抗混叠滤波函数对所述原始图像进行滤波处理,得到目标图像。
在第一种可能的实现方式中,根据第一方面,所述根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率,具体包括:
分别对所述红色通道分量、绿色通道分量和蓝色通道分量做傅里叶变换,得到所述红色通道分量经过傅里叶变换后的频域值、所述绿色通道分量经过傅里叶变换后的频域值和所述蓝色通道分量经过傅里叶变换后的频域值;
根据所述红色通道分量经过傅里叶变换后的频域值,所述绿色通道分量经过傅里叶变换后的频域值和所述蓝色通道分量经过傅里叶变换后的频域值,确定所述截止频率。
在第二种可能的实现方式中,根据第一种可能的实现方式,所述根据所述红色通道分量经过傅里叶变换后的频域值,所述绿色通道分量经过傅里叶变换后的频域值和所述蓝色通道分量经过傅里叶变换后的频域值,确定所述截止频率,具体包括:
根据
或者,
确定所述截止频率;
其中,fc表示所述截止频率,u表示所述原始图像的横坐标,v表示所述原始图像的纵坐标,为所述红色通道分量经过傅里叶变换后的频域值,为所述绿色通道分量经过傅里叶变换后的频域值,为所述蓝色通道分量经过傅里叶变换后的频域值,a1=e-j(2π/3),a2=ej(2π/3),表示常数系数。
在第三种可能的实现方式中,结合第一方面、第一种可能的实现方式和第二种可能的实现方式,所述根据所述滤波器的截止频率,生成抗混叠滤波函数,具体包括:
根据
确定所述抗混叠滤波函数;
其中,表示所述抗混叠滤波函数,M1和M2表示归一化矩阵,fc表示所述截止频率,n表示常数系数。
在第四种可能的实现方式中,结合第一种可能的实现方式、第二种可能的实现方式和第三种可能的实现方式,所述采用所述抗混叠滤波函数对所述原始图像进行滤波处理,得到目标图像,具体包括:
对所述原始图像的红色通道分量的频域值、所述绿色通道分量的频遇值和所述蓝色通道分量的频域值进行补零或截取;
采用所述抗混叠滤波函数对补零或截取后的所述原始图像的红色通道分量的频域值、所述绿色通道分量的频域值和所述蓝色通道分量的频域值进行滤波处理,得到滤波图像;
对所述滤波图像进行傅里叶逆变换,得到时域图像;
对所述时域图像进行基于对角线的子像素下采样,得到所述目标图像。
在第五种可能的实现方式中,根据第一方面,所述根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率,具体包括:
根据
或者,
确定所述截止频率;
其中,fc表示所述理想低通滤波器的截止频率,u表示所述原始图像的横坐标,v表示所述原始图像的纵坐标,R为所述红色通道分量,G为所述绿色通道分量,B为所述蓝色通道分量,a1=e-j(2π/3),a2=ej(2π/3),表示常数系数。
在第六种可能的实现方式中,结合第一方面和第五种可能的实现方式,所述根据所述滤波器的截止频率,生成抗混叠滤波函数,具体包括:
根据
生成所述抗混叠滤波函数;
其中,q(x)表示所述抗混叠滤波函数,x表示位置坐标,fc表示所述截止频率,n表示所述抗混叠滤波函数的阶数。
在第七种可能的实现方式中,结合第一方面和第六种可能的实现方式,所述用所述抗混叠滤波函数对所述原始图像进行滤波处理,具体包括:
根据下采样算法类型,分别确定所述红色通道分量、所述绿色通道分量和所述蓝色通道分量中每一种在所述原始图像中的水平子像素位移和垂直子像素位移;
根据所述目标图像的位置坐标、所述水平子像素位移和所述垂直子像素位移,计算红色通道、绿色通道和蓝色通道在所述原始图像中的位置坐标;
根据红色通道、绿色通道和蓝色通道在所述原始图像中的位置坐标和所述抗混叠滤波函数,计算所述目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值。
在第八种可能的实现方式中,结合第一方面和第七种可能的实现方式,所述根据所述目标图像的位置坐标、所述水平子像素位移和所述垂直子像素位移,计算红色通道、绿色通道和蓝色通道在所述原始图像中的位置坐标,具体包括:
根据
xL(c)-0.5=αx(xS+px(c)-0.5)
yL(c)-0.5=αy(yS+py(c)-0.5)
计算所述红色通道、所述绿色通道和所述蓝色通道在所述原始图像中的位置坐标;
其中,位置坐标包括横坐标和纵坐标,c表示红色或绿色或蓝色通道,xL(c)表示所述原始图像c通道的横坐标,αx表示尺度因子,xS表示所述目标图像的横坐标,px(c)表示所述c通道的水平子像素位移,yL(c)表示所述原始图像c通道的纵坐标,αy表示尺度因子,yS表示所述目标图像的纵坐标,py(c)表示所述c通道的垂直子像素位移。
在第九种可能的实现方式中,结合第一方面和第七种可能的实现方式,所述根据红色通道、绿色通道和蓝色通道在所述原始图像中的位置坐标和所述抗混叠滤波函数,计算所述目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值,具体包括:
根据
计算所述目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值;
其中,位置坐标包括横坐标和纵坐标,c表示红色或绿色或蓝色通道,xS表示所述目标图像的横坐标,yS表示所述目标图像的纵坐标,S(xS,yS,c)表示所述目标图像在坐标(xS,yS)处的像素值,xL(c)表示所述原始图像c通道的横坐标,yL(c)表示所述原始图像c通道的纵坐标,αx和αy为尺度因子,为所述原始图像的坐标(xL,yL)周围的方块区域,其大小取决于尺度因子αx和αy,xi表示区域内部像素点的横坐标,yi表示区域内部像素点的纵坐标,L(xi,yi,c)表示所述原始图像c通道在位置坐标(xi,yi)处的像素值。
本发明的第二方面,提供一种下采样装置,所述装置包括:
确定模块,用于根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率;
生成模块,用于根据所述滤波器的截止频率,生成抗混叠滤波函数;
处理模块,用于采用所述抗混叠滤波函数对所述原始图像进行滤波处理,得到目标图像。
在第一种可能的实现方式中,根据第二方面,所述确定模块具体用于:
分别对所述红色通道分量、绿色通道分量和蓝色通道分量做傅里叶变换,得到所述红色通道分量经过傅里叶变换后的频域值、所述绿色通道分量经过傅里叶变换后的频域值和所述蓝色通道分量经过傅里叶变换后的频域值;
根据所述红色通道分量经过傅里叶变换后的频域值,所述绿色通道分量经过傅里叶变换后的频域值和所述蓝色通道分量经过傅里叶变换后的频域值,确定所述截止频率。
在第二种可能的实现方式中,根据第一种可能的实现方式,所述确定模块具体用于:根据
或者,
确定所述截止频率;
其中,fc表示所述截止频率,u表示所述原始图像的横坐标,v表示所述原始图像的纵坐标,为所述红色通道分量经过傅里叶变换后的频域值,为所述绿色通道分量经过傅里叶变换后的频域值,为所述蓝色通道分量经过傅里叶变换后的频域值,a1=e-j(2π/3),a2=ej(2π/3),表示常数系数。
在第三种可能的实现方式中,结合第二方面、第一种可能的实现方式和第二种可能的实现方式,所述生成模块具体用于:
根据
确定所述抗混叠滤波函数;
其中,表示所述抗混叠滤波函数,M1和M2表示归一化矩阵,fc表示所述截止频率,n表示常数系数。
在第四种可能的实现方式中,结合第一种可能的实现方式、第二种可能的实现方式和第三种可能的实现方式,所述处理模块具体用于:
对所述原始图像的红色通道分量的频域值、所述绿色通道分量的频域值和所述蓝色通道分量的频域值进行补零或截取;
采用所述抗混叠滤波函数对补零或截取后的所述原始图像的红色通道分量的频域值、所述绿色通道分量的频域值和所述蓝色通道分量的频域值进行滤波处理,得到滤波图像;
对所述滤波图像进行傅里叶逆变换,得到时域图像;
对所述时域图像进行基于对角线的子像素下采样,得到所述目标图像。
在第五种可能的实现方式中,根据第二方面,所述确定模块具体用于:
根据
或者,
确定所述截止频率;
其中,fc表示所述理想低通滤波器的截止频率,u表示所述原始图像的横坐标,v表示所述原始图像的纵坐标,R为所述红色通道分量,G为所述绿色通道分量,B为所述蓝色通道分量,a1=e-j(2π/3),a2=ej(2π/3),表示常数系数。
在第六种可能的实现方式中,结合第二方面和第五种可能的实现方式,所述生成模块具体用于:
根据
生成所述抗混叠滤波函数;
其中,q(x)表示所述抗混叠滤波函数,x表示位置坐标,fc表示所述截止频率,n表示所述抗混叠滤波函数的阶数。
在第七种可能的实现方式中,结合第二方面和第六种可能的实现方式,所述处理模块具体用于:
根据下采样算法类型,分别确定所述红色通道分量、所述绿色通道分量和所述蓝色通道分量中每一种在所述原始图像中的水平子像素位移和垂直子像素位移;
根据所述目标图像的位置坐标、所述水平子像素位移和所述垂直子像素位移,计算红色通道、绿色通道和蓝色通道在所述原始图像中的位置坐标;
根据红色通道、绿色通道和蓝色通道在所述原始图像中的位置坐标和所述抗混叠滤波函数,计算所述目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值。
在第八种可能的实现方式中,结合第二方面和第七种可能的实现方式,所述处理模块具体用于:
根据
xL(c)-0.5=αx(xS+px(c)-0.5)
yL(c)-0.5=αy(yS+py(c)-0.5)
计算所述红色通道、所述绿色通道和所述蓝色通道在所述原始图像中的位置坐标;
其中,位置坐标包括横坐标和纵坐标,c表示红色或绿色或蓝色通道,xL(c)表示所述原始图像c通道的横坐标,αx表示尺度因子,xS表示所述目标图像的横坐标,px(c)表示所述c通道的水平子像素位移,yL(c)表示所述原始图像c通道的纵坐标,αy表示尺度因子,yS表示所述目标图像的纵坐标,py(c)表示所述c通道的垂直子像素位移。
在第九种可能的实现方式中,结合第二方面和第七种可能的实现方式,所述处理模块具体用于:
根据
计算所述目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值;
其中,位置坐标包括横坐标和纵坐标,c表示红色或绿色或蓝色通道,xS表示所述目标图像的横坐标,yS表示所述目标图像的纵坐标,S(xS,yS,c)表示所述目标图像在坐标(xS,yS)处的像素值,xL(c)表示所述原始图像c通道的横坐标,yL(c)表示所述原始图像c通道的纵坐标,αx和αy为尺度因子,为所述原始图像的坐标(xL,yL)周围的方块区域,其大小取决于尺度因子αx和αy,xi表示区域内部像素点的横坐标,yi表示区域内部像素点的纵坐标,L(xi,yi,c)表示所述原始图像c通道在位置坐标(xi,yi)处的像素值。
本发明的第三方面,提供一种下采样装置,所述装置包括:存储器和处理器,所述存储器用于存储指令,所述处理器用于运行所述存储器中存储的指令,以执行所述的下采样方法。
本发明实施例的下采样方法及装置,根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率,然后对原始图像进行抗混叠滤波,从而得到目标图像。采用本发明实施例的技术方案,计算过程简单,提高对目标图像下采样处理的效率。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例一提供的一种下采样方法的流程图。如图1所示,本实施例的下采样方法,可以包括如下步骤:
步骤S100、根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率。
在上述步骤中,执行主体可以是具有图像处理功能的终端设备。
具体的,原始图像是由红色、蓝色和绿色三原色混合而成,它们相互叠加构成了原始图像上的不同像素点,不同的颜色通道分量表示某一具体像素点上该颜色的幅度,也就是说,红色通道分量表示原始图像某一像素点上的红色幅度值,蓝色通道分量表示原始图像某一像素点上的蓝色幅度值,绿色通道分量表示原始图像某一像素点上的绿色幅度值;滤波器的截止频率是指保持输入信号幅度不变,改变频率直到滤波器对信号幅度的衰减达到一定的频率点,例如:3dB。它是决定滤波器的滤波函数的一个重要参数。因此,首先需要根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率,以保证能够为原始图像构建合适的滤波函数。
可选的,可以首先根据上述红色通道分量、绿色通道分量和蓝色通道分量计算出第一参数、第二参数和第三参数,上述第一参数、第二参数和第三参数是用于表征图像亮度和色度的中间变量,然后再根据上述第一参数、第二参数和第三参数的能量比,计算截止频率。
需要说明的是,上述计算既可以在时域空间进行,也可以在频域空间进行。具体的,当在时域空间进行时,上述红色通道分量、绿色通道分量和蓝色通道分量分别表示某一具体像素点上的红色、绿色和蓝色通道分量的幅度值;当在频域空间进行时,上述红色通道分量、绿色通道分量和蓝色通道分量分别表示某一具体像素点上的红色、绿色和蓝色通道分量经过傅里叶变换后的频域值。
步骤S101、根据滤波器的截止频率,生成抗混叠滤波函数。
由于图像的边缘像素通常会有出现尖峰或混叠等问题,因此,需要用抗混叠滤波器对图像进行处理,以达到改善边缘像素的目的。
具体的,在时域空间和频域空间,上述抗混叠滤波器可以具有不同的具体形式。在时域空间,可以用两个sinc函数叠加而成的Lanczos函数构建频域抗混叠滤波函数;在频域空间,为了防止振铃现象,首先用上述截止频率确定理想低通滤波函数,再在该理想低通滤波函数***加上sinc函数,之后再经过FFT平移(简称FFTshift),从而生成时域的抗混叠滤波函数。
步骤S102、采用抗混叠滤波函数对原始图像进行滤波处理,得到目标图像。
在时域空间和频域空间,上述抗混叠滤波函数对原始图像的滤波处理过程是不同的。
具体的,在时域空间,需要首先根据下采样算法类型,分别确定红色通道分量、绿色通道分量和蓝色通道分量中每一种在原始图像中的水平子像素位移和垂直子像素位移;然后再根据目标图像的位置坐标、上述水平子像素位移和上述垂直子像素位移,计算红色通道、绿色通道和蓝色通道在该原始图像中的位置坐标;最后根据红色通道、绿色通道和蓝色通道在上述原始图像中的位置坐标和抗混叠滤波函数,计算上述目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值,从而得到目标图像;在频域空间,需要首先对原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值进行补零或截取,以得到适合用DDSD处理的图像,然后再用抗混叠滤波函数对补零或截取后的图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值进行滤波处理,得到滤波图像。
需要说明的是,在频域空间,还需要对滤波处理后得到的滤波图像进行傅里叶逆变换,从频域空间转换到时域空间,得到时域图像,然后再对上述时域图像进行DDSD处理,最终得到目标图像。
上述实施例首先根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率,然后对原始图像进行抗混叠滤波,从而得到目标图像。采用本发明实施例的技术方案,减少了现有技术的中间图像生成步骤,直接基于原始图像计算截止频率,因此,本发明实施例的技术方案可以更加简单快速地实现对目标图像的下采样处理。
图2为本发明实施例二提供的一种下采样方法的流程图。如图2所示,本实施例的下采样方法,在图1所示实施例的基础上,本实施例提供了计算滤波器的截止频率、生成抗混叠滤波器以及采用抗混叠滤波函数对原始图像进行滤波处理的具体过程,可以包括如下步骤:
步骤S200、根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定第一参数、第二参数和第三参数。
具体的,可以首先分别对红色通道分量、绿色通道分量和蓝色通道分量做傅里叶变换,得到红色通道分量经过傅里叶变换后的频域值、绿色通道分量经过傅里叶变换后的频域值和蓝色通道分量经过傅里叶变换后的频域值,
然后再根据红色通道分量经过傅里叶变换后的频域值,绿色通道分量经过傅里叶变换后的频域值和蓝色通道分量经过傅里叶变换后的频域值,确定第一参数、第二参数和第三参数。
例如采用公式:
确定第一参数第二参数和第三参数
其中,u表示原始图像的横坐标,v表示原始图像的纵坐标,为红色通道分量经过傅里叶变换后的频域值,为绿色通道分量经过傅里叶变换后的频域值,为蓝色通道分量经过傅里叶变换后的频域值,a1=e-j(2π/3),a2=ej(2π/3)。
步骤S201、根据第一参数、第二参数和第三参数,确定滤波器的截止频率。
具体的,可以根据步骤S200计算出的第一参数、第二参数和第三参数,确定滤波器的截止频率。
例如采用公式:
确定滤波器的截止频率。
其中,fc表示截止频率,E0表示第一参数的能量,E1表示第二参数或第三参数的能量,或表示常数系数。
需要说明的是,由于公式(4)是用能量比简化计算截止频率,因此在实际操作中,左侧的截止频率应约等于右侧的能量比计算公式。
步骤202、根据滤波器的截止频率,生成抗混叠滤波函数。
具体的,可以根据步骤S201确定的滤波器截止频率,生成抗混叠滤波函数。
该步骤可以包括以下:
(1)根据滤波器截止频率生成滤波函数。
例如采用公式:
确定滤波函数。
其中,F表示滤波函数,M1和M2表示归一化的二维矩阵,上述两个矩阵的元素值可以是0~1之间的等间隔坐标值,fc表示截止频率,由于图像的各点可以用二维横坐标和纵坐标表示,因此可以将图像表示为一个二维矩阵,其矩阵元素代表该图像在某一坐标位置的像素值,上述M1矩阵和M2矩阵的行数为表征目标图像的二维矩阵的行数的三倍,列数为表征目标图像的二维矩阵的列数的三倍。
(2)根据滤波函数,生成抗混叠滤波函数。
为了防止振铃现象,可以在滤波函数***加上sinc函数。
例如采用公式:
确定抗混叠滤波函数;
其中,表示抗混叠滤波函数,M1和M2表示归一化矩阵,fc表示截止频率,n表示常数系数,其典型值为4。
步骤S203、对原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值进行补零或截取。
上述原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值叠加构成各点像素的图像,表征了原始图像的频域信息。同样地,也可以用一个二维矩阵表征目标图像的频域信息,某一特定矩阵元素表示该目标图像在某一特定点的像素值,该像素值由红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值叠加构成。
具体的,由于DDSD算法是应用于行数和列数均为三的倍数的二维矩阵的,因此,对原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值的补零或截取,就可以将表示原始图像的二维矩阵处理到适用于DDSD算法的维度。
该步骤可以包括以下:
(1)比较原始图像的行数与目标图像的行数。
具体的,若原始图像的行数小于目标图像行数的三倍,则在原始图像的每行横向方向补零,使原始图像的每行横向方向增加至目标图像行数的三倍;若原始图像的行数大于目标图像行数的三倍,则在原始图像的每行横向方向截取,使原始图像的每行横向方向减少至目标图像行数的三倍;若原始图像的行数等于目标图像行数的三倍,则不对原始图像进行补零或截取处理。
例如,原始图像的行数为M,目标图像的行数为m,若M<3m,则需要对原始图像的每行横向方向补零,使得原始图像的行数增加为3m;若M>3m,则需要对原始图像的每行横向方向截取,使得原始图像的行数减小为3m;若M=3m,则不对原始图像进行补零或截取处理。
可选的,在对原始图像的每行横向方向补零时,可以直接在原始图像的行下面直接补零,也就是说,将第M+1行至第3m行之间的每行均填为零,也可以在原始图像的中间行补零,也就是说,将第行至第行之间增加3m-M行,并将上述3m-M行均填为零。
(2)比较原始图像的列数与目标图像的列数。
具体的,若原始图像的列数小于目标图像列数的三倍,则在原始图像的每列纵向方向补零,使原始图像的每列纵向方向增加至目标图像列数的三倍;若原始图像的列数大于目标图像列数的三倍,则在原始图像的每列纵向方向截取,使原始图像的每列纵向方向减少至目标图像列数的三倍;若原始图像的列数等于目标图像列数的三倍,则不对原始图像进行补零或截取处理。
例如,原始图像的列数为N,目标图像的行数为n,若N<3n,则需要对原始图像的每列纵向方向补零,使得原始图像的列数增加为3n;若N>3n,则需要对原始图像的每列纵向方向截取,使得原始图像的列数减小为3n;若N=3n,则不对原始图像进行补零或截取处理。
可选的,在对原始图像的每列纵向方向补零时,可以直接在原始图像的列后面直接补零,也就是说,将第N+1列至第3n列之间的每列均填为零,也可以在原始图像的中间列补零,也就是说,将第列至第列之间增加3n-N列,并将上述3n-N列均填为零。
步骤S204、用抗混叠滤波函数对补零或截取后的原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值进行滤波处理,得到滤波图像。
由于图像的边缘像素通常会有尖峰或混叠等问题,因此,需要用抗混叠滤波器对图像进行处理,以达到改善边缘像素的目的。
具体的,经步骤S203处理之后的图像为原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值,经步骤S202生成的抗混叠滤波器函数也为频域函数,因此,可以将原始图像的频谱与步骤S202生成的抗混叠滤波函数相乘,从而得到滤波图像的频域信息。
需要说明的是,若原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值的低频分布在上述抗混叠滤波器的频点范围内,则可以直接将抗混叠滤波器和原始图像的频谱相乘;否则,在进行滤波时,就要考虑对抗混叠滤波器或原始图像的频谱做平移。具体的,对抗混叠滤波器的平移是让其正半轴部分和负半轴部分的频谱图像分别关于各自半轴中心对称,从而可以与频域数据对应相乘,以实现滤波;对原始图像的频谱的平移是将该频谱的低频分量平移至笛卡尔坐标系的中间原点,然后再与抗混叠滤波器相乘完成滤波,最后再将低频复原至原来位置。
步骤S205、对滤波图像进行傅里叶逆变换,得到时域图像。
由于经步骤S204得到的是滤波图像的频域信息,而目标图像是时域图像,因此,需要将上述滤波图像转换到时域空间。
具体的,可以对上述滤波图像做傅里叶逆变换,从而将频域图像转换到时域,得到时域图像。
步骤S206、对时域图像进行基于对角线的子像素下采样,得到目标图像。
具体的,由于经步骤S203的补零或截取操作之后,原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值的维度已经适用于DDSD算法的处理维度,而步骤S204和步骤S205只是对原始图像的频域信息做了滤波处理和傅里叶逆变换,上述操作并不会影响原始图像的维度,因此,这里可以直接对原始图像进行基于对角线的子像素下采样,从而得到目标图像。
例如,原始图像的行数为M,列数为N,则经步骤S203变换之后,上述原始图像的行数变为3m,列数变为3n,步骤S204和步骤S205未对原始图像的维度产生影响,然后经过步骤S206的基于对角线的子像素下采样,最终得到的目标图像行数为m,列数为n。
上述实施例首先根据原始图像的红色通道、绿色通道和蓝色通道分量的频域数据,确定滤波器的截止频率,然后对原始图像进行频域抗混叠滤波,再对滤波后的图像做傅里叶逆变换将其转换至时域,最后对该时域图像进行基于对角线的子像素下采样,从而得到目标图像。采用本发明实施例的技术方案,直接用原始图像的红色通道、绿色通道和蓝色通道分量的频域数据的能量计算截止频率,并且,相较于时域滤波的卷积操作,本发明的实施例是在频域直接相乘滤波,因而大大简化了计算复杂度,并能更加简单快速地实现对目标图像的下采样处理。
图3为本发明实施例三提供的一种下采样方法的流程图。如图3所示,本实施例的下采样方法,在图1所示实施例的基础上,本实施例提供了计算滤波器的截止频率、生成抗混叠滤波器以及采用抗混叠滤波函数对原始图像进行滤波处理的具体过程,可以包括如下步骤:
步骤S300、根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定第四参数、第五参数和第六参数。
具体的,可以采用与实施例二的步骤S200相同的公式,即用公式(1)计算第四参数,用公式(2)计算第五参数,用公式(3)计算第六参数,在此不再赘述。
需要说明的是,在计算第四参数、第五参数和第六参数时,上述公式(1)、(2)和(3)中的红色通道分量、绿色通道分量和蓝色通道分量不需要经过傅里叶变换,直接使用原始图像的红色通道分量、绿色通道分量和蓝色通道分量即可。
步骤S301、根据第四参数、第五参数和第六参数,确定滤波器的截止频率。
具体的,可以根据步骤S300计算出的第四参数、第五参数和第六参数,确定滤波器的截止频率。
例如采用公式:
确定截止频率。
其中,fc表示理想低通滤波器的截止频率,E0表示第四参数的能量,Y为第四参数,E2表示第五参数或第六参数的能量,或C1为第五参数,C2为第六参数,表示常数系数。
需要说明的是,由于公式(7)是用能量比简化计算截止频率,因此在实际操作中,左侧的截止频率应约等于右侧的能量比计算公式。
步骤302、根据滤波器的截止频率,生成抗混叠滤波函数。
具体的,可以根据步骤S301确定的滤波器截止频率,生成抗混叠滤波函数。
例如采用公式:
生成抗混叠滤波函数。
其中,q(x)表示抗混叠滤波函数,x表示位置坐标,fc表示截止频率,n表示抗混叠滤波函数的阶数。
步骤S303、根据下采样算法类型,分别确定红色通道分量、绿色通道分量和蓝色通道分量中每一种在原始图像中的水平子像素位移和垂直子像素位移。
具体的,下采样算法类型可以有多种,如直接子像素下采样算法和基于对角线的子像素下采样算法。
可选的,若下采样算法类型为直接子像素下采样算法,则可以采用公式:
px(g)=0,py(g)=0 (9)
确定红色通道分量、绿色通道分量和蓝色通道分量中每一种在原始图像中的水平子像素位移和垂直子像素位移。
可选的,若下采样算法类型为基于对角线的子像素下采样算法,则可以采用公式:
px(g)=0,py(g)=0 (10)
确定红色通道分量、绿色通道分量和蓝色通道分量中每一种在原始图像中的水平子像素位移和垂直子像素位移;
其中,px(r)表示红色通道分量的水平子像素位移,py(r)表示红色通道分量的垂直子像素位移,px(g)表示绿色通道分量的水平子像素位移,py(g)表示绿色通道分量的垂直子像素位移,px(b)表示蓝色通道分量的水平子像素位移,py(b)表示蓝色通道分量的垂直子像素位移。
步骤S304、根据目标图像的位置坐标、水平子像素位移和垂直子像素位移,计算红色通道、绿色通道和蓝色通道在原始图像中的位置坐标。
具体的,由于步骤S303确定了红色通道分量、绿色通道分量和蓝色通道分量各自的水平子像素位移和垂直子像素位移,因此,在目标图像的位置坐标确定的前提下,首先需要计算出红色通道、绿色通道和蓝色通道在原始图像中的位置坐标。
例如采用公式:
xL(c)-0.5=αx(xS+px(c)-0.5) (11)
yL(c)-0.5=αy(yS+py(c)-0.5)
计算红色通道、绿色通道和蓝色通道在原始图像中的位置坐标。
其中,位置坐标包括横坐标和纵坐标,c表示红色或绿色或蓝色通道,xL(c)表示原始图像c通道的横坐标,αx表示尺度因子,xS表示目标图像的横坐标,px(c)表示c通道的水平子像素位移,yL(c)表示原始图像c通道的纵坐标,αy表示尺度因子,yS表示目标图像的纵坐标,py(c)表示c通道的垂直子像素位移。
步骤S305、根据红色通道、绿色通道和蓝色通道在原始图像中的位置坐标和抗混叠滤波函数,计算目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值。
具体的,由于步骤S304计算出了红色通道、绿色通道和蓝色通道在原始图像中的位置坐标,因此可以根据上述位置坐标确定原始图像在该坐标处的像素值,然后再用步骤S302计算出的抗混叠滤波函数对原始图像进行滤波,从而得到目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值。
例如采用公式:
计算目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值。
其中,c表示红色或绿色或蓝色通道,xS表示目标图像的横坐标,yS表示目标图像的纵坐标,S(xS,yS,c)表示目标图像在坐标(xS,yS)处的像素值,xL(c)表示原始图像c通道的横坐标,yL(c)表示原始图像c通道的纵坐标,αx和αy为尺度因子,为原始图像的坐标(xL,yL)周围的方块区域,其大小取决于尺度因子αx和αy,xi表示区域内部像素点的横坐标,yi表示区域内部像素点的纵坐标,L(xi,yi,c)表示原始图像c通道在位置坐标(xi,yi)处的像素值。
可选的,也可以将上述二维计算分成两个一维计算,例如采用公式:
计算目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值。需要说明的是,上述一维计算中各变量的意义与二维计算相同,在此不再赘述。
表1给出了现有技术、上述实施例二和上述实施例三的技术方案的运行时间及客观质量的对比表。从运行时间来看,与现有技术相比,上述实施例二和上述实施例三的技术方案的运行时间有大幅度降低。
表1
如表1所示,其中,锐度表示图像梯度的能量,用来表征图像的尖锐程度;混叠程度用来表征图像亮度的连续性情况;对比度用来表征图像亮度变化情况;PSNR_U和PSNR_V为色度UV分量的峰值信噪比(Peak Signal to Noise Ratio,简称PSNR),用来表征图像的噪声大小;PSNR_z表示原始图像用不同算法处理得到的下采样图像参照用Bicubic下采样处理得到的下采样图像的信噪比。需要说明的是,表1中的数据是很多测试图像的平均值,测试图像的数据来源于柯达图象数据库(Kodak image data base)。
需要说明的是,目前有一种屏幕图像是由红色、绿色、蓝色和白色通道分量组成,对于这种屏幕图像,也可以用本发明上述三个实施例提供的方法处理。具体的,红色、绿色和蓝色通道分量按照上述实施例一或实施例二或实施例三的方法进行下采样处理,白色通道分量单独用任意方法进行下采样处理,然后再用处理得到的红色、绿色、蓝色和白色像素值,构成最终的目标图像。
上述实施例首先根据原始图像的红色通道、绿色通道和蓝色通道分量的频域数据,确定滤波器的截止频率,然后对原始图像进行时域抗混叠滤波,从而得到目标图像。采用本发明实施例的技术方案,减少了现有技术的中间图像生成步骤,直接用原始图像的红色通道分量、绿色通道分量和蓝色通道分量的能量计算截止频率,因此,本发明实施例的技术方案可以更加简单快速地实现对目标图像的下采样处理。
图4为本发明实施例四提供的一种下采样装置的结构示意图。如图4所示,该装置包括:确定模块10、生成模块11和处理模块12。
具体的,确定模块10用于根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率;生成模块11用于根据滤波器的截止频率,生成抗混叠滤波函数;处理模块12用于采用抗混叠滤波函数对原始图像进行滤波处理,得到目标图像。
进一步地,确定模块10具体用于,分别对红色通道分量、绿色通道分量和蓝色通道分量做傅里叶变换,得到红色通道分量经过傅里叶变换后的频域值、绿色通道分量经过傅里叶变换后的频域值和蓝色通道分量经过傅里叶变换后的频域值;
根据红色通道分量经过傅里叶变换后的频域值,绿色通道分量经过傅里叶变换后的频域值和蓝色通道分量经过傅里叶变换后的频域值,确定截止频率。
更进一步地,确定模块具体用于:
根据:
或者,
确定截止频率。
其中,fc表示截止频率,u表示原始图像的横坐标,v表示原始图像的纵坐标,为红色通道分量经过傅里叶变换后的频域值,为绿色通道分量经过傅里叶变换后的频域值,为蓝色通道分量经过傅里叶变换后的频域值,a1=e-j(2π/3),a2=ej(2π/3),表示常数系数。
更进一步地,生成模块11具体用于:
根据
确定抗混叠滤波函数;
其中,表示抗混叠滤波函数,M1和M2表示归一化矩阵,fc表示理想低通滤波器的截止频率,n表示常数系数。
更进一步地,处理模块12具体用于:
对原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值进行补零或截取;
采用抗混叠滤波函数对补零或截取后的原始图像的红色通道分量的频域值、绿色通道分量的频域值和蓝色通道分量的频域值进行滤波处理,得到滤波图像;
对滤波图像进行傅里叶逆变换,得到时域图像;
对时域图像进行基于对角线的子像素下采样,得到目标图像。
更进一步地,确定模块10具体用于,根据:
或者,
确定截止频率。
其中,fc表示理想低通滤波器的截止频率,u表示原始图像的横坐标,v表示原始图像的纵坐标,R为红色通道分量,G为绿色通道分量,B为蓝色通道分量,a1=e-j(2π/3),a2=ej(2 π/3),表示常数系数。
更进一步地,生成模块11具体用于,根据:
生成抗混叠滤波函数。
其中,q(x)表示抗混叠滤波函数,x表示位置坐标,fc表示截止频率,n表示抗混叠滤波函数的阶数。
更进一步地,处理模块12具体用于:根据下采样算法类型,分别确定红色通道分量、绿色通道分量和蓝色通道分量中每一种在原始图像中的水平子像素位移和垂直子像素位移;根据目标图像的位置坐标、水平子像素位移和垂直子像素位移,计算红色通道、绿色通道和蓝色通道在原始图像中的位置坐标;根据红色通道、绿色通道和蓝色通道在原始图像中的位置坐标和抗混叠滤波函数,计算目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值。
更进一步地,处理模块12具体用于,若下采样算法类型为直接子像素下采样算法,则根据:
px(g)=0,py(g)=0 (22)
确定红色通道分量、绿色通道分量和蓝色通道分量中每一种在原始图像中的水平子像素位移和垂直子像素位移。
若下采样算法类型为基于对角线的子像素下采样算法,则根据:
px(g)=0,py(g)=0 (23)
确定红色通道分量、绿色通道分量和蓝色通道分量中每一种在原始图像中的水平子像素位移和垂直子像素位移。
其中,px(r)表示红色通道分量的水平子像素位移,py(r)表示红色通道分量的垂直子像素位移,px(g)表示绿色通道分量的水平子像素位移,py(g)表示绿色通道分量的垂直子像素位移,px(b)表示蓝色通道分量的水平子像素位移,py(b)表示蓝色通道分量的垂直子像素位移。
更进一步地,处理模块12具体用于,根据:
xL(c)-0.5=αx(xS+px(c)-0.5) (24)
yL(c)-0.5=αy(yS+py(c)-0.5)
计算红色通道、绿色通道和蓝色通道在原始图像中的位置坐标。
其中,位置坐标包括横坐标和纵坐标,c表示红色或绿色或蓝色通道,xL(c)表示原始图像c通道的横坐标,αx表示尺度因子,xS表示目标图像的横坐标,px(c)表示c通道的水平子像素位移,yL(c)表示原始图像c通道的纵坐标,αy表示尺度因子,yS表示目标图像的纵坐标,py(c)表示c通道的垂直子像素位移。
更进一步地,处理模块12具体用于,根据:
计算目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值。
其中,位置坐标包括横坐标和纵坐标,c表示红色或绿色或蓝色通道,xS表示目标图像的横坐标,yS表示目标图像的纵坐标,S(xS,yS,c)表示目标图像在坐标(xS,yS)处的像素值,xL(c)表示原始图像c通道的横坐标,yL(c)表示原始图像c通道的纵坐标,αx和αy为尺度因子,为原始图像的坐标(xL,yL)周围的方块区域,其大小取决于尺度因子αx和αy,xi表示区域内部像素点的横坐标,yi表示区域内部像素点的纵坐标,L(xi,yi,c)表示原始图像c通道在位置坐标(xi,yi)处的像素值。
更进一步地,处理模块具体用于,根据:
计算目标图像的位置坐标对应的红色像素值、绿色像素值和蓝色像素值。
其中,位置坐标包括横坐标和纵坐标,c表示红色或绿色或蓝色通道,xS表示目标图像的横坐标,yS表示目标图像的纵坐标,S(xS,yS,c)表示目标图像在坐标(xS,yS)处的像素值,xL(c)表示原始图像c通道的横坐标,yL(c)表示原始图像c通道的纵坐标,αx和αy为尺度因子,为原始图像的坐标(xL,yL)周围的方块区域,其大小取决于尺度因子αx和αy,xi表示区域内部像素点的横坐标,yi表示区域内部像素点的纵坐标,L(xi,yi,c)表示原始图像c通道在位置坐标(xi,yi)处的像素值。
上述实施例首先根据原始图像的红色通道分量、绿色通道分量和蓝色通道分量,确定滤波器的截止频率,然后对原始图像进行抗混叠滤波,从而得到目标图像。采用本发明实施例的技术方案,减少了现有技术的中间图像生成步骤,直接基于原始图像计算截止频率,因此,本发明实施例的技术方案可以更加简单快速地实现对目标图像的下采样处理。
图5为本发明实施例五提供的一种下采样装置的结构示意图。如图5所示,该装置包括:存储器20和处理器21。
具体的,存储器20用于存储指令,处理器21用于运行存储器20中存储的指令,以执行上述实施例一至三中任一例的下采样方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。