CN101197996A - 边缘矢量化与立方卷积相结合的数字图像插值放大方法 - Google Patents

Abstract

本发明属于数字图像放大技术领域。边缘矢量化与立方卷积相结合的数字图像插值放大方法是用帕金算子对原数字图像中像素进行检测，通过n次样条曲线对检测到的边界线像素集合进行拟合，根据边界线像素的像素点坐标，确定n次样条拟合曲线方程并放大，确定放大对应像素点坐标，在两个相邻放大对应像素点之间，根据对应的放大曲线方程进行像素点插值，求得放大***像素点，将边界线像素的像素值***到对应的放大对应像素点上，再取相邻顺序排布的k个放大对应像素点，根据各个放大对应像素的像素值结合像素值n次曲线方程，对放大***像素点进行像素值插值，采用邻域拷贝法对放大像素集合中的像素点进行像素值插值，叠加在立方卷积法的像素集合上。

Description

边缘矢量化与立方卷积相结合的数字图像插值放大方法

技术领域

本发明属于数字图象放大技术领域，尤其是涉及一种基于立方卷积对数字图象放大后对边缘邻域矢量进行像素插值的方法。

背景技术

现有的非胶片球慕播放设备和其他特种视频显示设备中，一般对数字图像的分辨率都有很高的要求。而在现有的制作技术和摄影设备中，不能实现超高分辨率的图像。因此，通过一种有效的图像插值方法来实现图像放大处理，并保证改变后的图像有较好的质量是非常必要的。

目前普遍采用的图像插值算法有最近邻点法、双线性插值法和立方卷积法。所述的最近邻点法，又名零阶插值算法，该算法的采样点像素值是根据其周围相邻的4个像素点的值来确定，离它最近的像素点的像素值即为它的像素值。该算法的优点是计算简单，计算速度非常快，缺点是没有考虑其他相邻像素的相关性，所以插值后的图像的像素值有明显的不连续性，图像会产生方块或锯齿效应，出现比较明显的马赛克效应，图像的失真较大。

所述的双线性插值法，又称为一阶插值算法，它是对最近邻点法的一种改进，该算法的采样点像素值是根据其在输入图像中的映射点的周围相邻的4个已知像素点的像素值在两个方向上作线形插值来得到。双线性插值主要分两步对图像进行集合运算：首先，对图像进行空间坐标变换；其次，对图像进行灰度级插值。所述的双线性插值法克服了最近邻点法的像素点的像素值的不连续性，考虑了待采样点周围的4个相邻像素点的相关性，但增加了计算量，同时，它只考虑相邻4个像素点的像素值的相关性，而没有考虑各邻点间像素值的变化率，仍然存在计算模型考虑不周而产生的图像退化与精度降低的问题。插值后的图像边界较模糊。所述的立方卷积法，该算法是对双线性插值法的改进，它除了考虑相邻4个像素点的像素的相关性外，还考虑了各邻点间像素值的变化率。立方卷积法的待采样点的像素值根据其输入点的周围的16个相邻点的像素值作三次插值。此法一般用三次多项式S(u)对sinc函数进行拟合。

立方卷积算法与前面两种算法相比，有如下方面的特点：它考虑了待采样点的更大相邻域内的相关性，采集点的信息更加完整，因此，待采样点的像素值将更接近于原值。由于考虑到了直接邻点的像素值以及邻点间像素值变化率对采样点的影响，在一定程度上解决了最近邻点法和双线性插值法存在的问题，图像效果明显比前两种方法好。但立方卷积法也存在一些图像质量问题，比如说边缘模糊和插值后图像有少量失真。

发明内容

本发明的目的在于提供一种边缘矢量化与立方卷积相结合的数字图像插值放大方法，在立方卷积的基础上，对原数字图像的像素进行边缘矢量化插值，实现对数字图像的放大。

为实现本发明的目的，所述的边缘矢量化与立方卷积相结合的数字图像插值放大方法包括如下步骤：

步骤一、利用帕金算子(Pal.King)对原数字图像中的像素进行检测；

步骤二、通过n次样条曲线分别对检测到的边界线像素集合进行拟合，根据边界线像素的像素点坐标p(x，y)，确定n次样条拟合曲线方程y＝a₀+a₁x+a₂x²+a₃x³+……+a_nxⁿ；

步骤三、以坐标点(x_org，y_org)为原点，m_x为x轴方向上的放大倍数，m_y为y轴方向上的放大倍数，对n次样条拟合曲线放大，得到放大曲线方程Y＝A₀+A₁X+A₂X²+A₃X³+……+A_nXⁿ；

步骤四、将边界线像素的像素点坐标p(x，y)，按照步骤三中的设定进行放大，得到n次样条曲线上像素点的坐标p(x，y)在放大后对应的放大对应像素点坐标P(X，Y)；

步骤五、在两个相邻的放大对应像素点坐标之间，根据其对应的放大曲线方程进行像素点插值，产生放大***像素点坐标；

步骤六、通过步骤四、五，可以求得所有相邻的放大对应像素点之间的放大***像素点，依此类推，可以求得其它的放大对应像素点和放大***像素点，所述的放大对应像素点和放大***像素点形成放大像素点集合；

步骤七、根据步骤一、若边界线像素集合只有一个像素，则在P(X，Y)处及其周围***m_x×m_y个像素点；

步骤八、将边界线像素的像素值***到对应的放大对应像素点上，再取相邻顺序排布的k个放大对应像素点，设k个放大对应像素点的像素值R_z、G_z、B_z的n次曲线方程如下

$\left\{\begin{array}{c}{R}_z=a_{R0}+a_{R1}z+a_{R2}{z}^2+\·\·\·\·\·\·a_{\mathrm{Rn}}{z}^n\\ G_z=a_{G0}+a_{G1}z+a_{G2}{z}^2\·\·\·\·\·\·a_{\mathrm{Gn}}{z}^n\\ B_z=a_{B0}+a_{B1}z+a_{B2}{z}^2\·\·\·\·\·\·a_{\mathrm{Bn}}{z}^n\end{array}\right.$

根据各个放大对应像素的像素值结合R_z、G_z、B_z的n次曲线方程，通过解方程计算确定进行像素值插值的方程式，在每两个相邻的放大对应像素之间按照序号，根据进行像素值插值的方程式对放大***像素点进行像素值的插值，据此对放大像素点集合中的全部像素点进行像素值的插值，形成放大像素集合；

步骤九、对每个像素突变点集合以坐标点(x_org，y_org)为原点，m_x为x轴方向上的放大倍数，m_y为y轴方向上的放大倍数进行放大，对于该集合放大后处在对应的放大像素集合中像素，采用邻域拷贝图像放大算法对像素点进行像素值插值，由此完成对全部的像素突变点对应的像素的放大插值，形成放大突变像素集合；

步骤十、以坐标点(x_org，y_org)为原点，对原数字图像中的像素根据立方卷积图像放大算法对图像进行步骤三的倍数放大，形成立方卷积插值像素集合，并将上述的放大突变像素集合在立方卷积插值像素集合上进行叠加。

附图说明

附图的图面说明如下

图1为由单像素突变点构成环状的一个像素突变点集合，以及对应的n次样条拟合曲线的坐标图。

图2为由单像素突变点构成线条状的一个像素突变点集合，以及对应的n次样条拟合曲线的坐标图。

图3为一个像素突变点的坐标图。

图4为多个像素突变点宽度构成环状的一个像素突变点集合，以及针对其边界线像素的像素点n次样条拟合曲线的坐标图。

图5为多个像素突变点宽度构成线条状的一个像素突变点集合，以及针对其边界线像素的像素点n次样条拟合曲线的坐标图。

图6为对图4中的像素突变点、n次样条拟合曲线进行放大后，再根据放大曲线进行插值的坐标图。

图7为对图5中的素突变点、n次样条拟合曲线进行放大后，再根据放大曲线进行插值的坐标图。

图8为对图2中的像素突变点、n次样条拟合曲线进行放大后的像素点、放大曲线的坐标图。

图9为根据图8中的像素点、放大曲线进行插值的坐标图。

图10为由单像素突变点构成线条状的一个像素突变点集合，以及对应的n次样条拟合曲线的坐标图。

图11为对图10中的素突变点、n次样条拟合曲线进行放大后，再进行像素值插值的坐标图。

下面结合附图，对本发明的实施例作进一步说明。

步骤一，利用帕金算子(Pal.King)对原数字图像中的像素进行检测，将相邻像素中像素值突出的像素设定为像素突变点，相邻靠在一起的所有像素突变点组成一个像素突变点集合。像素突变点集合会有五种形式，如图1、2、3、4和5中所示，其中实心圆点1和空心圆点3均为像素突变点，而实心圆点1为边界线像素，空心圆点3为内部像素。所述的像素突变点集合在边界上的像素为边界线像素，所有边界线像素构成边界线像素集合。线条2为n次样条拟合曲线。

步骤二、通过n次样条曲线分别对检测到的边界线像素集合进行拟合，

设边界线像素上的像素点坐标为p(x，y)，则n次样条曲线的方程为

y＝a₀+a₁x+a₂x²+a₃x³+……+a_nxⁿ，        公式(1)，其中n∈[2，5]，

设t为边界线像素集合的像素点个数，则在边界线像素集合中由相邻的n个点拟合成一段n次样条曲线，第i段n次样条曲线的末点与第(i+1)段的首点为同一个点t_i(x_ti，y_ti)，以此类推，若(t-1)/(n-1)为整数，则形成(t-1)/(n-1)段的n次样条曲线。若(t-1)/(n-1)有余数，其中余数作为1段。设第i段和与其相邻的第i+1段的n次样条曲线的方程式分别为

y_i＝f_i(x)＝a_0i+a_1ix+a_2ix²+a_3ix³+……+a_nixⁿ，                          公式(2)，

y_i+1＝f_i+1(x)＝a_0(i+1)+a_1(i+1)x+a_2(i+1)x²+a_3(i+1)x³+……+a_n(i+1)xⁿ，  公式(3)，

并且

f_i′(x_ti)＝f_i+1′(x_ti)，                                              公式(4)

f_i″(x_ti)＝f_i+1″(x_ti)，                                              公式(5)

将第i段和(i+1)段的n个边界线像素的像素点坐标p(x，y)分别代入公式(2)、公式(3)、公式(4)和公式(5)，即可以求得a_0i、a_1i、a_2i、a_3i……a_n(i+1)，a_0(i+1)、a_1(i+1)、a_2(i+1)、a_3(i+1)……a_n(i+1)，得到该段的n次样条拟合曲线方程。如图2中所示，该边界线像素集合的像素点个数为t＝11，取n＝4个像素点进行拟合，共计4段，为便于表示，用相互间隔的两段实线和两段虚线表示。设虚线i为第i段4次样条曲线，实线i+1为第i+1段4次样条曲线，将各个线段上的坐标值代入公式(2)、(3)、(4)、(5)中，就可以求得i段的n次样条拟合曲线方程。以此类推，可以分别求得其它段的n次样条拟合曲线方程。所有段的n次样条拟合曲线的总和构成该边界线像素集合的n次样条拟合曲线。

当n＝3时，若是有多余的一个边界线像素的像素点坐标，则该边界线像素的像素点坐标与相邻的边界线像素的像素点坐标之间采用直线拟合。

当n＝4时，若是有多余的一个或者二个边界线像素的像素点坐标，则该边界线像素的像素点坐标与相邻的边界线像素的像素点坐标之间采用直线拟合。

当n＝5时，若是有多余的一个、二个或者三个边界线像素的像素点坐标，则该边界线像素的像素点坐标与相邻的边界线像素的像素点坐标之间采用直线拟合。

步骤三、以坐标点(x_org，y_org)为原点，m_x为x轴方向上的放大倍数，m_y为y轴方向上的放大倍数，分别对各段的n次样条拟合曲线放大，

设第i段n次样条曲线放大后对应的曲线上任意点的坐标为P(X，Y)，则第i段对应放大的曲线方程Y＝A_0i+A_1iX+A_2iX²+A_3iX³+……+A_niXⁿ，  公式(6)，

曲线上的坐标与n次样条拟合曲线上的坐标满足如下函数关系

X＝x·m_x+x_org(1-m_x)，公式(7)，

Y＝y·m_y+y_org(1-m_y)，公式(8)，

通过公式(2)、(7)、(8)可求得A_0i、A_1i、A_2i、A_3i、……A_ni的值，得到i段放大曲线方程。如图8中所示，图8中的虚线段对应于图2中的虚线段的放大曲线，图8中的实线段对应于图2中的实线段的放大曲线。各段放大曲线总和构成总的放大曲线。

步骤四、将坐标p(x，y)代入公式(7)、(8)中可求得坐标P(X，Y)，坐标P(X，Y)为放大对应像素点坐标，坐标P_i(X，Y)为第i段n次样条曲线上像素点的坐标p_i(x，y)放大后的i段放大对应像素点坐标。如图6中所示，实心圆点6和空心圆点7为图4中实心圆点1和空心圆点3的放大对应像素点。

步骤五、在两个相邻的i段放大对应像素点坐标P_i0(X₀，Y₀)与P_i1(X₁，Y₁)之间，根据其对应的i段放大曲线方程进行像素点插值，将X₀+1，X₀+2……X₀+m-1代入i段放大曲线方程，可求得对应的值，并分别取整得出Y_X0+1，Y_X0+2……Y_X0+m-1，则(X₀+1，Y_X0+1)、(X₀+2，Y_X0+2)……(X₀+m-1，Y_X0+m-1)为***在P_i0(X₀，Y₀)与P_i1(X₁，Y₁)之间的放大***像素点坐标。如图6中所示，实心圆点6和空心圆点7为图4中实心圆点1和空心圆点3的放大对应像素点。放大曲线5为各个段的放大曲线总和。在相邻的两个实心圆点6之间最靠近放大曲线5的空心叉圆点4即为放大***像素点坐标。

步骤六、通过步骤四、五，可以求得在i段上所有相邻的放大对应像素点之间的放大***像素点，依此类推，可以求得其它各段上的放大对应像素点和放大***像素点，所述的放大对应像素点和放大***像素点形成放大像素点集合。如图6中所示，空心叉圆点4为图4中两个相邻的实心圆点1对应放大后，在最靠近放大曲线5上的放大***像素点。

步骤七、根据步骤一、若边界线像素集合只有一个像素，则在P(X，Y)处及其周围***m_x×m_y个像素点。

步骤八、将边界线像素的像素值***到对应的放大对应像素点上，再取相邻的k个放大对应像素，设所述的k个放大对应像素的像素值依相邻的次序为p₁(r₁，g₁，b₁)、p₂(r₂，g₂，b₂)……p_k(r_k，g_k，b_k)，其中k＝n+1，为放大对应像素的对应序号。

设对应序号1……k之间的像素的像素值的n次曲线方程如下

$\left\{\begin{array}{c}{R}_z=a_{R0}+a_{R1}z+a_{R2}{z}^2+\·\·\·\·\·\·a_{\mathrm{Rn}}{z}^n\\ G_z=a_{G0}+a_{G1}z+a_{G2}{z}^2\·\·\·\·\·\·a_{\mathrm{Gn}}{z}^n\\ B_z=a_{B0}+a_{B1}z+a_{B2}{z}^2\·\·\·\·\·\·a_{\mathrm{Bn}}{z}^n\end{array}\right.$ 公式(9)

将p₁(r₁，g₁，b₁)、p₂(r₂，g₂，b₂)……p_k(r_k，g_k，b_K)中的像素值和其对应序号k分别代入公式(9)中的R、G、B和z可分别求得各个a_R0、a_R1、a_R2……a_Rn、a_G0、a_G1、a_G2……a_Gn、a_B0、a_B1、a_B2……a_Bn值，得到相邻的k个放大对应像素的像素值按照序号进行像素值插值的方程式。

将{1+1/m，1+2/m，……，1+(m-1)/m}、{2+1/m，2+2/m，……，2+(m-1)/m}、……、{(k-1)+1/m，(k-1)+2/m，……，(k-1)+(m-1)/m}分别代入已求得的相邻的k个放大对应像素的像素值按照序号进行像素值插值的方程式中的自变量z，则分别对应得到p₁(r₁，g₁，b₁)与p₂(r₂，g₂，b₂)，p₂(r₂，g_m，b₂)与p₃(r₃，g₃，b₃)，……，p_(k-1)(r_(k-1)，g_(k-1)，b_(k-1))与p_k(r_k，g_k，b_k)在每两个相邻的放大对应像素之间需要***的放大***像素的像素值。依此类推，可以求得对放大像素点集合中的全部像素点进行像素值的插值，形成放大像素集合。如n＝3，k＝4，p₁(129，40，40)、p₂(177，66，66)、p₃(03，29，29)、p₄(152，18，18)，括号内的数字分别表示该点对应的三基色R、G、B的像素值，将这些数字分别对应带入公式(9)中的R_z、G_z、B_z中，p的下标数字则代入z中，即可求得a_R0、a_R1、a_R2、a_R3、a_G0、a_G1、a_G2、a_G3、a_B0、a_B1、a_B2、a_B3的具体数值。若m＝2，则在p₁与p₂之间***z＝1+1/2的像素值，p₂与p₃之间***z＝2+1/2的像素值，p₃与p₄之间***z＝3+1/2的像素值。若m＝3，则在p₁与p₂之间***z＝1+1/3、z＝1+2/3的像素值，p₂与p₃之间***z＝2+1/3、z＝2+2/3的像素值，p₃与p₄之间***z＝3+1/3、z＝3+2/3的像素值，以此类推。

步骤九、对每个像素突变点集合采用公式(7)、公式(8)进行放大，对于该集合放大后处在对应的放大像素集合中像素，采用邻域拷贝图像放大算法对像素点进行像素值插值，由此完成对全部的像素突变点对应的像素的放大插值，形成放大突变像素集合。如图6中所示，空心叉圆点8为处在两条曲线5围住的区域。

步骤十、以坐标点(x_org，y_org)为原点，对原数字图像中的像素根据立方卷积图像放大算法对图像进行步骤三的倍数放大，形成立方卷积插值像素集合，并将上述的放大突变像素集合在立方卷积插值像素集合上进行叠加。

本发明针对数字图像放大处理公开一种边缘矢量化插值与立方卷积相结合的图像放大插值方法，将像素突变点分为边界线像素和内部像素，并运用不同的插值算法分别对边界线像素和内部像素进行放大插值运算。对于边界线像素，采用边缘矢量化插值方法，首先利用帕金算子搜索出数字图像像素突变点，然后对相邻的边界线像素用n次样条曲线进行拟合，再对拟合曲线进行放大，根据放大曲线进行插值，得到放大像素点集合。再根据n次样条曲线进行像素值的插值。对于内部像素进行放大插值，则采用邻域拷贝图像放大算法进行操作，达到提高图像分辨率的插值效果。本发明的边缘矢量化与立方卷积相结合的数字图像插值放大方法，遵循像素值变化率与像素值对采样点的影响规律，通过对数字图像进行分区域插值处理，保证了插值后图像的整体质量，取得较好的图像放大效果。

Claims (6)

1.一种边缘矢量化与立方卷积相结合的数字图像插值放大方法，其特征在于：

步骤一、利用帕金算子对原数字图像中的像素进行检测；

步骤二、通过n次样条曲线分别对检测到的边界线像素集合进行拟合，根据边界线像素的像素点坐标p(x，y)，确定n次样条拟合曲线方程y＝a₀+a₁x+a₂x²+a₃x³+……+a_nxⁿ；

步骤三、以坐标点(x_org，y_org)为原点，m_x为x轴方向上的放大倍数，m_y为y轴方向上的放大倍数，对n次样条拟合曲线放大，得到放大曲线方程Y＝A₀+A₁X+A₂X²+A₃X³+……+A_nXⁿ；

步骤四、将边界线像素的像素点坐标p(x，y)，按照步骤三中的设定进行放大，得到n次样条曲线上像素点的坐标p(x，y)在放大后对应的放大对应像素点坐标P(X，Y)；

步骤五、在两个相邻的放大对应像素点坐标之间，根据其对应的放大曲线方程进行像素点插值，产生放大***像素点坐标；

步骤六、通过步骤四、五，可以求得所有相邻的放大对应像素点之间的放大***像素点，依此类推，可以求得其它的放大对应像素点和放大***像素点，所述的放大对应像素点和放大***像素点形成放大像素点集合；

步骤七、根据步骤一、若边界线像素集合只有一个像素，则在P(X，Y)处及其周围***m_x×m_y个像素点；

步骤八、将边界线像素的像素值***到对应的放大对应像素点上，再取相邻顺序排布的k个放大对应像素点，设k个放大对应像素点的像素值R_z、G_z、B_z的n次曲线方程如下

$\left\{\begin{array}{c}{R}_z=a_{R0}+a_{R1}z+a_{R2}{z}^2+\·\·\·\·\·\·a_{\mathrm{Rn}}{z}^n\\ G_z=a_{G0}+a_{G1}z+a_{G2}{z}^2\·\·\·\·\·\·a_{\mathrm{Gn}}{z}^n\\ B_z=a_{B0}+a_{B1}z+a_{B2}{z}^2\·\·\·\·\·\·a_{\mathrm{Bn}}{z}^n\end{array}\right.$

根据各个放大对应像素的像素值结合R_z、G_z、B_z的n次曲线方程，通过解方程计算确定进行像素值插值的方程式，在每两个相邻的放大对应像素之间按照序号，根据进行像素值插值的方程式对放大***像素点进行像素值的插值，据此对放大像素点集合中的全部像素点进行像素值的插值，形成放大像素集合；

步骤九、对每个像素突变点集合以坐标点(x_org，y_org)为原点，m_x为x轴方向上的放大倍数，m_y为y轴方向上的放大倍数进行放大，对于该集合放大后处在对应的放大像素集合围住中像素，采用邻域拷贝图像放大算法对像素点进行像素值插值，由此完成对全部的像素突变点对应的像素的放大插值，形成放大突变像素集合；

步骤十、以坐标点(x_org，y_org)为原点，对原数字图像中的像素根据立方卷积图像放大算法对图像进行步骤三的倍数放大，形成立方卷积插值像素集合，并将上述的放大突变像素集合在立方卷积插值像素集合上进行叠加。

2.根据权利要求1所述的边缘矢量化与立方卷积相结合的数字图像插值放大方法，其特征在于：所述的n∈[2，5]，在边界线像素集合中由相邻的n个像素点坐标为一组以及与该组末尾的像素点为起点的相邻n个像素点坐标为另一组分别拟合成两段n次样条曲线，以此类推，来确定n次样条拟合曲线方程y＝a₀+a₁x+a₂x²+a₃x³+……+a_nxⁿ。

3.根据权利要求2所述的边缘矢量化与立方卷积相结合的数字图像插值放大方法，其特征在于所述的两段n次样条曲线，设为第i段和与其相邻的第i+1段的n次样条曲线的方程式分别为

y_i＝f_i(x)＝a_0i+a_1ix+a_2ix²+a_3ix³+……+a_nixⁿ，                            公式(2)，

y_i+1＝f_i+1(x)＝a_0(i+1)+a_1(i+1)x+a_2(i+1)x²+a_3(i+1)x³+……+a_n(i+1)xⁿ，    公式(3)，

并且f_i′(x_ti)＝f_i+1′(x_ti)，                                            公式(4)，

f_i″(x_ti)＝f_i+1″(x_ti)，                                                公式(5)，

将第i段和(i+1)段的n个边界线像素的像素点坐标p(x，y)分别代入公式(2)、公式(3)、公式(4)和公式(5)，即可以求得a_0i、a_1i、a_2i、a_3i……a_n(i+1)，a_0(i+1)、a_1(i+1)、a_2(i+1)、a_3(i+1)……a_n(i+1)，得到该段的n次样条拟合曲线方程，以此类推确定n次样条拟合曲线方程。

4.根据权利要求1或2所述的边缘矢量化与立方卷积相结合的数字图像插值放大方法，其特征在于：当n＝3时，若是有多余的一个边界线像素的像素点坐标，则该边界线像素的像素点坐标与相邻的边界线像素的像素点坐标之间采用直线拟合。

5.根据权利要求1或2所述的边缘矢量化与立方卷积相结合的数字图像插值放大方法，其特征在于：当n＝4时，若是有多余的一个或者二个边界线像素的像素点坐标，则该边界线像素的像素点坐标与相邻的边界线像素的像素点坐标之间采用直线拟合。

6.根据权利要求1或2所述的边缘矢量化与立方卷积相结合的数字图像插值放大方法，其特征在于：当n＝5时，若是有多余的一个、二个或者三个边界线像素的像素点坐标，则该边界线像素的像素点坐标与相邻的边界线像素的像素点坐标之间采用直线拟合。

Images