CN103761723A - 基于多层支持向量回归机模型的图像超分辨重建方法 - Google Patents

基于多层支持向量回归机模型的图像超分辨重建方法 Download PDF

Info

Publication number
CN103761723A
CN103761723A CN201410029364.2A CN201410029364A CN103761723A CN 103761723 A CN103761723 A CN 103761723A CN 201410029364 A CN201410029364 A CN 201410029364A CN 103761723 A CN103761723 A CN 103761723A
Authority
CN
China
Prior art keywords
matrix
image
support vector
resolution
vector regression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410029364.2A
Other languages
English (en)
Other versions
CN103761723B (zh
Inventor
邓成
许洁
杨延华
谢芳
李洁
高新波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201410029364.2A priority Critical patent/CN103761723B/zh
Publication of CN103761723A publication Critical patent/CN103761723A/zh
Application granted granted Critical
Publication of CN103761723B publication Critical patent/CN103761723B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多层支持向量回归机模型的图像超分辨重建方法,主要解决现有超分辨方法存在丢失高频信息、产生振铃效应等问题。其实现步骤是:(1)分别创建训练样本库和测试样本库;(2)建立训练样本的第一层支持向量回归机模型;(3)预测高分辨亮度初始图像和初始训练图像;(4)计算初始训练图像的差值训练图像;(5)建立差值训练图像的第二层支持向量回归机模型;(6)预测高分辨亮度差值图像;(7)将高分辨亮度初始图像与高分辨亮度差值图像相加得到高分辨亮度图像。本发明重建的图像具有边缘清晰、纹理丰富、更逼近真实图像的优点,可用于视频监控、高清晰电视HDTV成像。

Description

基于多层支持向量回归机模型的图像超分辨重建方法
技术领域
本发明属于图像处理技术领域,更进一步涉及图像超分辨重建方法,可用于视频监控、高清晰电视HDTV成像。
背景技术
图像的分辨率是衡量图像质量的一个重要性能指标。随着CCD和CMOS图像传感器的发明,人们获取的图像更加清晰,但是在图像的采集与处理过程中,容易受到天气条件,物理条件,人为等因素的影响,使图像质量下降。提高图像成像设备的硬件条件可以改善图像的质量,但是高密度图像传感器的价格昂贵且从技术水平上改良传感器阵列的性能几乎难以实现。为了满足人们低成本需求同时又能显著提高图像分辨率的要求,超分辨图像重建技术得到推广。
图像超分辨率重建是利用一帧或者多帧低分辨率图像通过相应的图像超分辨率重建算法,获得高分辨率图像。传统的图像超分辨率重建大致可以分为三类:基于插值、基于重构和基于学习的超分辨方法。目前单帧图像超分辨率重建技术主要基于低分辨-高分辨图像对学习一种数据对来实现单帧图像超分辨率重建。基于低分辨-高分辨数据对这类单帧超分辨重建技术也称为基于学习的超分辨重建技术。
基于学***滑。然而,这种方法的性能要完全依赖于训练样本库,如果样本选择不好,就难于实现较好的图像超分辨重建。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于多层支持向量回归机模型的图像超分辨重建方法,以在任意训练样本库的条件下,实现单帧图像的超分辨重建,提高图像的峰值信噪比,得到重建图像的清晰边缘和丰富纹理。
本发明的技术方案是这样实现的:
本发明利用多层SVR模型恢复尽可能多的细节信息,同时,考虑到图像整体结构差异性过大,将图像分为水平边缘部分,垂直边缘部分和非边缘部分进行训练,以利于突出图像的局部特征;在训练数据集的同时,本发明按照像素在图像中所处的空间位置,对SVR模型的输入集进行不同的加权,使得对输出贡献大的输入像素能得到更大的权值。从而实现单帧图像的超分辨重建,得到边缘清晰、纹理丰富的高分辨率图像。
其实现步骤包括如下:
(1)创建高分辨亮度图像和低分辨亮度图像训练样本库;
(2)创建低分辨亮度图像测试样本库;
(3)使用横向边缘矩阵 A = - 1 0 + 1 - 2 0 + 2 - 1 0 + 1 和纵向边缘矩阵 B = + 1 + 2 + 1 0 0 0 - 1 - 2 - 1 组成索贝尔算子;
(4)用索贝尔算子更新样本库:
(4a)更新训练样本库:
(4a1)将高分辨亮度训练图像I1下采样2倍得到低分辨亮度训练图像I2,将低分辨亮度训练图像I2与索贝尔算子中的横向边缘矩阵A进行平面卷积,得到低分辨横向边缘检测图像UX,将低分辨横向边缘检测图像UX与低分辨亮度训练图像I2进行矩阵点乘得到水平边缘训练图像I3
(4a2)将低分辨亮度训练图像I2与索贝尔算子中的纵向边缘矩阵B进行平面卷积,得到低分辨纵向边缘检测图像UY,将低分辨横向边缘检测图像UY与低分辨亮度训练图像I2进行矩阵点乘得到垂直边缘训练图像I4
(4a3)将低分辨亮度训练图像I2与水平边缘训练图像I3进行矩阵减运算,得到的结果再与垂直边缘训练图像I4进行矩阵减运算得到非边缘训练图像I5
(4a4)将高分辨亮度训练图像I1、低分辨亮度训练图像I2、水平边缘训练图像I3、垂直边缘训练图像I4和非边缘训练图像I5作为训练样本集ψ={I1,I2,I3,I4,I5};
(4b)更新测试样本库:
(4b1)将低分辨亮度测试图像H1与索贝尔算子中的横向边缘矩阵A进行平面卷积,得到低分辨横向边缘检测测试图像DX,将低分辨横向边缘检测图像DX与低分辨亮度测试图像H1进行矩阵点乘得到水平边缘测试图像H2
(4b2)将低分辨亮度测试图像H1与索贝尔算子中的纵向边缘矩阵B进行平面卷积,得到低分辨纵向边缘检测测试图像DY,将低分辨纵向边缘检测图像DY与低分辨亮度测试图像H1进行矩阵点乘得到垂直边缘测试图像H3
(4b3)将低分辨亮度测试图像H1与水平边缘测试图像H2进行矩阵减运算,得到的结果再与垂直边缘测试图像H3进行矩阵减运算得到非边缘测试图像H4
(4b4)将低分辨亮度测试图像H1、水平边缘测试图像H2、垂直边缘测试图像H3和非边缘测试图像H4作为一组测试样本集Φj={H1,H2,H3,H4},j=1,…,k,其中k为测试样本库中的低分辨亮度测试图像H1的个数。
(5)取步骤(4)中的训练样本ψ={I1,I2,I3,I4,I5},分别建立水平边缘训练图像I3与高分辨亮度图像训练I1之间映射关系的第一层水平边缘支持向量回归机模型G1、垂直边缘训练图像I4与高分辨亮度训练图像I1之间映射关系的第一层垂直边缘支持向量回归机模型G2和非边缘训练图像I5与高分辨亮度训练图像I1之间映射关系的第一层非边缘支持向量回归机模型G3
(6)将水平边缘训练图像I3作为第一层水平边缘支持向量回归机模型G1的输入,得到初始水平边缘高分辨亮度训练图像Y1;将垂直边缘训练图像I4作为第一层垂直边缘支持向量回归机模型G2的输入,得到垂直边缘高分辨亮度训练图像Y2;将非边缘训练图像I5作为第一层非边缘支持向量回归机模型G3的输入,得到初始非边缘高分辨亮度训练图像Y3;初始水平边缘高分辨亮度训练图像Y1、初始垂直边缘高分辨亮度训练图像Y2和初始非边缘高分辨亮度训练图像Y3进行矩阵加运算,得到初始高分辨亮度训练图像Y;
(7)将步骤(4)中高分辨亮度训练图像I1与步骤(6)得到的初始高分辨亮度训练图像Y进行矩阵减运算,得到差值训练图像Q;
(8)取步骤(4)中的训练样本ψ={I1,I2,I3,I4,I5}和步骤(7)中的差值训练图像Q,分别建立水平边缘训练图像I3与差值训练图像Q之间映射关系的第二层水平边缘支持向量回归机模型B1、垂直边缘训练图像I4与差值训练图像Q之间映射关系的第二层垂直边缘支持向量回归机模型B2、非边缘训练图像I5与差值训练图像Q之间映射关系的第二层非边缘支持向量回归机模型B3
(9)取步骤(4)中一组测试样本Φ1={H1,H2,H3,H4},将水平边缘测试图像H2作为第一层水平边缘支持向量回归机模型G1的输入,得到水平边缘高分辨亮度测试图像P1;将垂直边缘测试图像H3作为第一层垂直边缘支持向量回归机模型G2的输入,得到垂直边缘高分辨亮度测试图像P2;将非边缘测试图像H4作为第一层非边缘支持向量回归机模型G3的输入,得到非边缘高分辨亮度测试图像P3
(10)将水平边缘高分辨亮度测试图像P1、垂直边缘高分辨亮度测试图像P2和非边缘高分辨亮度测试图像P3进行矩阵加运算,得到初始高分辨亮度测试图像P;
(11)取步骤(4)中一组测试样本Φ1={H1,H2,H3,H4},将水平边缘测试图像H2作为第二层水平边缘支持向量回归机模型B1的输入,得到水平边缘高分辨亮度测试图像
Figure BDA0000460105520000048
将垂直边缘测试图像H3作为第二层垂直边缘支持向量回归机模型B2的输入,得到垂直边缘高分辨亮度测试图像将非边缘测试图像H4作为第二层非边缘支持向量回归机模型B3的输入,得到非边缘高分辨亮度测试图像
Figure BDA0000460105520000042
(12)将水平边缘高分辨亮度测试图像
Figure BDA0000460105520000043
垂直边缘高分辨亮度测试图像
Figure BDA0000460105520000044
和非边缘高分辨亮度测试图像
Figure BDA0000460105520000045
进行矩阵加运算,得到差值测试图像
Figure BDA0000460105520000046
(13)更新测试低分辨图像的高分辨亮度图像,即将初始高分辨亮度测试图像P和差值测试图像
Figure BDA0000460105520000047
进行矩阵加运算,得到高分辨亮度图像Z。
本发明具有以下优点:
1.本发明利用基于支持向量回归使用多层SVR模型来重构图像,使用第一层SVR模型初步估计高分辨图像后,使用下一层SVR模型来估计原始高分辨图像与初步估计图像的差异,采用块-点的映射来代替块-块的映射,避免了边界效应,尽可能多地保留细节信息;
2.本发明将图像分为水平边缘部分,垂直边缘部分和非边缘部分进行训练,更有利于突出图像的局部特征;
3.在训练数据集的同时,本发明按照像素在图像中所处的空间位置,对SVR模型的输入集进行不同程度的加权,来实现单帧图像的超分辨重建,可以恢复更为清晰的边缘和更为丰富的纹理。
附图说明
图1是本发明的总体流程图;
图2是本发明在仿真实验中使用的3幅高分辨图像;
图3是使用本发明和现有四种方法对鹦鹉图像进行超分辨重建得到的图像;
图4是使用本发明和现有四种方法对花图像进行超分辨重建得到的图像。
具体实施方案
参照图1,本发明的具体实施方式如下:
步骤1,创建高分辨亮度图像和低分辨亮度图像训练样本库。
(1a)从网上随机下载一幅彩色高分辨率自然图像;
(1b)使用matlab中的函数rgb2ycbcr,将高分辨彩色图像从RGB空间映射到YCbCr空间,再从YCbCr空间中获取亮度信号,将亮度信号构成的黑白灰度图像作为高分辨亮度图像,使用高分辨亮度训练图像创建高分辨亮度图像训练样本库;
(1c)将高分辨亮度图像间隔取像素点,得到下采样2倍后的低分辨亮度训练图像,使用低分辨亮度训练图像创建低分辨亮度图像训练样本库。
步骤2,创建低分辨亮度图像测试样本库:
(2a)从网上随机下载多幅彩色高分辨率自然图像;
(2b)将高分辨率图像间隔取像素点,得到下采样2倍后的低分辨彩色图像;
(2c)使用matlab中的函数rgb2ycbcr,将低分辨彩色图像从RGB空间映射到YCbCr空间,再从YCbCr空间中获取亮度信号,将亮度信号构成的黑白灰度图像作为低分辨亮度图像,使用所有的低分辨亮度图像创建低分辨亮度图像测试样本库。
步骤3,使用横向边缘矩阵 A = - 1 0 + 1 - 2 0 + 2 - 1 0 + 1 和纵向边缘矩阵 B = + 1 + 2 + 1 0 0 0 - 1 - 2 - 1 组成索贝尔算子。
步骤4,用索贝尔算子更新样本库:
(4a)更新训练样本库:
(4a1)将高分辨亮度训练图像I1下采样2倍得到低分辨亮度训练图像I2,将低分辨亮度训练图像I2与索贝尔算子中的横向边缘矩阵A进行平面卷积,得到低分辨横向边缘检测图像UX,将低分辨横向边缘检测图像UX与低分辨亮度训练图像I2进行矩阵点乘得到水平边缘训练图像I3
(4a2)将低分辨亮度训练图像I2与索贝尔算子中的纵向边缘矩阵B进行平面卷积,得到低分辨纵向边缘检测图像UY,将低分辨横向边缘检测图像UY与低分辨亮度训练图像I2进行矩阵点乘得到垂直边缘训练图像I4
(4a3)将低分辨亮度训练图像I2与水平边缘训练图像I3进行矩阵减运算,得到的结果再与垂直边缘训练图像I4进行矩阵减运算得到非边缘训练图像I5
(4a4)将高分辨亮度训练图像I1、低分辨亮度训练图像I2、水平边缘训练图像I3、垂直边缘训练图像I4和非边缘训练图像I5作为训练样本集ψ={I1,I2,I3,I4,I5};
(4b)更新测试样本库:
(4b1)将低分辨亮度测试图像H1与索贝尔算子中的横向边缘矩阵A进行平面卷积,得到低分辨横向边缘检测测试图像DX,将低分辨横向边缘检测图像DX与低分辨亮度测试图像H1进行矩阵点乘得到水平边缘测试图像H2
(4b2)将低分辨亮度测试图像H1与索贝尔算子中的纵向边缘矩阵B进行平面卷积,得到低分辨纵向边缘检测测试图像DY,将低分辨纵向边缘检测图像DY与低分辨亮度测试图像H1进行矩阵点乘得到垂直边缘测试图像H3
(4b3)将低分辨亮度测试图像H1与水平边缘测试图像H2进行矩阵减运算,得到的结果再与垂直边缘测试图像H3进行矩阵减运算得到非边缘测试图像H4
(4b4)将低分辨亮度测试图像H1、水平边缘测试图像H2、垂直边缘测试图像H3和非边缘测试图像H4作为一组测试样本集Φj={H1,H2,H3,H4},j=1,…,k,其中k为测试样本库中的低分辨亮度测试图像H1的个数。
步骤5,根据训练样本ψ={I1,I2,I3,I4,I5},建立第一层支持向量回归机模型,包括建立水平边缘训练图像I3与高分辨亮度图像训练I1之间映射关系的第一层水平边缘支持向量回归机模型G1、垂直边缘训练图像I4与高分辨亮度训练图像I1之间映射关系的第一层垂直边缘支持向量回归机模型G2和非边缘训练图像I5与高分辨亮度训练图像I1之间映射关系的第一层非边缘支持向量回归机模型G3
(5a)建立第一层水平边缘支持向量回归机模型G1
(5a1)将水平边缘训练图像I3中像素值不为零的像素点组成水平训练点集Ω;
(5a2)根据水平训练点集Ω中每个像素点在水平边缘训练图像I3中所处的位置找到低分辨亮度训练图像I2中对应位置的像素点组成集合,得到低分辨训练点集Ψ;再以低分辨训练点集Ψ中的每个像素点为中心在低分辨亮度训练图像I2中得到大小为3×3的子区域;再将每个子区域拉成九列的行向量αi,其中i=1,…,n,n为低分辨训练点集Ψ中像素点的个数,并将行向量组α1,…,αi,i=1,…,n排成水平训练矩阵
Figure BDA0000460105520000071
其中
Figure BDA0000460105520000072
指向量空间;
(5a3)将低分辨训练点集Ψ中的每个像素点映射成高分辨率亮度训练图像I1中的2×2子区域,并将每个2×2子区域拉成列向量γi,其中i=1,…,n,n为低分辨训练点集Ψ中像素点的个数,并将列向量组γ1,…,γi,i=1,…,n排成低分辨训练矩阵
Figure BDA0000460105520000073
(5a4)对行向量αi中的每个像素进行不同的加权,用所加的权值构成空间位置权值行向量
Figure BDA0000460105520000074
其中j=1,2,3,4分别表示左上角、右上角、左下角和右下角,即左上角权值向量ω1、右上角权值向量ω2、左下角权值向量ω3和右下角权值向量ω4;将每个空间位置权值行向量ωj扩充为n行的矩阵,得到空间位置权值矩阵
Figure BDA0000460105520000075
即左上角权值矩阵W1、右上角权值矩阵W2、左下角权值矩阵W3和右下角权值矩阵W4
(5a5)定义非线性支持向量回归机拟合函数f(x)为:
f ( x ) ω · Φ ( x ) + b = Σ i = 1 n ( a i - a i * ) K ( x , x i ) + b ;
式中,
Figure BDA0000460105520000077
为输入向量,其中i=1,2,…,n,n为输入向量的个数,x为输入向量x1,x2,…,xn组成的输入向量集合,Φ(x)是指通过事先确定的非线性映射Φ将输入向量集合x映射到一个高维特征空间中,ω和b是高维空间中线性回归函数的两个待求参数,ai
Figure BDA0000460105520000078
为两个数值不同的Lagrange乘数,且
Figure BDA0000460105520000079
大于0,K(x,xi)=Φ(x)·Φ(xi)为核函数矩阵,其中i=1,2,…,n;
(5a6)利用非线性支持向量回归机拟合函数f(x),得到超参数集θ:
首先,将低分辨亮度训练图像I2进行非线性变换,得到在高维特征空间中的低分辨数据集Χ;
其次,利用非线性支持向量回归机拟合函数f(x)对低分辨数据集Χ和高分辨率训练图像I1进行回归计算,得到超参数集θ,即取低分辨训练矩阵R的第j行向量μj,其中j=1,…,4,将行向量μj作为非线性支持向量回归机拟合函数输出,将水平训练矩阵A与权值矩阵Wj进行矩阵点乘得到训练矩阵Mj,将该训练矩阵Mj作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算,得到非线性支持向量回归机拟合函数的超参数θj,j=1,…,4,将θ1234组成集合,得到超参数集θ;
(5a7)根据j的取值情况,利用超参数θj建立相应的第一层水平边缘支持向量回归机模型G1
当j=1时,将超参数θ1代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数f1′(x),将该拟合函数f1′(x)记为2×2区域的左上角第一层水平边缘支持向量回归机模型G11
当j=2时,将超参数θ2代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数f2′(x),将该拟合函数f2′(x)记为2×2区域的右上角第一层水平边缘支持向量回归机模型G12
当j=3时,将超参数θ3代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数f3′(x),将该拟合函数f3′(x)记为2×2区域的左下角第一层水平边缘支持向量回归机模型G13
当j=4时,将超参数θ4代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数f4′(x),将该拟合函数f4′(x)记为2×2区域的右下角第一层水平边缘支持向量回归机模型G14
将左上角第一层水平边缘支持向量回归机模型G11、右上角第一层水平边缘支持向量回归机模型G12、左下角第一层水平边缘支持向量回归机模型G13和右下角第一层水平边缘支持向量回归机模型G14组成集合,得到第一层水平边缘支持向量回归机模型G1={G11,G12,G13,G14};
(5b)按照建立第一层水平边缘支持向量回归机模型G1的方法,建立第一层垂直边缘支持向量回归机模型G2
(5c)按照建立第一层水平边缘支持向量回归机模型G1的方法,建立第一层非边缘支持向量回归机模型G3
步骤6,预测初始高分辨亮度训练图像Y。
(6a)预测初始水平边缘高分辨亮度训练图像Y1
(6a1)取第一层水平边缘支持向量回归机模型G1={G11,G12,G13,G14}的左上角第一层水平边缘支持向量回归机模型G11,将训练矩阵M1作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归机计算,得到左上角矩阵Τtl
(6a2)按照计算左上角矩阵Τtl的方法,分别计算右上角矩阵Ttr、左下角矩阵Tbl和右下角矩阵Τbr
(6a3)将左上角矩阵Τtl、右上角矩阵Ttr、左下角矩阵Tbl和右下角矩阵Τbr结合成一个大矩阵,得到水平边缘高分辨亮度图像Y1
(6b)按照预测初始水平边缘高分辨亮度训练图像Y1的方法,预测初始垂直边缘高分辨亮度训练图像Y2
(6c)按照预测初始水平边缘高分辨亮度训练图像Y1的方法,预测初始非边缘高分辨亮度训练图像Y3
(6d)初始水平边缘高分辨亮度训练图像Y1、初始垂直边缘高分辨亮度训练图像Y2和初始非边缘高分辨亮度训练图像Y3进行矩阵加运算,得到初始高分辨亮度训练图像Y。
步骤7,将步骤(4)中高分辨亮度训练图像I1与步骤(6)得到的初始高分辨亮度训练图像Y进行矩阵减运算,得到差值训练图像Q。
步骤8,取训练样本ψ={I1,I2,I3,I4,I5}和差值训练图像Q,建立第二层支持向量回归机模型,包括建立水平边缘训练图像I3与差值训练图像Q之间映射关系的第二层水平边缘支持向量回归机模型B1、垂直边缘训练图像I4与差值训练图像Q之间映射关系的第二层垂直边缘支持向量回归机模型B2、非边缘训练图像I5与差值训练图像Q之间映射关系的第二层非边缘支持向量回归机模型B3
(8a)建立第二层水平边缘支持向量回归机模型B1
(8a1)将低分辨训练点集Ψ中的每个像素点映射到差值训练图像Q中,得到大小为2×2的子区域,将每个2×2子区域拉成列向量
Figure BDA0000460105520000091
其中i=1,…,n,n为低分辨训练点集Ψ中像素点的个数,并将列向量组
Figure BDA0000460105520000092
排成差值训练矩阵
Figure BDA0000460105520000093
(8a2)对行向量αi中的每个像素进行不同的加权,用所加的权值构成空间位置权值行向量
Figure BDA0000460105520000094
其中j=1,2,3,4分别表示左上角、右上角、左下角和右下角,即左上角权值向量
Figure BDA0000460105520000095
右上角权值向量
Figure BDA0000460105520000096
左下角权值向量
Figure BDA0000460105520000097
和右下角权值向量
Figure BDA0000460105520000098
将每个空间位置权值行向量扩充为n行的矩阵,得到空间位置权值矩阵
Figure BDA00004601055200000910
即左上角权值矩阵右上角权值矩阵
Figure BDA00004601055200000912
左下角权值矩阵
Figure BDA00004601055200000913
和右下角权值矩阵
Figure BDA00004601055200000914
(8a3)取差值训练矩阵
Figure BDA00004601055200000915
的第j行向量其中j=1,…,4,将行向量作为非线性支持向量回归机拟合函数f(x)的输出;将水平训练矩阵A与权值矩阵进行矩阵点乘得到低分辨矩阵
Figure BDA00004601055200000919
将低分辨矩阵
Figure BDA00004601055200000920
作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算,得到非线性支持向量回归机拟合函数的超参数
Figure BDA00004601055200000921
(8a4)根据j的取值情况,利用超参数
Figure BDA00004601055200000922
建立相应的第二层水平边缘支持向量回归机模型B1
当j=1时,将超参数
Figure BDA00004601055200000923
代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数将该拟合函数
Figure BDA00004601055200000925
记为2×2区域的左上角第二层水平边缘支持向量回归机模型B11
当j=2时,利用超参数代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数将该拟合函数
Figure BDA0000460105520000103
记为2×2区域的右上角第二层水平边缘支持向量回归机模型B12
当j=3时,利用超参数
Figure BDA0000460105520000104
代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数
Figure BDA0000460105520000105
将该拟合函数
Figure BDA0000460105520000106
记为2×2区域的左下角第二层水平边缘支持向量回归机模型B13
当j=4时,利用超参数
Figure BDA0000460105520000107
代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数
Figure BDA0000460105520000108
将该拟合函数
Figure BDA0000460105520000109
记为2×2区域的右下角第二层水平边缘支持向量回归机模型B14
(8a5)将左上角第二层水平边缘支持向量回归机模型B11、右上角第二层水平边缘支持向量回归机模型B12、左下角第二层水平边缘支持向量回归机模型B13和右下角第二层水平边缘支持向量回归机模型B14组成集合,得到第二层水平边缘支持向量回归机模型B1={B11,B12,B13,B14};
(8b)按照建立第二层水平边缘支持向量回归机模型B1的方法,建立垂直边缘训练图像I4与差值训练图像Q之间映射关系的第二层垂直边缘支持向量回归机模型B2
(8c)按照建立第二层水平边缘支持向量回归机模型B1的方法,非边缘训练图像I5与差值训练图像Q之间映射关系的第二层非边缘支持向量回归机模型B3
步骤9,取测试样本Φ1={H1,H2,H3,H4},预测高分辨亮度初始图像:
(9a)预测水平边缘高分辨亮度初始图像P1
(9a1)将水平边缘测试图像H2中像素值不为零的像素点组成水平测试点集Ω*
(9a2)根据水平测试点集Ω*中每个像素点在水平边缘测试图像H2中所处的位置找到低分辨亮度测试图像H1中对应位置的像素点组成集合,得到低分辨测试点集Ψ*,再以低分辨测试点集Ψ*中的每个像素点为中心在低分辨亮度测试图像H1中得到大小为3×3的子区域,将每个子区域拉成行向量
Figure BDA00004601055200001010
其中i=1,…,n,n为低分辨测试点集Ψ*中像素点的个数,将行向量组
Figure BDA00004601055200001011
排成水平测试矩阵
Figure BDA00004601055200001012
(9a3)将水平测试矩阵A*与左上角权值矩阵W1进行矩阵点乘得到测试矩阵Mtl,将测试矩阵Mtl作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归计算,得到左上角矩阵Τ* tl;按照计算左上角矩阵Τ* tl的方法,计算右上角矩阵
Figure BDA00004601055200001013
左下角矩阵和右下角矩阵
Figure BDA00004601055200001015
将左上角矩阵Τ* tl、右上角矩阵
Figure BDA00004601055200001016
左下角矩阵
Figure BDA00004601055200001017
和右下角矩阵
Figure BDA00004601055200001018
结合成一个大矩阵,得到水平边缘高分辨亮度初始图像P1
(9b)按照预测水平边缘高分辨亮度初始图像P1的方法,预测垂直边缘高分辨亮度初始图像P2
(9c)按照预测水平边缘高分辨亮度初始图像P1的方法,预测非边缘高分辨亮度初始图像P3
步骤10,将水平边缘高分辨亮度初始图像P1、垂直边缘高分辨亮度初始图像P2和非边缘高分辨亮度初始图像P3进行矩阵加运算,得到初始高分辨亮度初始图像P。
步骤11,取测试样本Φ1={H1,H2,H3,H4},预测高分辨亮度差值图像。
(11a)预测水平边缘高分辨亮度差值图像
Figure BDA0000460105520000111
(11a1)将水平测试矩阵A*与左上角的权值矩阵
Figure BDA0000460105520000112
进行矩阵点乘得到差值测试矩阵
Figure BDA0000460105520000113
将差值测试矩阵
Figure BDA0000460105520000114
作为左上角第二层水平边缘支持向量回归机模型B11的输入进行支持向量回归计算,得到左上角矩阵
Figure BDA0000460105520000115
按照计算左上角矩阵
Figure BDA0000460105520000116
的方法,分别计算右上角矩阵左下角矩阵
Figure BDA0000460105520000118
和右下角矩阵
Figure BDA0000460105520000119
(11a2)将左上角矩阵
Figure BDA00004601055200001110
右上角矩阵
Figure BDA00004601055200001111
左下角矩阵和右下角矩阵
Figure BDA00004601055200001113
结合成一个大矩阵,得到水平边缘高分辨亮度差值图像
Figure BDA00004601055200001114
(11b)按照预测水平边缘高分辨亮度差值图像
Figure BDA00004601055200001115
的方法,预测垂直边缘高分辨亮度图像差值
Figure BDA00004601055200001116
(11c)按照预测水平边缘高分辨亮度差值图像
Figure BDA00004601055200001117
的方法,预测非边缘高分辨亮度差值图像
Figure BDA00004601055200001118
步骤12,将水平边缘高分辨亮度差值图像
Figure BDA00004601055200001119
垂直边缘高分辨亮度差值图像
Figure BDA00004601055200001120
和非边缘高分辨亮度差值图像进行矩阵加运算,得到差值图像
Figure BDA00004601055200001122
步骤13,更新高分辨亮度图像,即将初始高分辨亮度初始图像P和差值图像
Figure BDA00004601055200001123
进行矩阵加运算,得到高分辨亮度图像Z。
本发明的优点可以通过以下仿真实验进一步说明:
1.仿真条件:
在CPU为Interi3-2100,主频为3.1GHZ,内存为4G,操作***为WIN7,仿真平台为Matlab2010b上进行。
仿真图像选择图2所示的1幅高分辨训练图像,2幅原始高分辨测试图像,其中,图(a)为高分辨训练图像称为女孩(Girl)图像,图(b)为高分辨测试图像称为鹦鹉(Parrots)图像,图(c)为高分辨测试图像称为花(Flower)图像。
仿真实验中,利用本发明方法、现有的双立方插值方法、SC方法和NE方法在测试图像上进行超分辨图像重建;其中SC方法指参考文献“Jianchao Yang,John Wright,Thomas SHuang,and Yi Ma,“Image super-resolution via sparse representation,”IEEE Transactions onImage Processing,vol.19,no.11,pp.2861–2873,2010.”提出的方法,NE方法指参考文献“HongChang,Dit-Yan Yeung,and Yimin Xiong,“Super-resolution through neighbor embedding,”inCVPR,2004,pp.275–282.”提出的方法。
2.实验内容及结果分析:
实验一:验证本发明对自然图像有较好的重建效果。将高分辨Girl彩色图像下采样2倍得到低分辨Girl彩色图像,将高分辨Parrots彩色图像下采样2倍得到低分辨Parrots彩色图像;将高分辨Girl彩色图像和低分辨Girl彩色图像作为训练样本,低分辨Parrots彩色图像作为测试样本,利用本发明方法、现有的双立方插值方法、SC方法和NE方法对低分辨Parrots彩色图像进行超分辨图像重建。
重建的结果如图3所示,其中图3(a)是原始高分辨图像;图3(b)是双立方插值方法的结果;图3(c)是SC方法超分辨重建的结果;图3(d)是NE方法超分辨重建的结果;图3(e)是只构造一层SVR模型超分辨重建的结果;图3(f)是本发明二层SVR模型超分辨重建的结果。每幅图像有一个局部放大了的矩形区域以便于观察重建的效果差别。
从图3可见,图3(b)中边缘和纹理不清晰,与图3(b)的结果相比,图3(c)-图3(f)的结果在一定程度上有尖锐的边缘,丰富的纹理细节,但图3(c)有一些伪边效应,而图3(d)和图3(e)在一些特定的纹理区域有些模糊。对比可知,本发明的超分辨重建的结果不仅边缘保持很好而且细节也很丰富。
实验二:验证本发明对自然图像有较好的重建效果。将高分辨Girl彩色图像下采样2倍得到低分辨Girl彩色图像,将高分辨Flower彩色图像下采样2倍得到低分辨Flower彩色图像;将高分辨Girl彩色图像和低分辨Girl彩色图像作为训练样本,低分辨Flower彩色图像作为测试样本,利用本发明方法、现有的双立方插值方法、SC方法和NE方法对低分辨Flower彩色图像进行超分辨图像重建。
重建的结果如图4所示,其中图4(a)是原始高分辨图像;图4(b)是双立方插值方法的结果;图4(c)是SC方法超分辨重建的结果;图4(d)是NE方法超分辨重建的结果;图4(e)是只构造一层SVR模型超分辨重建的结果;图4(f)是本发明二层SVR模型超分辨重建的结果。每幅图像有一个局部放大了的矩形区域以便于观察重建的效果差别。
从图4可见,图4(b)的结果花瓣边缘产生锯齿效应,并出现过平滑现象;图4(c)花瓣高频保存较好,但边缘产生振铃效应;图4(d)和图4(e)的效果都改善,但是花瓣边缘稍微产生振铃效应;图4(f)所示的本发明方法能把花瓣的边缘锐化,整体效果自然。

Claims (7)

1.一种基于多层支持向量回归机模型的图像超分辨重建方法,包括:
(1)创建高分辨亮度图像和低分辨亮度图像训练样本库;
(2)创建低分辨亮度图像测试样本库;
(3)使用横向边缘矩阵 A = - 1 0 + 1 - 2 0 + 2 - 1 0 + 1 和纵向边缘矩阵 B = + 1 + 2 + 1 0 0 0 - 1 - 2 - 1 组成索贝尔算子;
(4)用索贝尔算子更新样本库;
(4a)更新训练样本库:
(4a1)将高分辨亮度训练图像I1下采样2倍得到低分辨亮度训练图像I2,将低分辨亮度训练图像I2与索贝尔算子中的横向边缘矩阵A进行平面卷积,得到低分辨横向边缘检测图像UX,将低分辨横向边缘检测图像UX与低分辨亮度训练图像I2进行矩阵点乘得到水平边缘训练图像I3
(4a2)将低分辨亮度训练图像I2与索贝尔算子中的纵向边缘矩阵B进行平面卷积,得到低分辨纵向边缘检测图像UY,将低分辨横向边缘检测图像UY与低分辨亮度训练图像I2进行矩阵点乘得到垂直边缘训练图像I4
(4a3)将低分辨亮度训练图像I2与水平边缘训练图像I3进行矩阵减运算,得到的结果再与垂直边缘训练图像I4进行矩阵减运算得到非边缘训练图像I5
(4a4)将高分辨亮度训练图像I1、低分辨亮度训练图像I2、水平边缘训练图像I3、垂直边缘训练图像I4和非边缘训练图像I5作为训练样本集ψ={I1,I2,I3,I4,I5};
(4b)更新测试样本库:
(4b1)将低分辨亮度测试图像H1与索贝尔算子中的横向边缘矩阵A进行平面卷积,得到低分辨横向边缘检测测试图像DX,将低分辨横向边缘检测图像DX与低分辨亮度测试图像H1进行矩阵点乘得到水平边缘测试图像H2
(4b2)将低分辨亮度测试图像H1与索贝尔算子中的纵向边缘矩阵B进行平面卷积,得到低分辨纵向边缘检测测试图像DY,将低分辨纵向边缘检测图像DY与低分辨亮度测试图像H1进行矩阵点乘得到垂直边缘测试图像H3
(4b3)将低分辨亮度测试图像H1与水平边缘测试图像H2进行矩阵减运算,得到的结果再与垂直边缘测试图像H3进行矩阵减运算得到非边缘测试图像H4
(4b4)将低分辨亮度测试图像H1、水平边缘测试图像H2、垂直边缘测试图像H3和非边缘测试图像H4作为一组测试样本集Φj={H1,H2,H3,H4},j=1,...,k,其中k为测试样本库中的低分辨亮度测试图像H1的个数。
(5)取步骤(4)中的训练样本ψ={I1,I2,I3,I4,I5},分别建立水平边缘训练图像I3与高分辨亮度图像训练I1之间映射关系的第一层水平边缘支持向量回归机模型G1、垂直边缘训练图像I4与高分辨亮度训练图像I1之间映射关系的第一层垂直边缘支持向量回归机模型G2和非边缘训练图像I5与高分辨亮度训练图像I1之间映射关系的第一层非边缘支持向量回归机模型G3
(6)将水平边缘训练图像I3作为第一层水平边缘支持向量回归机模型G1的输入,得到初始水平边缘高分辨亮度训练图像Y1;将垂直边缘训练图像I4作为第一层垂直边缘支持向量回归机模型G2的输入,得到垂直边缘高分辨亮度训练图像Y2;将非边缘训练图像I5作为第一层非边缘支持向量回归机模型G3的输入,得到初始非边缘高分辨亮度训练图像Y3;初始水平边缘高分辨亮度训练图像Y1、初始垂直边缘高分辨亮度训练图像Y2和初始非边缘高分辨亮度训练图像Y3进行矩阵加运算,得到初始高分辨亮度训练图像Y;
(7)将步骤(4)中高分辨亮度训练图像I1与步骤(6)得到的初始高分辨亮度训练图像Y进行矩阵减运算,得到差值训练图像Q;
(8)取步骤(4)中的训练样本ψ={I1,I2,I3,I4,I5}和步骤(7)中的差值训练图像Q,分别建立水平边缘训练图像I3与差值训练图像Q之间映射关系的第二层水平边缘支持向量回归机模型B1、垂直边缘训练图像I4与差值训练图像Q之间映射关系的第二层垂直边缘支持向量回归机模型B2、非边缘训练图像I5与差值训练图像Q之间映射关系的第二层非边缘支持向量回归机模型B3
(9)取步骤(4)中一组测试样本Φ1={H1,H2,H3,H4},将水平边缘测试图像H2作为第一层水平边缘支持向量回归机模型G1的输入,得到水平边缘高分辨亮度测试图像P1;将垂直边缘测试图像H3作为第一层垂直边缘支持向量回归机模型G2的输入,得到垂直边缘高分辨亮度测试图像P2;将非边缘测试图像H4作为第一层非边缘支持向量回归机模型G3的输入,得到非边缘高分辨亮度测试图像P3
(10)将水平边缘高分辨亮度测试图像P1、垂直边缘高分辨亮度测试图像P2和非边缘高分辨亮度测试图像P3进行矩阵加运算,得到初始高分辨亮度测试图像P;
(11)取步骤(4)中一组测试样本Φ1={H1,H2,H3,H4},将水平边缘测试图像H2作为第二层水平边缘支持向量回归机模型B1的输入,得到水平边缘高分辨亮度测试图像
Figure FDA0000460105510000031
将垂直边缘测试图像H3作为第二层垂直边缘支持向量回归机模型B2的输入,得到垂直边缘高分辨亮度测试图像
Figure FDA0000460105510000032
将非边缘测试图像H4作为第二层非边缘支持向量回归机模型B3的输入,得到非边缘高分辨亮度测试图像
(12)将水平边缘高分辨亮度测试图像垂直边缘高分辨亮度测试图像
Figure FDA0000460105510000035
和非边缘高分辨亮度测试图像
Figure FDA0000460105510000036
进行矩阵加运算,得到差值测试图像
Figure FDA0000460105510000037
(13)更新测试低分辨图像的高分辨亮度图像,即将初始高分辨亮度测试图像P和差值测试图像
Figure FDA0000460105510000038
进行矩阵加运算,得到高分辨亮度图像Z。
2.根据权利要求1所述的基于多层支持向量回归机模型的图像超分辨重建方法,其中所述步骤(5)中建立水平边缘训练图像I3与高分辨亮度训练图像I1之间映射关系的第一层水平边缘支持向量回归机模型G1,按如下步骤进行:
(5a)将水平边缘训练图像I3中像素值不为零的像素点组成水平训练点集Ω;
(5b)根据水平训练点集Ω中每个像素点在水平边缘训练图像I3中所处的位置找到低分辨亮度训练图像I2中对应位置的像素点组成集合,得到低分辨训练点集Ψ,再以低分辨训练点集Ψ中的每个像素点为中心在低分辨亮度训练图像I2中得到大小为3×3的子区域,将每个子区域拉成九列的行向量αi,其中i=1,…,n,n为低分辨训练点集Ψ中像素点的个数,得到一组行向量α1,…,αi,i=1,…,n,并将向量组α1,…,αi,i=1,…,n排成水平训练矩阵
Figure FDA0000460105510000039
(5c)将低分辨训练点集Ψ中的每个像素点映射成高分辨率亮度训练图像I1中的2×2子区域,并将每个2×2子区域拉成列向量γi,其中i=1,…,n,n为低分辨训练点集Ψ中像素点的个数,得到一组列向量γ1,…,γii,=1,…,并将列向量组γ1,…,γi,i=1,…,n排成低分辨训练矩阵
Figure FDA00004601055100000310
(5d)对行向量αi中的每个像素进行不同的加权,用所加的权值构成空间位置权值行向量
Figure FDA00004601055100000311
其中j=1,2,3,4分别表示左上角、右上角、左下角和右下角,即左上角权值向量ω1、右上角权值向量ω2、左下角权值向量ω3和右下角权值向量ω4;将每个空间位置权值行向量ωj扩充为n行的矩阵,得到空间位置权值矩阵
Figure FDA00004601055100000312
即左上角权值矩阵W1、右上角权值矩阵W2、左下角权值矩阵W3和右下角权值矩阵W4
(5e)将低分辨亮度训练图像I2进行非线性变换,得到在高维特征空间中的低分辨数据集Χ,再利用非线性支持向量回归机拟合函数f(x)对低分辨数据集Χ和高分辨率训练图像I1进行回归计算,得到超参数集θ:
(5e1)取低分辨训练矩阵R的第j行向量μj,其中j=1,…,4,将行向量μj作为非线性支持向量回归机拟合函数输出;将水平训练矩阵A与权值矩阵Wj进行矩阵点乘得到训练矩阵Mj,将该训练矩阵Mj作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算,得到非线性支持向量回归机拟合函数的超参数θj
(5f)根据j的取值情况,利用超参数θj建立相应的第一层水平边缘支持向量回归机模型G1
当j=1时,将超参数θ1代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数f1′(x),将该拟合函数f1′(x)记为2×2区域的左上角第一层水平边缘支持向量回归机模型G11
当j=2时,将超参数θ2代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数f2′(x),将该拟合函数f2′(x)记为2×2区域的右上角第一层水平边缘支持向量回归机模型G12
当j=3时,将超参数θ3代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数f3′(x),将该拟合函数f3′(x)记为2×2区域的左下角第一层水平边缘支持向量回归机模型G13
当j=4时,将超参数θ4代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数f4′(x),将该拟合函数f4′(x)记为2×2区域的右下角第一层水平边缘支持向量回归机模型G14
将左上角第一层水平边缘支持向量回归机模型G11、右上角第一层水平边缘支持向量回归机模型G12、左下角第一层水平边缘支持向量回归机模型G13和右下角第一层水平边缘支持向量回归机模型G14组成集合,得到第一层水平边缘支持向量回归机模型G1={G11,G12,G13,G14}。
3.根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法,其中步骤(6)所述的将水平边缘图像I3作为第一层水平边缘支持向量回归机模型G1的输入,得到水平边缘高分辨亮度图像Y1,按如下步骤进行:
(6a)取第一层水平边缘支持向量回归机模型G1={G11,G12,G13,G14}的左上角第一层水平边缘支持向量回归机模型G11,将训练矩阵M1作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归机计算,得到左上角矩阵Τtl
(6b)按照计算左上角矩阵Τtl的方法,分别计算右上角矩阵Ttr、左下角矩阵Tbl和右下角矩阵Τbr
(6c)将左上角矩阵Τtl、右上角矩阵Ttr、左下角矩阵Tbl和右下角矩阵Τbr结合成一个大矩阵,得到水平边缘高分辨亮度图像Y1
4.根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法,其中步骤(8)所述的建立水平边缘训练图像I3与差值训练图像Q之间映射关系的第二层水平边缘支持向量回归机模型B1,按如下步骤进行:
(8a)将低分辨训练点集Ψ中的每个像素点映射到差值训练图像Q,得到大小为2×2的子区域,将每个2×2子区域拉成列向量
Figure FDA0000460105510000051
其中i=1,…,n,n为低分辨训练点集Ψ中像素点的个数,得到一组列向量
Figure FDA0000460105510000052
并将列向量组 γ ~ 1 , . . . , γ ~ i , i = 1 , . . . , n 排成差值训练矩阵
Figure FDA0000460105510000054
(8b)对行向量αi中的每个像素进行不同的加权,用所加的权值构成空间位置权值行向量
Figure FDA0000460105510000055
其中j=1,2,3,4分别表示左上角、右上角、左下角和右下角,即左上角权值向量
Figure FDA0000460105510000056
右上角权值向量
Figure FDA0000460105510000057
左下角权值向量和右下角权值向量
Figure FDA0000460105510000059
将每个空间位置权值行向量
Figure FDA00004601055100000510
扩充为n行的矩阵,得到空间位置权值矩阵
Figure FDA00004601055100000511
即左上角权值矩阵
Figure FDA00004601055100000512
右上角权值矩阵
Figure FDA00004601055100000513
左下角权值矩阵
Figure FDA00004601055100000514
和右下角权值矩阵
Figure FDA00004601055100000515
(8c)建立第二层水平边缘支持向量回归机模型B1
(8c1)取差值训练矩阵的第j行向量其中j=1,…,4,将行向量
Figure FDA00004601055100000518
作为非线性支持向量回归机拟合函数f(x)的输出;将水平训练矩阵A与权值矩阵
Figure FDA00004601055100000519
进行矩阵点乘得到低分辨矩阵
Figure FDA00004601055100000520
将低分辨矩阵作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算,得到非线性支持向量回归机拟合函数的超参数
Figure FDA00004601055100000522
(8c2)根据j的取值情况,利用超参数
Figure FDA00004601055100000523
建立相应的第二层水平边缘支持向量回归机模型B1
当j=1时,将超参数
Figure FDA00004601055100000524
代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数
Figure FDA00004601055100000525
将该拟合函数记为2×2区域的左上角第二层水平边缘支持向量回归机模型B11
当j=2时,利用超参数代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数
Figure FDA00004601055100000528
将该拟合函数
Figure FDA00004601055100000529
记为2×2区域的右上角第二层水平边缘支持向量回归机模型B12
当j=3时,利用超参数
Figure FDA00004601055100000530
代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数
Figure FDA0000460105510000061
将该拟合函数记为2×2区域的左下角第二层水平边缘支持向量回归机模型B13
当j=4时,利用超参数
Figure FDA0000460105510000063
代入非线性支持向量回归机拟合函数f(x)中,得到更新后的拟合函数
Figure FDA0000460105510000064
将该拟合函数
Figure FDA0000460105510000065
记为2×2区域的右下角第二层水平边缘支持向量回归机模型B14
将左上角第二层水平边缘支持向量回归机模型B11、右上角第二层水平边缘支持向量回归机模型B12、左下角第二层水平边缘支持向量回归机模型B13和右下角第二层水平边缘支持向量回归机模型B14组成集合,得到第二层水平边缘支持向量回归机模型B1={B11,B12,B13,B14}。
5.根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法,其中步骤(9)所述的将水平边缘测试图像H2作为第一层水平边缘支持向量回归机模型G1的输入,得到水平边缘高分辨亮度测试图像P1,按如下步骤进行:
(9a)将水平边缘测试图像H2中像素值不为零的像素点组成水平测试点集Ω*
(9b)根据水平测试点集Ω*中每个像素点在水平边缘测试图像H2中所处的位置找到低分辨亮度测试图像H1中对应位置的像素点组成集合,得到低分辨测试点集Ψ*,再以低分辨测试点集Ψ*中的每个像素点为中心在低分辨亮度测试图像H1中得到大小为3×3的子区域,将每个子区域拉成行向量
Figure FDA0000460105510000066
其中i=1,…,n,n为低分辨测试点集Ψ*中像素点的个数,得到一组行向量
Figure FDA0000460105510000067
并将行向量组
Figure FDA0000460105510000068
排成水平测试矩阵
(9c)将水平测试矩阵A*与左上角权值矩阵W1进行矩阵点乘得到测试矩阵Mtl,将测试矩阵Mtl作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归计算,得到左上角矩阵Τ* tl;按照计算左上角矩阵Τ* tl的方法,计算右上角矩阵左下角矩阵
Figure FDA00004601055100000611
和右下角矩阵
Figure FDA00004601055100000612
(9d)将左上角矩阵Τ* tl、右上角矩阵
Figure FDA00004601055100000613
左下角矩阵和右下角矩阵
Figure FDA00004601055100000615
结合成一个大矩阵,得到水平边缘高分辨亮度测试图像P1
6.根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法,其中步骤(11)所述的将水平边缘测试图像H2作为第二层水平边缘支持向量回归机模型B1的输入,得到水平边缘高分辨亮度测试图像
Figure FDA00004601055100000616
按如下步骤进行:
(11a)将水平测试矩阵A*与左上角的权值矩阵
Figure FDA0000460105510000071
进行矩阵点乘得到差值测试矩阵
Figure FDA0000460105510000072
将差值测试矩阵
Figure FDA0000460105510000073
作为左上角第二层水平边缘支持向量回归机模型B11的输入进行支持向量回归计算,得到左上角矩阵按照计算左上角矩阵
Figure FDA0000460105510000075
的方法,分别计算右上角矩阵
Figure FDA0000460105510000076
左下角矩阵
Figure FDA0000460105510000077
和右下角矩阵
(11b)将左上角矩阵
Figure FDA0000460105510000079
右上角矩阵
Figure FDA00004601055100000710
左下角矩阵和右下角矩阵
Figure FDA00004601055100000712
结合成一个大矩阵,得到水平边缘高分辨亮度测试图像
Figure FDA00004601055100000713
7.根据权利要求2所述的基于多层支持向量回归机模型的图像超分辨重建方法,其中步骤(5e)所述的非线性支持向量回归机拟合函数f(x),其表达式如下:
f ( x ) ω · Φ ( x ) + b = Σ i = 1 n ( a i - a i * ) K ( x , x i ) + b ;
式中,
Figure FDA00004601055100000715
为输入向量,其中i=1,2,…,n,n为输入向量的个数,x为输入向量x1,x2,…,xn组成的输入向量集合,Φ(x)是指通过事先确定的非线性映射Φ将输入向量集合x映射到一个高维特征空间中,ω和b是高维空间中线性回归函数的两个待求参数,ai
Figure FDA00004601055100000716
为两个数值不同的Lagrange乘数,且
Figure FDA00004601055100000717
大于0, K(x,xi)=Φ(x)·Φ(xi)为核函数矩阵,其中i=1,2,…,n。
CN201410029364.2A 2014-01-22 2014-01-22 基于多层支持向量回归机模型的图像超分辨重建方法 Expired - Fee Related CN103761723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410029364.2A CN103761723B (zh) 2014-01-22 2014-01-22 基于多层支持向量回归机模型的图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410029364.2A CN103761723B (zh) 2014-01-22 2014-01-22 基于多层支持向量回归机模型的图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN103761723A true CN103761723A (zh) 2014-04-30
CN103761723B CN103761723B (zh) 2016-10-26

Family

ID=50528956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410029364.2A Expired - Fee Related CN103761723B (zh) 2014-01-22 2014-01-22 基于多层支持向量回归机模型的图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN103761723B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160333A (zh) * 2015-09-30 2015-12-16 深圳市华尊科技股份有限公司 一种车型识别方法及识别装置
CN106056078A (zh) * 2016-05-31 2016-10-26 武汉大学深圳研究院 一种基于多特征回归式集成学习的人群密度估计方法
CN107194892A (zh) * 2017-05-18 2017-09-22 哈尔滨理工大学 一种基于svr的图像增强方法
CN111815515A (zh) * 2020-07-01 2020-10-23 成都智学易数字科技有限公司 基于医学教育的对象三维绘制方法
CN112287995A (zh) * 2020-10-26 2021-01-29 深圳大学 一种基于多层耦合映射的低分辨率图像识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1906357A1 (en) * 2006-09-28 2008-04-02 Matsushita Electric Industrial Co., Ltd. Combined optimization of motion estimator and super-resolution
CN102184421A (zh) * 2011-04-22 2011-09-14 北京航空航天大学 一种支持向量回归机的训练方法
CN102831581A (zh) * 2012-07-27 2012-12-19 中山大学 一种超分辨率图像重构的方法
CN103279933A (zh) * 2013-06-07 2013-09-04 重庆大学 一种基于双层模型的单幅图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1906357A1 (en) * 2006-09-28 2008-04-02 Matsushita Electric Industrial Co., Ltd. Combined optimization of motion estimator and super-resolution
CN102184421A (zh) * 2011-04-22 2011-09-14 北京航空航天大学 一种支持向量回归机的训练方法
CN102831581A (zh) * 2012-07-27 2012-12-19 中山大学 一种超分辨率图像重构的方法
CN103279933A (zh) * 2013-06-07 2013-09-04 重庆大学 一种基于双层模型的单幅图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KARL S. NI 等: "Single image super resolution based on support vector regression", 《ACOUSTICS, SPEECH AND SIGNAL PROCESSING,2006.ICASSP 2006 PROCEEDINGS》, vol. 2, 19 May 2006 (2006-05-19), pages 601 - 604 *
LE AN 等: "Improved Image Super-Resolution by Support Vector Regression", 《NEURAL NETWORKS (IJCNN), THE 2011 INTERNATIONAL JOINT CONFERENCE ON》, 5 August 2011 (2011-08-05), pages 696 - 700 *
TAK-MING CHAN 等: "Neighbor embedding based super-resolution algorithm through edge detection and feature selection", 《PATTERN RECOGNITION LETTERS》, vol. 30, no. 5, 1 April 2009 (2009-04-01), pages 494 - 502, XP 025950376, DOI: doi:10.1016/j.patrec.2008.11.008 *
崔静 等: "基于分组SVR和KNR的单帧图像超分辨", 《计算机工程与应用》, vol. 48, no. 23, 8 March 2012 (2012-03-08), pages 185 - 190 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160333A (zh) * 2015-09-30 2015-12-16 深圳市华尊科技股份有限公司 一种车型识别方法及识别装置
CN105160333B (zh) * 2015-09-30 2018-08-17 深圳市华尊科技股份有限公司 一种车型识别方法及识别装置
CN106056078A (zh) * 2016-05-31 2016-10-26 武汉大学深圳研究院 一种基于多特征回归式集成学习的人群密度估计方法
CN106056078B (zh) * 2016-05-31 2021-09-14 武汉大学深圳研究院 一种基于多特征回归式集成学习的人群密度估计方法
CN107194892A (zh) * 2017-05-18 2017-09-22 哈尔滨理工大学 一种基于svr的图像增强方法
CN111815515A (zh) * 2020-07-01 2020-10-23 成都智学易数字科技有限公司 基于医学教育的对象三维绘制方法
CN111815515B (zh) * 2020-07-01 2024-02-09 成都智学易数字科技有限公司 基于医学教育的对象三维绘制方法
CN112287995A (zh) * 2020-10-26 2021-01-29 深圳大学 一种基于多层耦合映射的低分辨率图像识别方法
CN112287995B (zh) * 2020-10-26 2023-08-15 深圳大学 一种基于多层耦合映射的低分辨率图像识别方法

Also Published As

Publication number Publication date
CN103761723B (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
WO2021022929A1 (zh) 一种单帧图像超分辨率重建方法
CN109671023A (zh) 一种人脸图像超分辨率二次重建方法
CN107292804B (zh) 基于OpenCL的直接多曝光融合并行加速方法
Tian et al. A multi-order derivative feature-based quality assessment model for light field image
CN103761723A (zh) 基于多层支持向量回归机模型的图像超分辨重建方法
CN105046672A (zh) 一种图像超分辨率重建方法
Chen et al. Remote sensing image quality evaluation based on deep support value learning networks
CN103093444A (zh) 基于自相似性和结构信息约束的图像超分辨重建方法
CN103208102A (zh) 一种基于稀疏表示的遥感图像融合方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
Chen et al. Naturalization module in neural networks for screen content image quality assessment
CN105550989B (zh) 基于非局部高斯过程回归的图像超分辨方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
CN108921783A (zh) 一种基于混合损失函数约束的卫星影像超分辨率重建方法
CN110717953A (zh) 基于cnn-lstm组合模型的黑白图片的着色方法和***
CN105447840A (zh) 基于主动采样与高斯过程回归的图像超分辨方法
Yang et al. License plate image super-resolution based on convolutional neural network
Liu et al. Infrared and visible image fusion via salient object extraction and low-light region enhancement
CN116934592A (zh) 一种基于深度学习的图像拼接方法、***、设备及介质
CN110910347A (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
CN113409247B (zh) 一种多曝光融合图像质量评价方法
CN112508847A (zh) 一种基于深度特征与结构加权lbp特征的图像质量评价方法
CN109615576A (zh) 基于级联回归基学习的单帧图像超分辨重建方法
CN103903240A (zh) 基于多输出最小二乘支持向量回归的图像超分辨方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161026

Termination date: 20210122

CF01 Termination of patent right due to non-payment of annual fee