CN111445403A - 一种适用于星上图像预处理的图像插值方法 - Google Patents
一种适用于星上图像预处理的图像插值方法 Download PDFInfo
- Publication number
- CN111445403A CN111445403A CN202010208817.3A CN202010208817A CN111445403A CN 111445403 A CN111445403 A CN 111445403A CN 202010208817 A CN202010208817 A CN 202010208817A CN 111445403 A CN111445403 A CN 111445403A
- Authority
- CN
- China
- Prior art keywords
- component
- red
- color difference
- green
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000007781 pre-processing Methods 0.000 title claims abstract description 32
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 16
- 230000004075 alteration Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种适用于星上图像预处理的图像插值方法,该方法包括:步骤一,从输入贝尔图像中计算出红色分量和蓝色分量的梯度;并通过梯度大小比较,进而插值重构出全部的绿色分量。步骤二,利用恢复出的绿色分量,与原贝尔图像做差得贝尔格式的红色色差图像和蓝色色差图像。步骤三,再依据梯度比较和色彩相关性,可插值恢复出全像素的的红绿色差图和蓝绿色差图。步骤四,红绿色差及蓝绿色差与步骤一中的绿色分量求和,即可恢复出全部的红色分量和蓝色分量。恢复出完整的彩色图像。本发明在具有较低算法复杂度的同时,能够获得高质量的插值复原图像。
Description
技术领域
本发明属于星上图像处理技术领域,尤其涉及一种适用于星上图像预处理的图像插值方法。
背景技术
早期的遥感图像数据的处理,均由卫星将简单处理后的原始数据直接传回地面站,再由地面站的大规模并行处理***进行处理。随着计算机技术的不断进步,计算机的运算速度不断提高,体积不断减小,使得在卫星上搭载高计算性能的数据处理***,在星上完成对数据的初期加工成为可能。星上图像预处理可更好的保留图像的原始信息,便于后续处理研究。
遥感图像插值是星上图像预处理的第一步,在进行遥感图像插值时,主要有以下难点:第一,实时产生的数据量较大,对算法复杂度有较高要求,可能会占用过多的硬件资源。第二,星上图像信息丰富,拍摄环境复杂,图像相邻像素存在较大的对比,插值恢复出的图像极可能有模糊和杂点失真。
现有的方法无法同时解决上述问题,适应性不强。在插值恢复高质量图像时,往往占用过多星上逻辑资源;而简易的插值算法恢复出的图像又不能满足使用和分析要求。
发明内容
本发明解决的技术问题是:克服现有技术的不足,提供了一种适用于星上图像预处理的图像插值方法,在具有较低算法复杂度的同时,能够获得高质量的插值复原图像。
本发明目的通过以下技术方案予以实现:一种适用于星上图像预处理的图像插值方法,所述方法包括如下步骤:步骤1:从原始输入贝尔图像中,在包含红色分量的像素点处,通过计算红色分量的像素点处的水平方向的梯度和垂直方向梯度,插值恢复出红色分量处的绿色分量;在包含蓝色分量的像素点处,通过计算蓝色分量的像素点处的水平方向的梯度和垂直方向梯度,插值恢复出蓝色分量处的绿色分量;步骤2:将步骤1中的红色分量与红色分量处的绿色分量作差得到贝尔格式的红绿色差图像;将步骤1中的蓝色分量与蓝色分量处的绿色分量作差得到贝尔格式的蓝绿色差图像;步骤3:根据步骤2中的贝尔格式的红绿色差图像,结合红绿色差水平方向的梯度和红绿色差垂直方向的梯度,重建全像素红绿色差图像;根据步骤2中的贝尔格式的蓝绿色差图像,结合蓝绿色差水平方向的梯度和蓝绿色差垂直方向的梯度,重建全像素蓝绿色差图像;步骤4:将步骤3中的全像素红绿色差图像与步骤1中的红色分量处的绿色分量相加得到全像素红色分量R;将步骤3中的全像素红绿色差图像与步骤1中的蓝色分量处的绿色分量相加得到全像素蓝色分量B。
上述适用于星上图像预处理的图像插值方法中,在步骤1中,从原始输入贝尔图像中,在包含红色分量的像素点处,通过计算红色分量的像素点处的水平方向的梯度和垂直方向梯度,插值恢复出红色分量处的绿色分量包括如下步骤:
在包含红色分量R(i,j)的像素点处,以5×5为像素重建模板,计算红色分量的像素点处的水平方向的梯度△HR和垂直方向梯度△VR,当△HR>△VR时,则红色分量的像素点处的垂直方向作为红色分量的像素点的梯度方向,选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)来计算红色分量R(i,j)的所缺失的绿色分量G(i,j);当△HR<△VR时,则红色分量的像素点处的水平方向作为红色分量R(i,j)的梯度方向,选择G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)、R(i,j)来计算红色分量的像素点所缺失的绿色分量G(i,j);当△HR=△VR时,则选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)、G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)来计算红色分量的像素点所缺失的绿色分量G(i,j)。
上述适用于星上图像预处理的图像插值方法中,在步骤1中,在包含蓝色分量的像素点处,通过计算蓝色分量的像素点处的水平方向的梯度和垂直方向梯度,插值恢复出蓝色分量处的绿色分量包括如下步骤:
在包含蓝色分量B(m,n)的像素点处,以5×5为像素重建模板,计算蓝色分量的像素点处的水平方向的梯度△HB和垂直方向梯度△VB,当△HB>△VB时,则蓝色分量的像素点处的垂直方向作为蓝色分量的像素点的梯度方向,选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)来计算蓝色分量的像素点所缺失的绿色分量G(m,n);当△HB<△VB时,则蓝色分量的像素点处的水平方向作为蓝色分量的像素点的梯度方向,选择G(m,n-1)、G(m,n+1)、B(m,n+2)、B(m,n-2)、B(m,n)来计算蓝色分量的像素点所缺失的绿色分量G(m,n);当△HB=△VB时,则选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)、G(m,n-1)、G(m,m+1)、B(m,n+2)、B(m,n-2)来计算蓝色分量的像素点所缺失的绿色分量G(m,n)。
上述适用于星上图像预处理的图像插值方法中,在步骤2中,贝尔格式的红绿色差图像的公式为:Rg(i,j)=R(i,j)-G(i,j);其中,R(i,j)为红色分量,G(i,j)为红色分量处的绿色分量。
上述适用于星上图像预处理的图像插值方法中,在步骤2中,贝尔格式的蓝绿色差图像的公式为:Bg(m,n)=B(m,n)-G(m,n);其中,B(m,n)为蓝色分量,G(m,n)为蓝色分量处的绿色分量。
上述适用于星上图像预处理的图像插值方法中,在步骤3中,根据步骤2中的贝尔格式的红绿色差图像,结合红绿色差水平方向的梯度和红绿色差垂直方向的梯度,重建全像素红绿色差图像包括如下步骤:
步骤3.1:在包含贝尔格式的蓝绿色差图像但缺失贝尔格式的红绿色差图像的像素点Rg(i,j)处,以3×3为色差像素重建模板,像素点Rg(i,j)周围有四个红绿色差点,分别为Rg(i-1,j-1),Rg(i-1,j+1),Rg(i+1,j-1),Rg(i+1,j+1),依据色彩相关性计算像素点Rg(i,j)的红绿色差Rg;
步骤3.2:在3×3为色差像素重建模板中只包含绿色分量G的像素点处,周围相邻的有四个红绿色差点,分别位于上,下,左,右;计算红绿色差水平方向的梯度△Hrg和红绿色差垂直方向的梯度△Vrg,当△Hrg<△Vrg时,则红绿色差水平方向的梯度作为只包含绿色分量G的像素点的梯度方向,选择左右两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Rg;当△Hrg≥△Vrg时,则红绿色差垂直方向的梯度作为只包含绿色分量G的像素点的梯度方向,选择上下两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Rg。
上述适用于星上图像预处理的图像插值方法中,在步骤3中,根据步骤2中的贝尔格式的蓝绿色差图像,结合蓝绿色差水平方向的梯度和蓝绿色差垂直方向的梯度,重建全像素蓝绿色差图像包括如下步骤:
步骤3.3:在包含贝尔格式的红绿色差图像但缺失贝尔格式的蓝绿色差图像的像素点Bg(m,n)处,以3×3为色差像素重建模板,像素点Bg(m,n)周围有四个蓝绿色差点,分别为Bg(m-1,n-1),Bg(m-1,n+1),Bg(m+1,n-1),Bg(m+1,n+1),依据色彩相关性计算像素点Bg(m,n)的蓝绿色差Bg;
步骤3.4:在3×3为色差像素重建模板中只包含绿色分量G的像素点处,周围相邻的有四个蓝绿色差点,分别位于上,下,左,右;计算蓝绿色差水平方向的梯度△Hbg和蓝绿色差垂直方向的梯度△Vbg,当△Hbg<△Vbg时,则蓝绿色差水平方向作为只包含绿色分量G的像素点的梯度方向,选择左右两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Bg;当△Hbg≥△Vbg时,则蓝绿色差垂直方向作为只包含绿色分量G的像素点的梯度方向,选择上下两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Bg。
上述适用于星上图像预处理的图像插值方法中,红色分量的像素点处的水平方向的梯度△HR的公式为:ΔHR=|G(i,j-1)-G(i,j+1)|+|2×R(i,j)-R(i,j-2)-R(i,j+2)|;
红色分量的像素点处的垂直方向梯度△VR的公式为:ΔVR=|G(i-1,j)-G(i+1,j)|+|2×R(i,j)-R(i-2,j)-R(i+2,j)|。
上述适用于星上图像预处理的图像插值方法中,蓝色分量的像素点处的水平方向的梯度△HB的公式为:ΔHB=|G(m,n-1)-G(m,m+1)|+|2×B(m,n)-B(m,n-2)-B(m,n+2)|;
蓝色分量的像素点处的垂直方向梯度△VB的公式为:ΔVB=|G(m-1,n)-G(m+1,n)|+|2×R(m,n)-R(m-2,n)-R(m+2,n)|。
上述适用于星上图像预处理的图像插值方法中,红绿色差水平方向的梯度△Hrg的公式为:
△Hrg=│G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)│;
红绿色差垂直方向的梯度△Vrg的公式为:
△Vrg=│G(i+1,j-1)+G(i+1,j+1)-G(i-1,j-1)-G(i-1,j+1)│。
本发明与现有技术相比具有如下有益效果:
(1)本发明通过梯度比较,判断出图像边缘方向,再依据色差原理重构出各像素点绿色分量,在此基础上再通过梯度比较和色差原理重构出色差图像,从而插值恢复出一幅完整RGB图像,恢复出的图像具有更高的图像质量,更好的目视效果,利于遥感图像解析解译,使用。
(2)本发明通过提出依据色差原理,重构绿色分量时使用5×5模板,重构红色和蓝色分量时使用3×3像素模板,共需13MN次加减运算和3.5MN次位移运算,对于紧张的星上资源占用较少,利于星上图像预处理的实现。同时也适用于地面图像插值恢复使用。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例提供的适用于星上图像预处理的图像插值方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是本发明实施例提供的适用于星上图像预处理的图像插值方法的流程图。如图1所示,该适用于星上图像预处理的图像插值方法包括如下步骤:
步骤1.重建图像全部绿色分量G,具体方法是:在包含红色分量的像素点R(i,j)处,以5×5为像素重建模板,计算水平方向的梯度△H和垂直方向梯度△V,从水平和垂直方向考虑绿色分量和红色分量关系;1.1:当△HR>△VR时,则垂直方向作为当前点的梯度方向,选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)来计算当前点所缺失的绿色分量G(i,j);1.2:当△HR<△VR时,则水平方向作为当前点的梯度方向,选择G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)、R(i,j)来计算当前点所缺失的绿色分量G(i,j);1.3:当△HR=△VR时,则选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)、G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)来计算当前点所缺失的绿色分量G(i,j)。在包含蓝色分量的像素点B(m,n)处,以5×5为像素重建模板,计算水平方向的梯度△H和垂直方向梯度△V,从水平和垂直方向考虑绿色分量和蓝色分量关系;1.4:当△HB>△VB时,则垂直方向作为当前点的梯度方向,选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)来计算当前点所缺失的绿色分量G(m,n);1.5:当△HB<△VB时,则水平方向作为当前点的梯度方向,选择G(m,n-1)、G(m,n+1)、B(m,n+2)、B(m,n-2)、B(m,n)来计算当前点所缺失的绿色分量G(m,n);1.6:当△HB=△VB时,则选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)、G(m,n-1)、G(m,m+1)、B(m,n+2)、B(m,n-2)来计算当前点所缺失的绿色分量G(m,n)。其中,i为像素点R(i,j)的横坐标,j为像素点R(i,j)的纵坐标;m为像素点B(m,n)的横坐标,n为像素点B(m,n)的纵坐标。
步骤2.计算包含红色分量的像素点色差Rg和计算包含蓝色分量的像素点色差Bg,其方法为:在包含红色分量R的像素采样点,在步骤1的基础上,当前点包含有原始红色分量R(i,j)和已重建的绿色分量G(i,j),计算差值Rg(i,j),得到贝尔格式的红绿色差图像;在包含红色分量B的像素采样点,在步骤1的基础上,当前点包含有原始蓝色分量B(m,n)和已重建的绿色分量G(m,n),计算差值Bg(m,n),得到贝尔格式的蓝绿色差图像;
步骤3.重建全像素红绿色差图像Rg和蓝绿色差图像Bg,具体方法为:重建全像素色差图像Rg的具体方法:3.1在包含蓝绿色差Bg(i,j)但缺失红绿色差Rg(i,j)的像素点处,以3×3为色差像素重建模板,周围有四个红绿色差点,分别为Rg(i-1,j-1),Rg(i-1,j+1),Rg(i+1,j-1),Rg(i+1,j+1),依据色彩相关性计算当前点的红绿色差Rg;3.2在只包含绿色分量G的像素点处,在步骤3.1基础上,周围相邻的有四个红绿色差点,分别位于上,下,左,右;计算色差水平方向的梯度△Hrg和垂直方向的梯度△Vrg,从水平和垂直方向考虑红绿色差分量关系,(1)当△Hrg<△Vrg时,则水平方向作为当前点的梯度方向,选择左右两个红绿色差计算当前点缺失的红绿色差值Rg;(2)当△Hrg≥△Vrg时,则垂直方向作为当前点的梯度方向,选择上下两个红绿色差计算当前点缺失的红绿色差值Rg。重建全像素色差图像Bg的具体方法:3.3在包含红绿色差Rg(m,n)但缺失蓝绿色差Bg(m,n)的像素点处,以3×3为色差像素重建模板,周围有四个蓝绿色差点,分别为Bg(m-1,n-1),Bg(m-1,n+1),Bg(m+1,n-1),Bg(m+1,n+1),依据色彩相关性计算当前点的蓝绿色差Bg;3.4在只包含绿色分量G的像素点处,在步骤3.3基础上,周围相邻的有四个蓝绿色差点,分别位于上,下,左,右;计算色差水平方向的梯度△Hbg和垂直方向的梯度△Vbg,从水平和垂直方向考虑红绿色差分量关系,(1)当△Hbg<△Vbg时,则水平方向作为当前点的梯度方向,选择左右两个红绿色差计算当前点缺失的红绿色差值Bg;(2)当△Hbg≥△Vbg时,则垂直方向作为当前点的梯度方向,选择上下两个红绿色差计算当前点缺失的红绿色差值Bg
步骤4.重建全像素红色分量R和蓝色分量B;重建全像素红色分量R的具体方法是:将步骤3计算的图像当前像素点的红绿色差值Rg与当前像素点中的绿色分量G相加,即可重建出图像的全像素红色分量R。重建全像素蓝色分量B的具体方法是:将步骤3计算的图像当前像素点的蓝绿色差值Bg与当前像素点中的绿色分量G相加,即可重建出图像的全像素红色分量B。至此,插值重建恢复出了全像素的R、G、B颜色分量。
恢复绿色分量时,使用5×5像素空间模板,中心处为红色或蓝色分量,恢复中心处的绿色分量。
判断图像边缘部分的方向,方法是根据下述公式计算出水平和垂直方向的梯度,通过比较水平方向和垂直方向的梯度可知晓图像边缘的方向。
ΔHR=|G(i,j-1)-G(i,j+1)|+|2×R(i,j)-R(i,j-2)-R(i,j+2)|
ΔVR=|G(i-1,j)-G(i+1,j)|+|2×R(i,j)-R(i-2,j)-R(i+2,j)|
ΔHB=|G(m,n-1)-G(m,m+1)|+|2×B(m,n)-B(m,n-2)-B(m,n+2)|
ΔVB=|G(m-1,n)-G(m+1,n)|+|2×R(m,n)-R(m-2,n)-R(m+2,n)|
其中,△HR为像素点R处的水平梯度,△VR为像素点R处垂直梯度;
△HB为像素点B处的水平梯度,△VB为像素点B处垂直梯度。
绿色分量恢复,根据色彩相关性理论,同时根据步中梯度的比较,可沿图像相关边缘方向进行插值,从而计算出5×5像素空间模板中心处的绿色分量:
当△HR<△VR时,
当△HR>△VR时,
当△HR=△VR时,
当△HB<△VB时,
当△HB>△VB时,
当△HB=△VB时,
其中,△HR为水平梯度,△VR为垂直梯度;
R(i,j)为坐标(i,j)处的红色分量;
G(i,j)为R(i,j)恢复出的绿色分量;
△HB为水平梯度,△VB为垂直梯度;
B(m,n)为坐标(m,n)处的红色分量;
G(m,n)为B(m,n)恢复出的绿色分量。
红色分量R和蓝色分量B的恢复。首先需求得红色和绿色色差Rg和蓝色和绿色色差Bg。将恢复的全G分量图像与原始贝尔图像做差,得到贝尔格式的红绿色差图像和贝尔格式的蓝绿色差图像。
以3×3像素空间模板,中心处为红色或蓝色分量,根据色彩相关性原理,利用步骤(1)中得到的色差图像,可插值恢复出中心处的红绿色差或者蓝绿色差。
以3×3像素空间模板,中心处为绿色分量,利用得到的红绿色差和蓝绿色差,结合梯度计算,恢复出G位置上的红绿色差和蓝绿色差。
计算G上的红绿色差和蓝绿色差,方法是根据下述公式计算出水平和垂直方向的梯度,通过比较水平方向和垂直方向的梯度可知晓色差变化的方向,式中(i,j)为中心处坐标。
△Hrg=│G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)│
△Vrg=│G(i+1,j-1)+G(i+1,j+1)-G(i-1,j-1)-G(i-1,j+1)│
△Hbg=│G(m-1,n+1)+G(m+1,n+1)-G(m-1,n-1)-G(m+1,n-1)│
△Vbg=│G(m+1,n-1)+G(m+1,n+1)-G(m-1,n-1)-G(m-1,n+1)│
其中,△Hrg为红绿色差水平梯度,△Vrg为红绿色差垂直梯度;
△Hbg为蓝绿色差水平梯度,△Vbg为蓝绿色差垂直梯度。
根据色彩相关性理论,同时根据上述中梯度的比较,可沿图像相关边缘方向进行插值出G上的红绿色差和蓝绿色差,即可得到全部的红绿色差和蓝绿色差。
根据计算得到的绿色分量和上述步骤得到的红绿色差和蓝绿色差值,即可求和计算得出红色分量和蓝色分量,从而完成贝尔图像插值。
具体的,适用于星上图像预处理的图像插值方法流程图,步骤如下:
1.重建图像全部绿色分量G,从输入贝尔图像中,依据色差理论和色彩相关性理论,通过计算梯度,可插值恢复出红色分量和蓝色分量处的绿色分量;经过该步骤,能够得到图像的全部绿色分量,用于后续图像恢复。
(1)恢复绿色分量时,使用5×5像素空间模板,如表1所示,图中以最中心的R标注为(i,j)位置,模板其余像素点以R(i,j)为基准,根据位置,标注其余像素点的坐标。
表1 5×5插值恢复绿色分量模板
(2)梯度计算,根据下述公式计算出水平和垂直方向的梯度,根据梯度可知晓图像边缘的方向。
ΔHR=|G(i,j-1)-G(i,j+1)|+|2×R(i,j)-R(i,j-2)-R(i,j+2)|
ΔVR=|G(i-1,j)-G(i+1,j)|+|2×R(i,j)-R(i-2,j)-R(i+2,j)|
ΔHB=|G(m,n-1)-G(m,m+1)|+|2×B(m,n)-B(m,n-2)-B(m,n+2)|
ΔVB=|G(m-1,n)-G(m+1,n)|+|2×R(m,n)-R(m-2,n)-R(m+2,n)|
其中,△HR为像素点R处的水平梯度,△VR为像素点R处垂直梯度;
△HB为像素点B处的水平梯度,△VB为像素点B处垂直梯度。
(3)绿色分量恢复,根据色彩相关性理论,同时根据(2)中计算的梯度,对垂直和水平方向的梯度进行比较,可沿图像边缘方向进行插值,从而计算出当前像素点的绿色分量
红色像素点处绿色分量的插值重建:
当△HR<△VR时,
当△HR>△VR时,
当△HR=△VR时,
蓝色像素点处绿色分量的插值重建:
当△HB<△VB时,
当△HB>△VB时,
当△HB=△VB时,
其中,△HR为水平梯度,△VR为垂直梯度;
R(i,j)为坐标(i,j)处的红色分量;
G(i,j)为R(i,j)恢复出的绿色分量;
△HB为水平梯度,△VB为垂直梯度;
B(m,n)为坐标(m,n)处的红色分量;
G(m,n)为B(m,n)恢复出的绿色分量。
2.计算包含红色分量的像素点色差Rg和计算包含蓝色分量的像素点色差Bg,其方法为:在包含红色分量R的像素采样点,在步骤1的基础上,当前点包含有原始红色分量R(i,j)和已重建的绿色分量G(i,j),计算差值Rg(i,j),得到贝尔格式的红绿色差图像;在包含红色分量B的像素采样点,在步骤1的基础上,当前点包含有原始蓝色分量B(m,n)和已重建的绿色分量G(m,n),计算差值Bg(m,n),得到贝尔格式的蓝绿色差图像;如下表2、表3所示
表2中RgⅠ、RgⅡ、RgⅢ、RgⅣ为经邻近像素的红绿色差值
表3中BgⅠ、BgⅡ、BgⅢ、BgⅣ为经邻近像素的蓝绿色差值
3.恢复出全像素的的红绿色差图和蓝绿色差图。
(1)根据色差原理,利用步骤2中得到的色差图像,可插值恢复出表2中B处的红绿色差Rg和表3中R处的蓝绿色差Bg
(1.1)插值恢复B处的红色色差Rg:
式中RgⅠ、RgⅡ、RgⅢ、RgⅣ为蓝色像素点B邻近像素的红绿色差值,
Rg为当前B位置的红绿差。
(1.2)插值恢复R处的蓝绿色差Bg:
式中BgⅠ、BgⅡ、BgⅢ、BgⅣ为蓝色像素点R邻近像素的红绿色差值,
Bg为当前B位置的红绿差;
(2)经过上述步骤(1)后,只有绿色像素点处的红绿色差值和蓝绿色差值没有恢复。以3×3像素空间模板,周围相邻的有四个蓝绿色差点,分别位于上,下,左,右,结合梯度计算,恢复出G位置上的红绿色差和蓝绿色差。
表4中心像素为G时红绿色差分量模板
表5中心像素为G时蓝绿色差分量模板(2.1)重建只包含绿色分量处的红绿色差如表4所示:
首先计算红绿色差的梯度方向
△Hrg=│G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)│
△Hrg=│G(i+1,j-1)+G(i+1,j+1)-G(i-1,j-1)-G(i-1,j+1)│
其中,△Hrg为红绿色差水平梯度,△Vrg为红绿色差垂直梯度当△Hrg<△Hrg时,
式中Rg2、Rg4为当前G像素相邻的水平红绿色差值。
当△Hrg≥△Hrg时,
式中Rg1、Rg3为当前G像素相邻的垂直红绿色差值。
(2.2)重建只包含绿色分量处的蓝绿色差,如表5所示:
首先计算蓝绿色差的梯度方向
△Hbg=│G(m-1,n+1)+G(m+1,n+1)-G(m-1,n-1)-G(m+1,n-1)│
△Vbg=│G(m+1,n-1)+G(m+1,n+1)-G(m-1,n-1)-G(m-1,n+1)│
其中,△Hbg为蓝绿色差水平梯度,△Vbg为蓝绿色差垂直梯度;当△Hbg<△Hbg时,
式中Bg2、Bg4为当前G像素相邻的水平红绿色差值。
当△Hbg≥△Hbg时,
式中Bg1、Bg3为当前G像素相邻的垂直红绿色差值。
至此,恢复出了全像素的红绿色差值和全像素的蓝绿色差值。
4.各像素点的红绿色差及蓝绿色差与步骤1中的绿色分量求和,即可恢复出全部的红色分量和蓝色分量,插值恢复出完整的彩色图像。从而完成贝尔图像插值。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。
Claims (10)
1.一种适用于星上图像预处理的图像插值方法,其特征在于,所述方法包括如下步骤:
步骤1:从原始输入贝尔图像中,在包含红色分量的像素点处,通过计算红色分量的像素点处的水平方向的梯度和垂直方向梯度,插值恢复出红色分量处的绿色分量;在包含蓝色分量的像素点处,通过计算蓝色分量的像素点处的水平方向的梯度和垂直方向梯度,插值恢复出蓝色分量处的绿色分量;
步骤2:将步骤1中的红色分量与红色分量处的绿色分量作差得到贝尔格式的红绿色差图像;将步骤1中的蓝色分量与蓝色分量处的绿色分量作差得到贝尔格式的蓝绿色差图像;
步骤3:根据步骤2中的贝尔格式的红绿色差图像,结合红绿色差水平方向的梯度和红绿色差垂直方向的梯度,重建全像素红绿色差图像;根据步骤2中的贝尔格式的蓝绿色差图像,结合蓝绿色差水平方向的梯度和蓝绿色差垂直方向的梯度,重建全像素蓝绿色差图像;
步骤4:将步骤3中的全像素红绿色差图像与步骤1中的红色分量处的绿色分量相加得到全像素红色分量R;将步骤3中的全像素红绿色差图像与步骤1中的蓝色分量处的绿色分量相加得到全像素蓝色分量B。
2.根据权利要求1所述的适用于星上图像预处理的图像插值方法,其特征在于:在步骤1中,从原始输入贝尔图像中,在包含红色分量的像素点处,通过计算红色分量的像素点处的水平方向的梯度和垂直方向梯度,插值恢复出红色分量处的绿色分量包括如下步骤:
在包含红色分量R(i,j)的像素点处,以5×5为像素重建模板,计算红色分量的像素点处的水平方向的梯度△HR和垂直方向梯度△VR,当△HR>△VR时,则红色分量的像素点处的垂直方向作为红色分量的像素点的梯度方向,选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)来计算红色分量R(i,j)的所缺失的绿色分量G(i,j);当△HR<△VR时,则红色分量的像素点处的水平方向作为红色分量R(i,j)的梯度方向,选择G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)、R(i,j)来计算红色分量的像素点所缺失的绿色分量G(i,j);当△HR=△VR时,则选择G(i-1,j)、G(i+1,j)、R(i+2,j)、R(i-2,j)、R(i,j)、G(i,j-1)、G(i,j+1)、R(i,j+2)、R(i,j-2)来计算红色分量的像素点所缺失的绿色分量G(i,j)。
3.根据权利要求2所述的适用于星上图像预处理的图像插值方法,其特征在于:在步骤1中,在包含蓝色分量的像素点处,通过计算蓝色分量的像素点处的水平方向的梯度和垂直方向梯度,插值恢复出蓝色分量处的绿色分量包括如下步骤:
在包含蓝色分量B(m,n)的像素点处,以5×5为像素重建模板,计算蓝色分量的像素点处的水平方向的梯度△HB和垂直方向梯度△VB,当△HB>△VB时,则蓝色分量的像素点处的垂直方向作为蓝色分量的像素点的梯度方向,选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)来计算蓝色分量的像素点所缺失的绿色分量G(m,n);当△HB<△VB时,则蓝色分量的像素点处的水平方向作为蓝色分量的像素点的梯度方向,选择G(m,n-1)、G(m,n+1)、B(m,n+2)、B(m,n-2)、B(m,n)来计算蓝色分量的像素点所缺失的绿色分量G(m,n);当△HB=△VB时,则选择G(m-1,n)、G(m+1,n)、B(m+2,n)、B(m-2,n)、B(m,n)、G(m,n-1)、G(m,m+1)、B(m,n+2)、B(m,n-2)来计算蓝色分量的像素点所缺失的绿色分量G(m,n)。
4.根据权利要求3所述的适用于星上图像预处理的图像插值方法,其特征在于:在步骤2中,贝尔格式的红绿色差图像的公式为:Rg(i,j)=R(i,j)-G(i,j);其中,R(i,j)为红色分量,G(i,j)为红色分量处的绿色分量。
5.根据权利要求3所述的适用于星上图像预处理的图像插值方法,其特征在于:在步骤2中,贝尔格式的蓝绿色差图像的公式为:Bg(m,n)=B(m,n)-G(m,n);其中,B(m,n)为蓝色分量,G(m,n)为蓝色分量处的绿色分量。
6.根据权利要求5所述的适用于星上图像预处理的图像插值方法,其特征在于:在步骤3中,根据步骤2中的贝尔格式的红绿色差图像,结合红绿色差水平方向的梯度和红绿色差垂直方向的梯度,重建全像素红绿色差图像包括如下步骤:
步骤3.1:在包含贝尔格式的蓝绿色差图像但缺失贝尔格式的红绿色差图像的像素点Rg(i,j)处,以3×3为色差像素重建模板,像素点Rg(i,j)周围有四个红绿色差点,分别为Rg(i-1,j-1),Rg(i-1,j+1),Rg(i+1,j-1),Rg(i+1,j+1),依据色彩相关性计算像素点Rg(i,j)的红绿色差Rg;
步骤3.2:在3×3为色差像素重建模板中只包含绿色分量G的像素点处,周围相邻的有四个红绿色差点,分别位于上,下,左,右;计算红绿色差水平方向的梯度△Hrg和红绿色差垂直方向的梯度△Vrg,当△Hrg<△Vrg时,则红绿色差水平方向的梯度作为只包含绿色分量G的像素点的梯度方向,选择左右两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Rg;当△Hrg≥△Vrg时,则红绿色差垂直方向的梯度作为只包含绿色分量G的像素点的梯度方向,选择上下两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Rg。
7.根据权利要求6所述的适用于星上图像预处理的图像插值方法,其特征在于:在步骤3中,根据步骤2中的贝尔格式的蓝绿色差图像,结合蓝绿色差水平方向的梯度和蓝绿色差垂直方向的梯度,重建全像素蓝绿色差图像包括如下步骤:
步骤3.3:在包含贝尔格式的红绿色差图像但缺失贝尔格式的蓝绿色差图像的像素点Bg(m,n)处,以3×3为色差像素重建模板,像素点Bg(m,n)周围有四个蓝绿色差点,分别为Bg(m-1,n-1),Bg(m-1,n+1),Bg(m+1,n-1),Bg(m+1,n+1),依据色彩相关性计算像素点Bg(m,n)的蓝绿色差Bg;
步骤3.4:在3×3为色差像素重建模板中只包含绿色分量G的像素点处,周围相邻的有四个蓝绿色差点,分别位于上,下,左,右;计算蓝绿色差水平方向的梯度△Hbg和蓝绿色差垂直方向的梯度△Vbg,当△Hbg<△Vbg时,则蓝绿色差水平方向作为只包含绿色分量G的像素点的梯度方向,选择左右两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Bg;当△Hbg≥△Vbg时,则蓝绿色差垂直方向作为只包含绿色分量G的像素点的梯度方向,选择上下两个红绿色差计算只包含绿色分量G的像素点缺失的红绿色差值Bg。
8.根据权利要求2所述的适用于星上图像预处理的图像插值方法,其特征在于:红色分量的像素点处的水平方向的梯度△HR的公式为:ΔHR=|G(i,j-1)-G(i,j+1)|+|2×R(i,j)-R(i,j-2)-R(i,j+2)|;
红色分量的像素点处的垂直方向梯度△VR的公式为:ΔVR=|G(i-1,j)-G(i+1,j)|+|2×R(i,j)-R(i-2,j)-R(i+2,j)|。
9.根据权利要求3所述的适用于星上图像预处理的图像插值方法,其特征在于:蓝色分量的像素点处的水平方向的梯度△HB的公式为:ΔHB=|G(m,n-1)-G(m,m+1)|+|2×B(m,n)-B(m,n-2)-B(m,n+2)|;
蓝色分量的像素点处的垂直方向梯度△VB的公式为:ΔVB=|G(m-1,n)-G(m+1,n)|+|2×R(m,n)-R(m-2,n)-R(m+2,n)|。
10.根据权利要求6所述的适用于星上图像预处理的图像插值方法,其特征在于:红绿色差水平方向的梯度△Hrg的公式为:
△Hrg=│G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)│;
红绿色差垂直方向的梯度△Vrg的公式为:
△Vrg=│G(i+1,j-1)+G(i+1,j+1)-G(i-1,j-1)-G(i-1,j+1)│。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010208817.3A CN111445403A (zh) | 2020-03-23 | 2020-03-23 | 一种适用于星上图像预处理的图像插值方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010208817.3A CN111445403A (zh) | 2020-03-23 | 2020-03-23 | 一种适用于星上图像预处理的图像插值方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111445403A true CN111445403A (zh) | 2020-07-24 |
Family
ID=71629394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010208817.3A Pending CN111445403A (zh) | 2020-03-23 | 2020-03-23 | 一种适用于星上图像预处理的图像插值方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111445403A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115060734A (zh) * | 2022-08-09 | 2022-09-16 | 吉林信息安全测评中心 | 一种用于工业视觉检测的多角度影像摄录装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6130960A (en) * | 1997-11-03 | 2000-10-10 | Intel Corporation | Block-matching algorithm for color interpolation |
US20060078229A1 (en) * | 2004-10-12 | 2006-04-13 | Hsu-Lien Huang | Interpolation method for generating pixel color |
CN101917629A (zh) * | 2010-08-10 | 2010-12-15 | 浙江大学 | 一种基于绿色分量和色差空间的Bayer格式颜色插值方法 |
CN102665030A (zh) * | 2012-05-14 | 2012-09-12 | 浙江大学 | 一种基于改进双线性的Bayer格式颜色插值方法 |
US20150042775A1 (en) * | 2013-08-09 | 2015-02-12 | Intuitive Surgical Operations, Inc. | Efficient Image Demosaicing and Local Contrast Enhancement |
CN104537625A (zh) * | 2015-01-05 | 2015-04-22 | 中国科学院光电技术研究所 | 一种基于方向标志位的Bayer彩色图像插值方法 |
-
2020
- 2020-03-23 CN CN202010208817.3A patent/CN111445403A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6130960A (en) * | 1997-11-03 | 2000-10-10 | Intel Corporation | Block-matching algorithm for color interpolation |
US20060078229A1 (en) * | 2004-10-12 | 2006-04-13 | Hsu-Lien Huang | Interpolation method for generating pixel color |
CN101917629A (zh) * | 2010-08-10 | 2010-12-15 | 浙江大学 | 一种基于绿色分量和色差空间的Bayer格式颜色插值方法 |
CN102665030A (zh) * | 2012-05-14 | 2012-09-12 | 浙江大学 | 一种基于改进双线性的Bayer格式颜色插值方法 |
US20150042775A1 (en) * | 2013-08-09 | 2015-02-12 | Intuitive Surgical Operations, Inc. | Efficient Image Demosaicing and Local Contrast Enhancement |
CN104537625A (zh) * | 2015-01-05 | 2015-04-22 | 中国科学院光电技术研究所 | 一种基于方向标志位的Bayer彩色图像插值方法 |
Non-Patent Citations (1)
Title |
---|
赵亮等: "基于色差空间的低复杂度Bayer图像插值算法" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115060734A (zh) * | 2022-08-09 | 2022-09-16 | 吉林信息安全测评中心 | 一种用于工业视觉检测的多角度影像摄录装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8068700B2 (en) | Image processing apparatus, image processing method, and electronic appliance | |
EP1014305B1 (en) | Resolution improvement from multiple images of a scene containing motion at fractional pixel values | |
CN101917629B (zh) | 一种基于绿色分量和色差空间的Bayer格式颜色插值方法 | |
US7705915B1 (en) | Method and apparatus for filtering video data using a programmable graphics processor | |
CN102665030B (zh) | 一种基于改进双线性的Bayer格式颜色插值方法 | |
CN102663719B (zh) | 基于非局部均值的Bayer型CFA图像去马赛克方法 | |
CN102254301B (zh) | 基于边缘方向插值的cfa图像去马赛克方法 | |
CN112804561A (zh) | 视频插帧方法、装置、计算机设备及存储介质 | |
Klein et al. | Simulating low-cost cameras for augmented reality compositing | |
CN110430403B (zh) | 一种图像处理方法和装置 | |
CN108734668B (zh) | 图像色彩恢复方法、装置、计算机可读存储介质及终端 | |
CN110852953B (zh) | 图像插值方法及装置、存储介质、图像信号处理器、终端 | |
CN111510691A (zh) | 颜色插值方法及装置、设备、存储介质 | |
CN111383200A (zh) | 基于生成式对抗神经网络的cfa图像去马赛克方法 | |
CN112164004A (zh) | 一种联合优化全局和局部颜色一致性的色彩校正方法 | |
CN101639932B (zh) | 一种数字图像分辨率增强的方法及*** | |
US7609307B2 (en) | Heterogeneity-projection hard-decision interpolation method for color reproduction | |
CN111539892A (zh) | Bayer图像的处理方法、***、电子设备和存储介质 | |
CN111445403A (zh) | 一种适用于星上图像预处理的图像插值方法 | |
CN113052765B (zh) | 基于最优栅格密度模型的全景图像拼接方法 | |
JP2008234130A (ja) | 複数領域に対応した画質改善処理方法及び画質改善処理プログラム | |
Saito et al. | Demosaicing approach based on extended color total-variation regularization | |
Pekkucuksen et al. | Edge oriented directional color filter array interpolation | |
CN109658358B (zh) | 一种基于多导向滤波的快速bayer彩色重建方法 | |
JP2004088615A (ja) | 動画像合成方法および装置並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |