CN110852953B - 图像插值方法及装置、存储介质、图像信号处理器、终端 - Google Patents
图像插值方法及装置、存储介质、图像信号处理器、终端 Download PDFInfo
- Publication number
- CN110852953B CN110852953B CN201911121851.0A CN201911121851A CN110852953B CN 110852953 B CN110852953 B CN 110852953B CN 201911121851 A CN201911121851 A CN 201911121851A CN 110852953 B CN110852953 B CN 110852953B
- Authority
- CN
- China
- Prior art keywords
- plane
- green
- full
- red
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 12
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
一种图像插值方法及装置、存储介质、图像信号处理器、终端，图像插值方法包括：在待插值拜耳图像中移动滑动窗口，并对滑动窗口内的像素按照颜色通道进行分离；每次移动滑动窗口后，在原始绿色平面上进行插值；根据绿色全平面、原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面；根据绿色全平面对初始红绿中间平面以及初始蓝绿中间平面进行插值；至少根据初始红绿中间全平面、初始蓝绿中间全平面以及绿色全平面计算红色全平面和蓝色全平面；根据绿色全平面、红色全平面和蓝色全平面合成颜色图像，直至遍历完成待插值拜耳图像。本发明技术方案能够提升贝尔插值的估计准确性，提升图像质量。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像插值方法及装置、存储介质、图像信号处理器、终端。
背景技术
对于图像而言，一个像素点具有由RGB三种颜色构成的混合色,而拜耳(bayer)图像一个像素就只有一个颜色,或R或G或B。由此，需要借助bayer图中像素点周围的像素点的颜色对它进行插值(填充)得到另外的两种颜色。
对于传统的bayer图像，通常人们需要通过各种方式估算出RGB通道平面上缺少的像素值。通常的做法有线性插值，临近插值等。但为了能得到更好的插值效果，人们提出了更多的插值方法，目前传统的插值目标数据主要分为两种：基于中间平面以及基于色比平面的插值算法。由于中间平面随着图像内容的变化所产生的变换较小，因此在波动较小的平面上进行缺少像素的估算，估算所引入的误差也会相应降低很多。除此之外最近还有一些基于多次估算后求残差的方式来提高缺少像素估算的准确性。目前大多数贝尔(bayer)插值通过单次估算获得插值结果，而一些可以利用迭代计算的方式获得插值结果。
但是，现有的插值算法中，仅利用邻域像素对缺省的颜色进行补全，插值后图像质量较低。
发明内容
本发明解决的技术问题是如何提升贝尔插值的估计准确性，提升图像质量。
为解决上述技术问题，本发明实施例提供一种图像插值方法，图像插值方法包括：获取待插值拜耳图像；在所述待插值拜耳图像中移动滑动窗口，并对所述滑动窗口内的像素按照颜色通道进行分离，以得到各个原始颜色平面；每次移动所述滑动窗口后，在原始绿色平面上进行插值，以得到绿色全平面，所述绿色全平面中每个像素具有绿色分量值；每次移动所述滑动窗口后，根据所述绿色全平面、原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面；每次移动所述滑动窗口后，根据所述绿色全平面对所述初始红绿中间平面以及初始蓝绿中间平面进行插值，以得到初始红绿中间全平面以及初始蓝绿中间全平面，所述初始红绿中间全平面以及所述初始蓝绿中间全平面中每个像素具有颜色分量差异值；每次移动所述滑动窗口后，至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面，所述红色全平面中每个像素具有红色分量值，所述蓝色全平面中每个像素具有蓝色分量值；每次移动所述滑动窗口后，根据所述绿色全平面、所述红色全平面和所述蓝色全平面合成颜色图像，直至遍历完成所述待插值拜耳图像。
可选的，所述至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面包括：根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算初始红色全平面和初始蓝色全平面；利用所述绿色全平面、所述初始红色全平面和初始蓝色全平面计算亮度平面；利用所述亮度平面的亮度信息对所述初始红绿中间全平面以及所述初始蓝绿中间全平面进行指导滤波，以得到最终红绿中间全平面以及最终蓝绿中间全平面；根据所述最终红绿中间全平面、所述最终蓝绿中间全平面以及所述绿色全平面计算所述红色全平面和所述蓝色全平面。
可选的，所述至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面包括：计算所述初始红绿中间全平面和所述绿色全平面之和，以得到所述红色全平面；计算所述初始蓝绿中间全平面和所述绿色全平面之和，以得到所述蓝色全平面。
可选的，所述根据所述绿色全平面对所述初始红绿中间平面以及初始蓝绿中间平面进行插值包括：根据所述绿色全平面分别对所述初始红绿中间平面以及初始蓝绿中间平面进行指导滤波。
可选的，所述在原始绿色平面上进行插值包括：计算所述原始绿色平面在水平方向和竖直方向的梯度；选取梯度值最小的方向对所述原始绿色平面缺省的像素进行插值，以得到所述绿色全平面。
可选的，所述颜色图像中的每一像素具有红色分量值、蓝色分量值以及绿色分量值。
为解决上述技术问题，本发明实施例还公开了一种图像插值装置，图像插值装置包括：拜耳图像获取模块，用以获取待插值拜耳图像；颜色通道分离模块，用以在所述待插值拜耳图像中移动滑动窗口，并对所述滑动窗口内的像素按照颜色通道进行分离，以得到各个原始颜色平面；绿色全平面插值模块，用以每次移动所述滑动窗口后，在原始绿色平面上进行插值，以得到绿色全平面，所述绿色全平面中每个像素具有绿色分量值；中间平面计算模块，用以每次移动所述滑动窗口后，根据所述绿色全平面、原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面；中间全平面计算模块，用以每次移动所述滑动窗口后，根据所述绿色全平面对所述初始红绿中间平面以及初始蓝绿中间平面进行插值，以得到初始红绿中间全平面以及初始蓝绿中间全平面，所述初始红绿中间全平面以及所述初始蓝绿中间全平面中每个像素具有颜色分量差异值；红蓝色全平面计算模块，用以每次移动所述滑动窗口后，至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面，所述红色全平面中每个像素具有红色分量值，所述蓝色全平面中每个像素具有蓝色分量值；颜色图像计算模块，用以每次移动所述滑动窗口后，根据所述绿色全平面、所述红色全平面和所述蓝色全平面合成颜色图像，直至遍历完成所述待插值拜耳图像。
本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述图像插值方法的步骤。
本发明实施例还公开了一种图像信号处理器，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述图像插值方法的步骤。
本发明实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述图像插值方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明技术方案中，由于拜耳图像中原始绿色通道信息具有较好的信噪比，因此可以先插值获得绿色全平面。再利用绿色全平面中各个像素的绿色分量值与原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面。通过对上述两种中间平面进行插值补全可以计算获得中间全平面，进而计算获得红色全平面和蓝色全平面，至此可以获得各个像素具备红色、绿色和蓝色分量值的颜色图像。由于将绿色全平面作为中间平面计算和补全的参考信息，因此使得最终的颜色图像具备较好的信噪比，提升了图像质量。
进一步地，本发明技术方案还可以根据初步计算出的绿色全平面、所述初始红色全平面和初始蓝色全平面计算亮度平面，利用亮度平面的亮度信息对中间全平面进行滤波，由于该亮度信息无论信噪比还是内容信息都要比单独的红色或蓝色通道要好很多，因此使得最终红绿中间全平面以及最终蓝绿中间全平面信息更加丰富，信噪比也更好，进而使得最终的颜色图像的图像质量得到提升。
附图说明
图1是本发明实施例一种图像插值方法的流程图；
图2是本发明实施例一种拜耳图像的示意图；
图3是本发明实施例一种原始红色平面的示意图；
图4是本发明实施例一种原始蓝色平面的示意图；
图5是本发明实施例一种原始绿色平面的示意图；
图6是本发明实施例一种初始红绿中间平面的示意图；
图7是本发明实施例一种初始红绿中间全平面的示意图；
图8是图1所示步骤S106的一种具体实施方式的流程图；
图9是本发明实施例一种具体应用场景的示意图；
图10是本发明实施例一种图像插值装置的结构示意图。
具体实施方式
如背景技术中所述，现有的插值算法中，仅利用邻域像素对缺省的颜色进行补全，插值后图像质量较低。
本申请发明人发现，一方面bayer图像中r,g,b通道原本就存在噪声，虽然在大多数ISP pipeline中，在做bayer插值前会进行去噪处理。但对于整个ISP***成像效果而言，bayer域去噪处理不宜太强。即使对于细节保留较好的去噪方法，比如边缘保护滤波、块相似匹配等，过强的bayer去噪处理也会造成图像信息的损失，尤其是细节的损失。对于整个ISP***而言，在ISP最前端损失的信息很难通过后面的增强模块进行复原。因此即使在bayer插值前存在去噪处理模块，也无法做到完全去除噪声。另一方面插值方法本身就是一种通过周围像素信息进行估算的一种方法，并不是真实测量值。所以估算方法本身就会引入误差。而且这种误差不仅仅是单通道上的。在bayer插值之前像素和像素之间基本是相互独立的信号。但是通过bayer插值后，中心像素的误差除了自身测量信号的误差之外还引入了周围临近像素的误差成分。因此不同像素之间的误差因此操作而相互关联。虽然大多ISPpipeline在后端的ycbcr空间上会进行亮度(luma)和色度(chroma)的去噪处理。但是ycbcr之前的RGB空间通常会进行一些非线性操作。比如gamma、本地色调映射(local tonemapping)等颜色和亮度相关的处理。这一系列的处理会加剧图像噪声的放大。因此在非线性区域之前可以较好的处理图像上噪声等相关的缺陷。
也就是说，目前大多数bayer插值只针对缺少像素的估计，但很少对估计后的值偏差进行处理。
本发明技术方案中，由于拜耳图像中原始绿色通道信息具有较好的信噪比，因此可以先插值获得绿色全平面。再利用绿色全平面中各个像素的绿色分量值与原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面。通过对上述两种中间平面进行插值补全可以计算获得中间全平面，进而计算获得红色全平面和蓝色全平面，至此可以获得各个像素具备红色、绿色和蓝色分量值的颜色图像。由于将绿色全平面作为中间平面计算和补全的参考信息，因此使得最终的颜色图像具备较好的信噪比，提升了图像质量。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种图像插值方法的流程图。
本发明实施例的图像插值方法可以用于具备图像处理能力的终端设备侧，也即可以由该终端设备执行图1所示方法的各个步骤。
图1所示图像插值方法可以包括以下步骤：
步骤S101：获取待插值拜耳图像；
步骤S102：在所述待插值拜耳图像中移动滑动窗口，并对所述滑动窗口内的像素按照颜色通道进行分离，以得到各个原始颜色平面；
步骤S103：每次移动所述滑动窗口后，在原始绿色平面上进行插值，以得到绿色全平面，所述绿色全平面中每个像素具有绿色分量值；
步骤S104：每次移动所述滑动窗口后，根据所述绿色全平面、原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面；
步骤S105：每次移动所述滑动窗口后，根据所述绿色全平面对所述初始红绿中间平面以及初始蓝绿中间平面进行插值，以得到初始红绿中间全平面以及初始蓝绿中间全平面，所述初始红绿中间全平面以及所述初始蓝绿中间全平面中每个像素具有颜色分量差异值；
步骤S106：每次移动所述滑动窗口后，至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面，所述红色全平面中每个像素具有红色分量值，所述蓝色全平面中每个像素具有蓝色分量值；
步骤S107：每次移动所述滑动窗口后，根据所述绿色全平面、所述红色全平面和所述蓝色全平面合成颜色图像，直至遍历完成所述待插值拜耳图像。
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
在步骤S101的具体实施中，待插值拜耳图像中每个像素仅具备单个颜色分量，具体请参照图2，每个像素具备的颜色分量为R、G(如Gr或Gb)或B。
在步骤S102至步骤S107中，可以针对滑动窗口内的像素进行处理。滑动窗口的大小可以是M像素×N像素，其中，M与N的具体数值可以根据实际的应用场景进行设置，本发明实施例对此不作限制。
在步骤S102的具体实施中，可以对所述滑动窗口内的像素按照颜色通道进行分离，以得到各个原始颜色平面，也即原始红色平面、原始绿色平面和原始蓝色平面，具体可参照图3至图5。其中，各个原始颜色平面的大小与待插值拜耳图像的大小相同。具体地，请参照图3，在原始红色平面中，具备颜色的像素仅具备红色分量值，剩余像素(图中空白位置所示)为待插值像素；请参照图4，在原始蓝色平面中，具备颜色的像素值仅具备蓝色分量值，剩余像素(图中空白位置所示)为待插值像素；请参照图5，在原始绿色平面中，具备颜色的像素值仅具备绿色分量值，剩余像素(图中空白位置所示)为待插值像素。
在步骤S103的具体实施中，可以先对图5所示的原始绿色平面中缺省像素进行插值，以得到绿色全平面，所述绿色全平面中每个像素均具有绿色分量值。
进而在步骤S104的具体实施中，可以根据所述绿色全平面、原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面。具体可以利用原始红色平面与绿色全平面做差，得到初始红绿中间平面；利用原始蓝色平面与绿色全平面做差，得到初始蓝绿中间平面。具体请参照图6，初始红绿中间平面中具备颜色的像素的像素值为R-G，例如位于位置(1,1)的像素的像素值为R-G。也即采用R-G表示红色分量和绿色分量之间的差异，采用B-G表示蓝色分量和绿色分量之间的差异。
在一个具体实施例中，也可以利用原始红色平面除以绿色全平面，得到初始红绿中间平面；利用原始蓝色平面除以绿色全平面，得到初始蓝绿中间平面。例如，初始红绿中间平面中具备颜色的像素的像素值为R/G；初始蓝绿中间平面中具备颜色的像素的像素值为B/G。也即采用R/G表示红色分量和绿色分量之间的差异，采用B/G表示蓝色分量和绿色分量之间的差异。
在另一个具体实施例中，也可以利用原始红色平面与绿色全平面做和，得到初始红绿中间平面；利用原始蓝色平面与绿色全平面做和，得到初始蓝绿中间平面。例如，初始红绿中间平面中具备颜色的像素的像素值为R+G；初始蓝绿中间平面中具备颜色的像素的像素值为B+G。也即采用R+G表示红色分量和绿色分量之间的差异，采用B+G表示蓝色分量和绿色分量之间的差异。
需要说明的是，还可以利用其它任意可实施的方式计算初始红绿中间平面以及初始蓝绿中间平面，本发明实施例对此不作限制。
由于原始红色平面以及原始蓝色平面中具有缺省像素(如缺少红色分量值的像素以及缺少蓝色分量值的像素)，因此初始红绿中间平面以及初始蓝绿中间平面也具有缺省像素。
在步骤S105的具体实施中，可以根据所述绿色全平面所提供的图像细节等信息，例如平坦，边缘，纹理等细节，对所述初始红绿中间平面以及初始蓝绿中间平面进行插值，以填充初始红绿中间平面以及初始蓝绿中间平面中的缺省像素。初始红绿中间全平面(如图7所示)以及所述初始蓝绿中间全平面中每个像素均具有色差值。具体地，初始红绿中间全平面中每个像素的像素值为R-G；初始蓝绿中间全平面中每个像素的像素值为B-G。
进而在步骤S106的具体实施中，至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面。具体地，初始红绿中间全平面与述绿色全平面求和可得到红色全平面；初始蓝绿中间全平面与述绿色全平面求和可得到蓝色全平面。
其中，红色全平面中每个像素具有红色分量值，所述蓝色全平面中每个像素具有蓝色分量值。由此，原始红色平面和原始蓝色平面中的缺省像素均得到填充。
进而在步骤S107的具体实施中，根据所述绿色全平面、所述红色全平面和所述蓝色全平面合成颜色图像。所述颜色图像中每一像素均具备红色分量值、绿色分量值和蓝色分量值。
本发明实施例中，由于拜耳图像中原始绿色通道信息具有较好的信噪比，因此可以先插值获得绿色全平面。再利用绿色全平面中各个像素的绿色分量值与原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面。通过对上述两种中间平面进行插值补全可以计算获得中间全平面，进而计算获得红色全平面和蓝色全平面，至此可以获得各个像素具备红色、绿色和蓝色分量值的颜色图像。由于将绿色全平面作为中间平面计算和补全的参考信息，因此使得最终的颜色图像具备较好的信噪比，提升了图像质量。
在本发明一个具体实施例中，图1所示步骤S106可以包括以下步骤：计算所述初始红绿中间全平面和所述绿色全平面之和，以得到所述红色全平面；计算所述初始蓝绿中间全平面和所述绿色全平面之和，以得到所述蓝色全平面。
本实施例中，中间全平面中像素的像素值为R-G或B-G，可以直接将中间全平面和所述绿色全平面之和作为红色全平面或蓝色全平面，以将绿色全平面中的信息(如信噪比)考量至红色全平面和蓝色全平面。
在本发明另一个具体实施例中，图1所示步骤S106可以包括以下步骤：计算所述初始红绿中间全平面和所述绿色全平面之积，以得到所述红色全平面；计算所述初始蓝绿中间全平面和所述绿色全平面之积，以得到所述蓝色全平面。
本实施例中，中间全平面中像素的像素值为R/G或B/G，可以分别将初始红绿中间全平面、初始蓝绿中间全平面与所述绿色全平面相乘，并将乘积作为红色全平面以及蓝色全平面。
在本发明又一个具体实施例中，中间全平面中像素的像素值为R+G或B+G，可以分别计算初始红绿中间全平面、初始蓝绿中间全平面与所述绿色全平面的差值，并将差值作为红色全平面以及蓝色全平面。
在本发明一个具体实施例中，请参照图8，图1所示步骤S106可以包括以下步骤：
步骤S801：根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算初始红色全平面和初始蓝色全平面；
步骤S802：利用所述绿色全平面、所述初始红色全平面和初始蓝色全平面计算亮度平面；
步骤S803：利用所述亮度平面的亮度信息对所述初始红绿中间全平面以及所述初始蓝绿中间全平面进行指导滤波，以得到最终红绿中间全平面以及最终蓝绿中间全平面；
步骤S804：根据所述最终红绿中间全平面、所述最终蓝绿中间全平面以及所述绿色全平面计算所述红色全平面和所述蓝色全平面。
与前述实施例不同的是，在根据中间全平面和所述绿色全平面之和求得初始红色全平面或初始蓝色全平面之后，还将亮度平面中的信息(如信噪比和细节信息)，具体如平坦，边缘，纹理等细节，考量至红色全平面和蓝色全平面。
在一个具体实施例中，在计算亮度平面时，可以根据绿色全平面、所述初始红色全平面和初始蓝色全平面中像素值最大值确定亮度平面。也即，对于亮度平面中的像素(i,j)，选取像素(i,j)在绿色全平面中绿色分量值G、初始红色全平面中红色分量值R和初始蓝色全平面中蓝色分量值B的最大值作为像素(i,j)的像素值。
或者，也可以计算绿色全平面、初始红色全平面和初始蓝色全平面中相同位置的像素的像素值平均值确定亮度平面。也即，对于亮度平面中的像素(i,j)，选取像素(i,j)在绿色全平面中绿色分量值G、初始红色全平面中红色分量值R和初始蓝色全平面中蓝色分量值B的平均值作为像素(i,j)的像素值。
或者，也可以计算绿色全平面、初始红色全平面和初始蓝色全平面中相同位置的像素的像素值的最小值确定亮度平面。也即，对于亮度平面中的像素(i,j)，选取像素(i,j)在绿色全平面中绿色分量值G、初始红色全平面中红色分量值R和初始蓝色全平面中蓝色分量值B的最小值作为像素(i,j)的像素值。
本实施例中，由于该亮度信息无论信噪比还是内容信息都要比单独的红色或蓝色通道要好很多，因此使得最终红绿中间全平面以及最终蓝绿中间全平面信息更加丰富，信噪比也更好，进而使得最终的颜色图像的图像质量得到提升。
需要说明的是，在利用亮度平面的亮度信息对初始红绿中间全平面以及初始蓝绿中间全平面进行指导滤波时，亮度平面作为引导图，初始红绿中间全平面或初始蓝绿中间全平面作为输入图。关于指导滤波的更详细的具体实施方式，可以参照现有技术中知道滤波算法的描述，此处不再赘述。
在本发明一个非限制性的实施例中，图1所示步骤S105可以包括以下步骤：
根据所述绿色全平面分别对所述初始红绿中间平面以及初始蓝绿中间平面进行指导滤波。
如前所述，初始红绿中间平面以及初始蓝绿中间平面存在缺省像素，本实施例采用对两个中间平面进行指导滤波的方式，实现对中间平面中缺省像素的填充补全，从而得到中间全平面，也即初始红绿中间全平面以及初始蓝绿中间全平面，其中，初始红绿中间全平面以及所述初始蓝绿中间全平面中每个像素均具有色差值。
在本发明另一个非限制性的实施例中，由于初始红绿中间平面以及初始蓝绿中间平面存在缺省像素，因此，为了得到初始红绿中间全平面以及初始蓝绿中间全平面，还可以利用初始红绿中间平面中缺省像素所处邻域内的非缺省像素计算该缺省像素的像素值，例如计算缺省像素所处邻域内非缺省像素的像素值的平均值，以作为该缺省像素的像素值。
同理，也可以利用初始蓝绿中间平面中缺省像素所处邻域内的非缺省像素计算该缺省像素的像素值。
需要说明的是，也可以对邻域内非缺省像素采用其他任意可实施的数学计算方式来计算缺省像素的像素值，本发明实施例对此不作限制。
在本发明一个非限制性的实施例中，图1所示步骤S103可以包括以下步骤：计算所述原始绿色平面在水平方向和竖直方向的梯度；选取梯度值最小的方向对所述原始绿色平面缺省的像素进行插值，以得到所述绿色全平面。
本实施例中，原始绿色平面中梯度的大小可以表示该平面中纹理的密集程度，例如根据梯度的大小可以将平面划分为平坦、纹理、强边缘、弱边缘等区域。通过选取梯度值最小的方向对原始绿色平面缺省的像素进行插值，可以保证绿色全平面中各个像素的准确性。
在一个具体实施例中，在对缺省的像素进行插值时，如果缺省的像素处于平坦区域，则可以选取该缺省的像素所处邻域内的非缺省像素的像素值进行平均，以得到该缺省的像素的像素值。例如，对于像素(i,j)，可以选取像素(i,j)在原始绿色平面中邻域内4个绿色分量值，并计算该4个绿色分量值的平均值，以得到像素(i,j)的绿色分量值。
在一个具体实施例中，在对缺省的像素进行插值时，如果缺省的像素处于纹理区域，则可以选取该缺省的像素在四个方向上的邻域区域(具体可参照图9)，四个方向包括上、下、左和右；按照邻域区域所在方向的梯度值确定其对应的权重值，梯度值越大，权重值越小；计算邻域区域内像素值的平均值，并将各个邻域区域的像素值的平均值与该邻域区域对应的权重相乘，计算各个乘积之和，以得到缺省的像素的像素值(也即绿色分量值)。
具体地，图9所示的邻域区域中，阴影部分所示为缺省的像素；邻域区域的大小可以根据实际的应用场景进行适应性调整，本发明实施例对此不作此安置。
需要说明的是，还可以使用最近邻插值法、双线性插值、双三次插值等插值算法进行插值，以得到绿色全平面，本发明实施例对此不作限制。
请参照图10，本发明实施例还公开了一种图像插值装置90，图像插值装置90可以包括：
拜耳图像获取模块901，用以获取待插值拜耳图像；
颜色通道分离模块902，用以在所述待插值拜耳图像中移动滑动窗口，并对所述滑动窗口内的像素按照颜色通道进行分离，以得到各个原始颜色平面；
绿色全平面插值模块903，用以每次移动所述滑动窗口后，在原始绿色平面上进行插值，以得到绿色全平面，所述绿色全平面中每个像素具有绿色分量值；
中间平面计算模块904，用以每次移动所述滑动窗口后，根据所述绿色全平面、原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面；
中间全平面计算模块905，用以每次移动所述滑动窗口后，根据所述绿色全平面对所述初始红绿中间平面以及初始蓝绿中间平面进行插值，以得到初始红绿中间全平面以及初始蓝绿中间全平面，所述初始红绿中间全平面以及所述初始蓝绿中间全平面中每个像素具有颜色分量差异值；
红蓝色全平面计算模块906，用以每次移动所述滑动窗口后，至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面，所述红色全平面中每个像素具有红色分量值，所述蓝色全平面中每个像素具有蓝色分量值；
颜色图像计算模块907，用以每次移动所述滑动窗口后，根据所述绿色全平面、所述红色全平面和所述蓝色全平面合成颜色图像，直至遍历完成所述待插值拜耳图像。
本发明实施例中，由于拜耳图像中原始绿色通道信息具有较好的信噪比，因此可以先插值获得绿色全平面。再利用绿色全平面中各个像素的绿色分量值与原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面。通过对上述两种中间平面进行插值补全可以计算获得中间全平面，进而计算获得红色全平面和蓝色全平面，至此可以获得各个像素具备红色、绿色和蓝色分量值的颜色图像。由于将绿色全平面作为中间平面计算和补全的参考信息，因此使得最终的颜色图像具备较好的信噪比，提升了图像质量。
关于所述图像插值装置90的工作原理、工作方式的更多内容，可以参照图1至图9中的相关描述，这里不再赘述。
本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行图1或图8中所示方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
本发明实施例还公开了一种图像信号处理器，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令。所述处理器运行所述计算机指令时可以执行图1或图8中所示方法的步骤。
本发明实施例还公开了一种终端，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令。所述处理器运行所述计算机指令时可以执行图1或图8中所示方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (9)
1.一种图像插值方法，其特征在于，包括：
获取待插值拜耳图像；
在所述待插值拜耳图像中移动滑动窗口，并对所述滑动窗口内的像素按照颜色通道进行分离，以得到各个原始颜色平面；
每次移动所述滑动窗口后，在原始绿色平面上进行插值，以得到绿色全平面，所述绿色全平面中每个像素具有绿色分量值；
每次移动所述滑动窗口后，根据所述绿色全平面、原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面，所述初始红绿中间平面表示所述待插值拜耳图像中红色分量和绿色分量之间的差异，所述初始蓝绿中间平面表示所述待插值拜耳图像中蓝色分量和绿色分量之间的差异；
每次移动所述滑动窗口后，根据所述绿色全平面对所述初始红绿中间平面以及初始蓝绿中间平面进行插值，以得到初始红绿中间全平面以及初始蓝绿中间全平面，所述初始红绿中间全平面以及所述初始蓝绿中间全平面中每个像素具有颜色分量差异值；
每次移动所述滑动窗口后，至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面，所述红色全平面中每个像素具有红色分量值，所述蓝色全平面中每个像素具有蓝色分量值；
每次移动所述滑动窗口后，根据所述绿色全平面、所述红色全平面和所述蓝色全平面合成颜色图像，直至遍历完成所述待插值拜耳图像；
所述至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面包括：
根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算初始红色全平面和初始蓝色全平面；
利用所述绿色全平面、所述初始红色全平面和初始蓝色全平面计算亮度平面；
利用所述亮度平面的亮度信息对所述初始红绿中间全平面以及所述初始蓝绿中间全平面进行指导滤波，以得到最终红绿中间全平面以及最终蓝绿中间全平面；
根据所述最终红绿中间全平面、所述最终蓝绿中间全平面以及所述绿色全平面计算所述红色全平面和所述蓝色全平面。
2.根据权利要求1所述的图像插值方法，其特征在于，所述至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面包括：
计算所述初始红绿中间全平面和所述绿色全平面之和，以得到所述红色全平面；
计算所述初始蓝绿中间全平面和所述绿色全平面之和，以得到所述蓝色全平面。
3.根据权利要求1所述的图像插值方法，其特征在于，所述根据所述绿色全平面对所述初始红绿中间平面以及初始蓝绿中间平面进行插值包括：
根据所述绿色全平面分别对所述初始红绿中间平面以及初始蓝绿中间平面进行指导滤波。
4.根据权利要求1所述的图像插值方法，其特征在于，所述在原始绿色平面上进行插值包括：
计算所述原始绿色平面在水平方向和竖直方向的梯度；
选取梯度值最小的方向对所述原始绿色平面缺省的像素进行插值，以得到所述绿色全平面。
5.根据权利要求1至4任一项所述的图像插值方法，其特征在于，所述颜色图像中的每一像素具有红色分量值、蓝色分量值以及绿色分量值。
6.一种图像插值装置，其特征在于，包括：
拜耳图像获取模块，用以获取待插值拜耳图像；
颜色通道分离模块，用以在所述待插值拜耳图像中移动滑动窗口，并对所述滑动窗口内的像素按照颜色通道进行分离，以得到各个原始颜色平面；绿色全平面插值模块，用以每次移动所述滑动窗口后，在原始绿色平面上进行插值，以得到绿色全平面，所述绿色全平面中每个像素具有绿色分量值；
中间平面计算模块，用以每次移动所述滑动窗口后，根据所述绿色全平面、原始红色平面以及原始蓝色平面计算初始红绿中间平面以及初始蓝绿中间平面；
中间全平面计算模块，用以每次移动所述滑动窗口后，根据所述绿色全平面对所述初始红绿中间平面以及初始蓝绿中间平面进行插值，以得到初始红绿中间全平面以及初始蓝绿中间全平面，所述初始红绿中间全平面以及所述初始蓝绿中间全平面中每个像素具有颜色分量差异值；
红蓝色全平面计算模块，用以每次移动所述滑动窗口后，至少根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算红色全平面和蓝色全平面，所述红色全平面中每个像素具有红色分量值，所述蓝色全平面中每个像素具有蓝色分量值；
颜色图像计算模块，用以每次移动所述滑动窗口后，根据所述绿色全平面、所述红色全平面和所述蓝色全平面合成颜色图像，直至遍历完成所述待插值拜耳图像；
所述红蓝色全平面计算模块根据所述初始红绿中间全平面、所述初始蓝绿中间全平面以及所述绿色全平面计算初始红色全平面和初始蓝色全平面；利用所述绿色全平面、所述初始红色全平面和初始蓝色全平面计算亮度平面；利用所述亮度平面的亮度信息对所述初始红绿中间全平面以及所述初始蓝绿中间全平面进行指导滤波，以得到最终红绿中间全平面以及最终蓝绿中间全平面；根据所述最终红绿中间全平面、所述最终蓝绿中间全平面以及所述绿色全平面计算所述红色全平面和所述蓝色全平面。
7.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器运行时执行权利要求1至5中任一项所述图像插值方法的步骤。
8.一种图像信号处理器，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至5中任一项所述图像插值方法的步骤。
9.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至5中任一项所述图像插值方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911121851.0A CN110852953B (zh) | 2019-11-15 | 2019-11-15 | 图像插值方法及装置、存储介质、图像信号处理器、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911121851.0A CN110852953B (zh) | 2019-11-15 | 2019-11-15 | 图像插值方法及装置、存储介质、图像信号处理器、终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110852953A CN110852953A (zh) | 2020-02-28 |
| CN110852953B true CN110852953B (zh) | 2022-09-02 |
Family
ID=69600949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911121851.0A Active CN110852953B (zh) | 2019-11-15 | 2019-11-15 | 图像插值方法及装置、存储介质、图像信号处理器、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852953B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022061879A1 (zh) * | 2020-09-28 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置和***，计算机可读存储介质 |
| CN113824936B (zh) * | 2021-09-23 | 2024-02-09 | 合肥埃科光电科技股份有限公司 | 色彩滤波阵列线扫描相机色彩插值方法、装置及设备 |
| CN115689887A (zh) * | 2022-10-28 | 2023-02-03 | 辉羲智能科技(上海)有限公司 | 自动驾驶rgbir图像重采样方法、***、终端及介质 |
| CN116245753B (zh) * | 2022-12-30 | 2023-10-03 | 北京华云星地通科技有限公司 | 一种红蓝立体卫星云图生成方法、***、电子设备及介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101917629B (zh) * | 2010-08-10 | 2012-03-07 | 浙江大学 | 一种基于绿色分量和色差空间的Bayer格式颜色插值方法 |
| CN104537625A (zh) * | 2015-01-05 | 2015-04-22 | 中国科学院光电技术研究所 | 一种基于方向标志位的Bayer彩色图像插值方法 |
| CN105577981A (zh) * | 2015-12-22 | 2016-05-11 | 深圳大学 | 一种边缘自适应的色彩还原方法及*** |
| CN108734668B (zh) * | 2017-04-21 | 2020-09-11 | 展讯通信（上海）有限公司 | 图像色彩恢复方法、装置、计算机可读存储介质及终端 |
| US10572974B2 (en) * | 2018-04-11 | 2020-02-25 | Omnivision Technologies, Inc. | Image demosaicer and method |
-
2019
- 2019-11-15 CN CN201911121851.0A patent/CN110852953B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110852953A (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110852953B (zh) | 图像插值方法及装置、存储介质、图像信号处理器、终端 | |
| US9654700B2 (en) | Computational camera using fusion of image sensors | |
| US10467735B2 (en) | Inverse tone mapping based on luminance zones | |
| US9344639B2 (en) | High dynamic range array camera | |
| JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| WO2013031367A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| KR20010032809A (ko) | 신규한 에지-검출 기초 노이즈 제거 알고리듬 | |
| KR101637488B1 (ko) | 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치 | |
| CN111539893A (zh) | 一种基于导向滤波的Bayer图像联合去马赛克去噪方法 | |
| CN108122201A (zh) | 一种拜耳插值拉链效应去除方法 | |
| KR101650842B1 (ko) | 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체 | |
| CN105430357A (zh) | 图像传感器的去马赛克方法及装置 | |
| US8346019B2 (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
| Saito et al. | Demosaicing approach based on extended color total-variation regularization | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
| CN114359050B (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
| JP3899144B2 (ja) | 画像処理装置 | |
| US8565313B2 (en) | Determining a vector field for an intermediate image | |
| JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 | |
| JPH0490287A (ja) | フィルタ装置 | |
| KR20150094350A (ko) | 에지 정보를 이용한 디모자이킹 방법 및 장치 | |
| JP5139350B2 (ja) | 画像処理装置、画像処理方法、撮像装置 | |
| US8442359B2 (en) | Image interpolation method and apparatus using reference block based on direction | |
| Jeong et al. | Edge-Adaptive Demosaicking for Reducing Artifact along Line Edge | |
| WO2010028682A1 (en) | Image sharpening |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |