CN112384945A - 使用应用于用户设备的自然手持运动的超分辨率 - Google Patents

使用应用于用户设备的自然手持运动的超分辨率 Download PDF

Info

Publication number
CN112384945A
CN112384945A CN201980045301.7A CN201980045301A CN112384945A CN 112384945 A CN112384945 A CN 112384945A CN 201980045301 A CN201980045301 A CN 201980045301A CN 112384945 A CN112384945 A CN 112384945A
Authority
CN
China
Prior art keywords
super
resolution
image
color
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980045301.7A
Other languages
English (en)
Other versions
CN112384945B (zh
Inventor
陈翼环
梁家恺
巴特洛梅伊·马切伊·弗伦斯基
佩曼·米兰法
伊格纳西奥·加西亚·多拉多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112384945A publication Critical patent/CN112384945A/zh
Application granted granted Critical
Publication of CN112384945B publication Critical patent/CN112384945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

本公开描述了用于创建由用户设备(102)捕获的场景的超分辨率图像(122)的***和技术。自然手持运动(110)在场景的图像的多个帧(204、206、208)上引入子像素偏移，所述子像素偏移实现超分辨率计算(210)的使用以形成颜色平面(212、214、216)，所述颜色平面(212、214、216)被累积(218)和组合(220)以创建所述场景的超分辨率图像(122)。

Description

使用应用于用户设备的自然手持运动的超分辨率
背景技术
结合捕获场景，诸如移动电话等用户设备创建通常在分辨率方面低于诸如数字单镜头反光(DSLR)相机等其他设备捕获和渲染的场景的图像的场景的图像。由于这些用户设备允许的相对较小的物理传感器大小限制了用户设备相机的空间分辨率，因此这些用户设备捕获的图像可能也是有噪声的且具有低动态范围。用户设备的图像传感器可能还具有较小的孔径，从而限制了用户设备相机的聚光能力，并且具有较小的像素，从而降低了智能手机用于处理捕获图像的信噪比。
此外，用户设备相机的图像传感器通常包括滤色器阵列(CFA)，传统上它要求用户设备的数字图像处理硬件在渲染场景的捕获图像时使用去马赛克技术。一般而言，去马赛克技术不利于超分辨率渲染。去马赛克技术的效果可以包括彩色混叠、伪梯度和云纹图案，这些图案会导致用户设备以较差的分辨率和不期望的伪影渲染场景的捕获图像。
发明内容
本公开描述了用于创建由用户设备捕获的场景的超分辨率图像的***和技术。自然手持运动在场景的图像的多个帧上引入子像素偏移，该子像素偏移实现超分辨率计算技术的使用以形成颜色平面，该颜色平面被累积和合并以创建场景的超分辨率图像。这些***和技术提供了优于依赖去马赛克的其他***和技术的优点，从而提供场景的超分辨率图像而没有不利的伪影，诸如彩色混叠、伪梯度和云纹图案。
在一些方面中，描述了一种由用户设备执行以渲染场景的超分辨率图像的方法。该方法包括：在突发序列中捕获场景的图像的多个帧，其中，由于在捕获多个帧期间用户设备的运动，该多个帧具有图像的相应的相对子像素偏移。该方法包括：使用所捕获的多个帧来执行超分辨率计算，该超分辨率计算包括计算高斯RBF核以及计算鲁棒性模型。该方法进一步包括：基于超分辨率计算累积颜色平面，组合所累积的颜色平面以创建场景的超分辨率图像，以及渲染场景的超分辨率图像。
在其他方面中，描述了一种用于向装置提供颜色平面的方法。该方法包括：计算高斯径向基函数核，其中，计算高斯径向基函数核包括(i)计算参考帧以及(ii)基于分析局部梯度结构张量计算核协方差矩阵，其中，局部梯度结构张量对应于包括在参考帧中的内容的边缘、角落或纹理区域。
该方法还包括：计算鲁棒性模型，其中，计算鲁棒性模型使用统计邻域模型来计算颜色均值和空间标准偏差。基于所计算的高斯RBF核和所计算的鲁棒性模型，该方法包括确定像素对颜色平面的贡献并累积颜色平面。然后将颜色平面提供给装置。
在其他方面中，描述了一种用户设备。该用户设备包括一个或多个处理器、一个或多个图像传感器和显示器。用户设备还包括存储超分辨率管理器的指令的计算机可读介质，该指令在由一个或多个处理器执行时指导用户设备：在突发序列中捕获场景的图像的多个帧，其中，该多个帧具有图像的相应的相对偏移。超分辨率管理器还指导用户设备：使用所捕获的多个帧执行超分辨率计算并基于超分辨率计算累积平面，组合所累积的平面以创建场景的超分辨率图像，并且渲染场景的超分辨率图像。
在附图和以下描述中陈述一种或多种实施方式的细节。其他特征和优点会通过描述和附图以及通过权利要求而显而易见。提供该发明内容以介绍在详细描述和附图中进一步描述的主题。因此，读者不应考虑发明内容来描述基本特征，也不限制所要求保护的主题的范围。
附图说明
本公开描述了与创建由用户设备捕获的场景的超分辨率图像相关联的一个或多个方面的细节。
图1图示了示例操作环境，其中，执行了使用应用于用户设备的自然手持运动的超分辨率的各个方面。
图2图示了具有子像素偏移的多个帧的示例方面。
图3图示了使用具有子像素偏移的多个帧来执行计算，累积颜色平面以及组合颜色平面的示例方面。
图4图示了将具有子像素偏移的多个帧对准参考帧的示例方面。
图5图示了用于渲染超分辨率图像的示例方法。
图6图示了用于累积超分辨率图像的颜色平面的示例方法。
具体实施方式
本公开描述了用于创建场景的超分辨率图像的技术和***。尽管可以在任何数量的不同环境、***、设备和/或各种配置中实施所描述的用于使用应用于用户设备的自然手持运动的超分辨率的***和方法的特征和概念，但是在以下示例设备、***和配置的上下文中描述了各个方面。
示例操作环境
图1图示了示例操作环境100，其中，执行了使用应用于用户设备102的自然手持运动110的超分辨率的各个方面。如所图示的，用户设备102正在捕获与场景的图像的多个帧相对应的场景的图像的变化(104、106和108)。尽管被图示为智能手机，但是用户设备102可以是具有图像捕获能力的另一类型的设备，诸如平板计算机或专用相机。
用户设备102在突发序列中捕获的场景的图像的变化104至108包括子像素偏移，该子像素偏移是由于在用户设备102正在捕获场景的图像时应用于用户设备102的自然手持运动110而导致的。自然手持运动110可以例如由用户设备102的用户的手颤导致，当用户设备102正在捕获场景的图像的变化104至108时，该手颤引起用户设备102的平面内运动、平面外运动、俯仰、偏航或滚动。
在一些情况下，并且作为由自然手持运动110导致的子像素偏移的替代，子像素偏移可以由应用于用户设备102的另一运动导致，诸如由与用户设备102接触(或与之集成)的振动机构引起的触觉运动或在用户设备102在操作环境100内运输时引起的振动(例如，用户设备102可能在车辆中运动，由用户移动等)。
用户设备102包括用于捕获图像的一个或多个图像传感器112的组合。图像传感器112可以包括互补金属氧化物半导体(CMOS)图像传感器或电荷耦合设备(CCD)图像传感器。在一些情况下，图像传感器112可以包括滤色器阵列(CFA)，其覆盖图像传感器112的像素并限制通过像素记录的光的强度(与颜色波长相关联)。这种CFA的示例是拜耳CFA，其根据红色波长、蓝色波长和绿色波长对光进行滤波。在多个图像传感器112(例如，多于一个图像传感器的组合，诸如双图像传感器)的情况下，多个图像传感器112可以包括像素密度(例如，40兆像素(MP)、32MP、16MP、8MP)以及支持不同图像处理需求的不同CFA配置(例如，包括支持红绿蓝(RGB)图像处理的拜耳CFA，不包括支持单色图像处理的CFA)的组合。来自图像的光当通过拜耳CFA进行滤波时可以生成可以称为拜耳图像或拜耳帧的图像。
用户设备102还包括用于渲染图像的显示器114。在一些情况下，显示器114可以是触摸屏显示器。用户设备102还包括一个或多个处理器116的组合。处理器116可以是由各种材料(诸如，硅、多晶硅、高K电介质、铜等)组成的单核处理器或者多核处理器。在多个处理器116(例如，多于一个处理器的组合)的情况下，多个处理器116可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)或图像处理单元(IPU)。此外并且在这种情况下，多个处理器116可以使用流水线处理来执行两个或更多个计算操作。
用户设备102还包括计算机可读存储介质(CRM)118，其包括超分辨率管理器120形式的可执行指令。本文描述的CRM 118不包括传播信号。CRM 118可以包括可用于存储超分辨率管理器120的任何合适的存储器或存储设备，诸如，随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、非易失性RAM(NVRAM)、只读存储器(ROM)或闪存。
可以使用处理器116来执行超分辨率管理器120的代码或指令，以使用户设备102执行针对创建(和渲染)场景的超分辨率图像122的操作。这种操作可以包括使用图像传感器112来使用图像传感器112捕获场景的图像的多个帧(例如，场景的图像的变化(104、106和108))。这些操作可以进一步包括用户设备102(例如，处理器116)执行超分辨率计算，累积颜色平面，组合所累积的颜色平面以创建场景的超分辨率图像122以及(例如，通过显示器114)渲染场景的超分辨率图像122。通常，场景的超分辨率图像122具有比场景的图像的多个帧的分辨率更高的另一分辨率。
图2图示了具有子像素偏移的多个帧的示例方面。在一些情况下，可以通过应用于图1中的用户设备102的运动来引入具有子像素偏移的多个帧。在一些情况下，用户设备102的运动对应于由用户设备102的用户在突发序列期间进行的自然手持运动110。
如图2所图示的，多个帧202具有图像的相应的相对子像素偏移，并且包括帧204、帧206和帧208(帧204至208对应于图1的变化104至108)。多个帧202用作计算和形成超分辨率图像122的基础。用户设备102在突发序列期间可以使用低于场景的超分辨率图像122的分辨率的另一分辨率来捕获多个帧202。
突发序列可以包括以设置的时间间隔捕获多个帧202，该时间间隔可以在例如从一毫秒到三毫秒、从一毫秒到五毫秒或从半毫秒到十毫秒的范围内。此外并且在一些情况下，突发序列的时间间隔可以基于用户设备的运动而变化(例如，在用户设备102的高速运动期间的时间间隔可以比用户设备102的低速运动期间的另一时间间隔“短”，以保持偏移小于一个像素)。
如所图示的，帧206的图像相对于帧204的图像分别偏移水平的二分之一像素和垂直的二分之一像素。此外并且如所图示的，帧208的图像相对于帧204的图像分别水平偏移四分之一像素。相对的子像素偏移可以分别包括不同的幅度和子像素偏移的组合(例如，与一个帧相关联的一个子像素偏移可能是水平的四分之一像素和垂直的四分之三像素，而与另一帧相关联的另一子像素偏移可能是水平的零像素和垂直的二分之一像素。通常，由本公开描述的技术和***可以适应比帧204至208的图示和描述更加随机的子像素偏移，包括非线性的子像素偏移。
图3图示了根据一个或多个方面使用具有子像素偏移的多个帧来执行计算，累积颜色平面以及组合颜色平面的示例方面300。示例方面300可以使用图1和图2的元件，其中，由图1的用户设备102执行计算，累积颜色平面以及组合颜色平面，并且具有子像素偏移的多个帧是图2的多个帧202。
如图3所图示的，多个帧202被输入到超分辨率计算302。超分辨率计算302包括高斯径向基函数(RBF)核计算(受流体粒子渲染激发)和鲁棒性模型计算。支持超分辨率计算302的算法可以驻留在用户设备102的超分辨率管理器120中。此外，用户设备102(例如，多个处理器116)可以使用流水线处理执行超分辨率计算302的部分。高斯RBF核计算(例如，核回归技术)的组合以及来自鲁棒性计算的加权提供了确定像素对颜色平面的贡献的方式。
为了支持高斯RBF核计算，用户设备102对来自多个帧202中的每个帧的像素信号进行滤波，以生成与颜色通道相对应的相应颜色特定图像平面。然后，用户设备102将相应的颜色特定图像平面对准参考帧。在一些情况下，可以通过直接取红色和蓝色值并将绿色值平均在一起来创建对应于拜耳四边形的红色/绿色/蓝色(RGB)像素来形成参考帧。
然后，用户设备102计算协方差矩阵。计算协方差矩阵可以包括分析参考帧的内容的局部梯度结构张量(例如，局部张量可以位于参考帧内包含的边缘、角落或纹理区域的局部)。使用协方差矩阵，用户设备102可以计算高斯RBF核。
计算协方差矩阵可能依赖于以下数学关系：
Figure BDA0002883509710000071
在数学关系(1)中，Ω表示核协方差矩阵，e1和e2表示正交方向向量，并且两个相关联的特征值λ1和λ2以及k1和k2控制所需的核方差。
计算局部梯度结构张量可能依赖于以下数学关系：
Figure BDA0002883509710000072
在数学关系(2)中，Ix和Iy分别表示水平和垂直方向上的局部图像梯度。
为了支持所提及的鲁棒性模型计算，用户设备102可以使用统计邻域模型来用公式表示像素对超分辨率图像做出贡献(例如，来自多个帧202的像素对场景的超分辨率图像122做出贡献)的概率。统计邻域模型可以分析诸如均值、方差或拜耳图案局部四边形绿色通道视差等局部统计量，以形成预测混叠的模型(例如，具有高于一半采样率的频率内容的像素信令，其在采样后显示为较低的频率)。
在一些情况下，鲁棒性模型计算可以包括去噪计算以补偿色差。在一些情况下，去噪计算可能依赖于帧之间的空间颜色标准偏差或均值差。
附加或替代技术也可以包括在超分辨率计算302中。例如，超分辨率计算302可以包括分析按比例缩小的操作以找到无法正确对准的图像区域。作为另一示例，超分辨率计算302可以包括检测特征图案以减轻未对准伪影。在这种情况下，信号梯度图案分析可以检测伪影，诸如，“棋盘”伪影。
超分辨率计算302针对多个帧202中的每一个(例如，针对帧204、206和208)有效地估计像素对与相应颜色平面(例如，第一颜色平面304(其可以是与红色通道相关联的红色平面)、第二颜色平面306(其可以是与蓝色通道相关联的蓝色平面)和第三颜色平面308(其可以是与绿色通道相关联的绿色平面))相关联的颜色通道的贡献。超分辨率计算302将像素视为单独的信号并同时累积颜色平面。
而且，并且如图3所图示的，颜色平面累积操作310累积颜色平面304至308。颜色平面304至308的累积可以包括依赖于以下数学关系的归一化计算：
Figure BDA0002883509710000081
在数学关系(3)中，x和y表示像素坐标，总和Σn作用于贡献帧(或为总和)，总和Σi是局部邻域内的样本总和，cn,i表示给定帧n和样本i时的拜耳像素的值，wn,i表示局部样本权重，并且
Figure BDA0002883509710000082
表示局部鲁棒性。
图3还图示了创建场景的超分辨率图像122的组合操作312。然后，用户设备102可以在用户设备102的显示器114上渲染场景的超分辨率图像122(如所图示的)，或者可替代地，将场景的超分辨率图像122存储在用户设备102的CRM 118中。如上所述，并且作为超分辨率计算302的一部分，用户设备102对来自多个帧202的每个帧的像素信号进行滤波以生成对应于颜色通道的颜色特定图像平面。每个颜色特定图像平面可以是图像的表示，被滤波为特定的颜色通道(例如，红色图像平面、蓝色图像平面和绿色图像平面)。然后，用户设备102将相应的颜色特定图像平面对准参考帧。
图4图示了将具有子像素偏移的多个帧对准参考帧的示例方面400。如图4所图示的，多个帧202中的每一个(例如，帧204、206和208)由多个像素(例如，分别为代表性像素402、404和406)组成。每个像素对应于图像的内容408(例如，图像内容的边缘、角落或纹理区域)。
关于图4并且在410中，将具有子像素偏移的多个帧202与参考帧对准包括对准颜色特定图像平面(例如，多个帧202根据红色波长、蓝色波长或绿色波长进行滤波)，使得多个帧202的每个像素的对应内容408与参考帧的像素412的对应内容对准。(要注意的是：图4未按比例绘制，并且出于描述目的而被简化；实际上，并且取决于用户设备102的分辨率能力，对应内容408可以消耗或几乎消耗整个像素)。针对每个像素402至406，可以通过张量分析来量化内容408对颜色通道的贡献(例如，局部梯度结构张量的分析量化了每个像素402至406的内容408对每个颜色通道的贡献)。
图1至4所描述的元件支持在解决摄影的多个方面时创建场景的超分辨率图像。除了在没有前面提到的去马赛克的不利伪影(例如，低图像分辨率、彩色混叠、伪梯度和云纹图案)提供场景的超分辨率图像之外，图1至4描述了与单次快门按下(例如，单个图像捕获命令)兼容，可以在没有三脚架或故意运动的情况下使用，并且产生具有低延迟(例如，在最多几秒钟内)的超分辨率图像的元件。此外，这些元件对于场景内的运动、场景变化和弱光条件具有鲁棒性。
示例方法
根据与创建由用户设备捕获的场景的超分辨率图像相关联的一个或多个方面参照图5和6描述示例方法500和600。通常，本文描述的任何组件、模块、方法和操作都可以使用软件、固件、硬件(例如，固定逻辑电路***)、手动处理或其任何组合来实施。可以在存储在计算机处理***本地和/或远程的计算机可读存储存储器上的可执行指令的一般上下文中描述示例方法的一些操作，并且实施方式可以包括软件应用、程序、功能等。可替代地或另外，本文描述的任何功能性可以至少部分地由一个或多个硬件逻辑组件执行，诸如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SoC)或复杂可编程逻辑设备(CPLD)。
图5图示了用作创建场景的超分辨率图像的一部分的方法500的示例方面。以一组框502至510的形式描述了方法502，该框502至510指定了可以执行的操作。然而，操作不一定限于图5所示或本文描述的顺序，因为可以以替代顺序或以完全或部分重叠的方式或以迭代方式来实施操作。此外，尽管将在由图1的用户设备102执行的上下文中描述由方法500表示的操作，但是操作(或操作的部分)可以由具有计算能力的一个或多个其他设备执行，诸如，包括超分辨率管理器120的指令(或指令的部分)的服务器或云计算设备。
在框502中，用户设备102(例如，图像传感器112)在突发序列中捕获场景的图像的多个帧202，其中，由于在多个帧的捕获期间的用户设备的运动，该多个帧202具有图像的相应的相对子像素偏移。在一些情况下，用户设备的运动可以对应于由用户设备的用户进行的自然手持运动110。在其他情况下，用户设备的运动可以对应于由与用户设备102接触或作为其一部分的振动机构引起的位移。
在框504中，用户设备(例如，执行超分辨率管理器120的指令的处理器116)执行超分辨率计算302。执行超分辨率计算302使用所捕获的多个帧来计算高斯径向基函数核并且计算鲁棒性模型。计算高斯径向基函数核可以包括多个方面，包括对来自多个帧中的每一个的像素信号进行滤波以针对相应颜色通道生成颜色特定图像平面并且将颜色特定图像平面与参考帧对准。除了对应于红色、绿色和蓝色通道之外，颜色特定图像平面还可以对应于彩色通道(例如，黑色、白色和灰色的阴影)或其他颜色通道(诸如，青色、紫色等)。
计算高斯径向基函数核还可以包括基于分析通过将颜色特定图像平面对准参考帧而生成的局部梯度结构张量(例如，数学关系(2))来计算核协方差矩阵(例如，数学关系(1))。在这种情况下，局部梯度结构张量可以对应于参考帧中包括的内容的边缘、角落或纹理区域。此外，并且作为框504的一部分，计算鲁棒性可以包括使用统计邻域模型来为每个像素计算颜色均值和空间标准偏差。
在框506中，用户设备102(例如，执行超分辨率管理器120的指令的处理器116)基于框504的超分辨率计算302来累积颜色平面。累积颜色平面可以包括用户设备执行计算(例如，数学关系(1))，其针对每个颜色通道将像素贡献归一化(例如，将在框502中捕获的多个帧中的每个像素的贡献归一化到每个颜色通道)。
在框508中，用户设备102组合所累积的颜色平面以创建场景的超分辨率图像122。在框510中，用户设备102(例如，显示器114)渲染场景的超分辨率图像122。
尽管在由图1的用户设备102执行的上下文中描述了图5的示例方法500，但是示例方法500内的操作(或操作的部分)可以由具有计算能力的一个或多个其他设备执行，诸如，包括超分辨率管理器120的指令(或指令的部分)的服务器或云计算设备。例如，用户设备102可以捕获场景的图像的多个帧(例如，框502)，并且与服务器或云计算设备传输或共享多个帧。这种服务器或云计算设备可以执行超分辨率计算(例如，框504和506)，累积颜色平面(例如，框508)，并将场景的超分辨率图像传输回用户设备102。
图6图示了用于向装置提供颜色平面的方法600的示例方面。以一组框602至610的形式描述了方法600，该框602至610指定了可以执行的操作。然而，操作不一定限于图6所示或本文描述的顺序，因为可以以替代顺序或以完全或部分重叠的方式或以迭代方式来实施操作。此外，方法600的操作可以由图1的用户设备102执行。
在框602中，用户设备102(例如，执行超分辨率管理器120的指令的处理器116)计算高斯径向基函数(RBF)核。计算高斯RBF核包括几个方面，包括选择参考帧和计算协方差矩阵。
计算核协方差矩阵(例如，数学关系(1))是基于分析局部梯度结构张量(例如，数学关系(2))，其中，局部梯度结构张量对应于包括在参考帧中的内容的边缘、角落或纹理区域。
在一些情况下，在框602中，由于在捕获多个帧202期间的图像捕获设备的运动，场景202的图像的多个帧可以具有跨越多个帧的图像的相应的相对子像素偏移。此外，并且在一些情况下，图像捕获设备的运动可以对应于图像捕获设备的用户进行的运动。在一些情况下，该运动可以对应于自然手持运动。
在框604中，用户设备102计算鲁棒性模型。计算鲁棒性模型包括将统计邻域模型用于颜色均值和空间标准偏差。
在框606中，用户设备102确定颜色平面。用户设备102可以将确定基于所计算的高斯径向基函数核和所计算的鲁棒性模型，从而确定每个像素对颜色平面的贡献。
在框608中，用户设备102累积颜色平面。累积颜色平面可以包括(例如，使用数学关系(1))归一化计算。
在框610中，用户设备102向装置提供颜色平面。在一些情况下，向装置提供颜色平面包括向装置提供颜色平面以进行存储(例如，存储在装置的计算机可读介质中)。在其他情况下，向装置提供颜色平面包括向装置提供颜色平面以组合颜色平面并且渲染颜色平面。
尽管已经以特定于特征和/或方法的语言描述了使用应用于用户设备的手持运动的超分辨率的***和方法，但是要理解，所附权利要求的主题不必限于所描述的特定特征或方法。相反，公开了特定的特征和方法作为示例方式，其中，可以实施使用应用于用户设备的手持运动的超分辨率。
如所描述的，使用应用于用户设备的手持运动的超分辨率的***和方法的变型很多。作为第一示例变型，超分辨率计算可以生成(并且累积)深度图或不与特定颜色相关联的其他平面。作为第二示例变型，超分辨率计算可以依赖于除了高斯RBF采样模式以外的采样模式。作为第三示例变型，超分辨率计算可以依赖于与位移场相对应的偏移而不是子像素偏移。而且，作为第四示例变型，超分辨率计算可以依赖于不是通过手持移动引起的运动(例如，图像的小运动可以生成必要的子像素偏移或位移以执行超分辨率计算)。
除了上述描述之外，可以向用户提供控件，该控件允许用户就本文描述的***、程序或特征是否以及何时可以启用用户信息(例如，由用户捕获的图像、由***计算的超分辨率图像、有关用户社交网络、社交动作或活动、职业、用户偏好或用户当前位置的信息)以及是否向用户发送了来自服务器的内容或通信进行选择。另外，在存储或使用某些数据之前，可能会以一种或多种方式处理某些数据，以便删除个人可标识信息。例如，可以处理用户的身份，使得无法为该用户确定任何个人可标识信息，或者可以在获得位置信息(诸如，城市、邮政编码或州级)的情况下对用户的地理位置进行概括，从而无法确定用户的特定位置。因此，用户可以控制关于用户收集哪些信息，如何使用该信息以及向用户提供哪些信息。
在下文中，描述了若干示例。
示例1：一种用于渲染场景的超分辨率图像的方法，该方法由用户设备执行并且包括：在突发序列中捕获场景的图像的多个帧，由于在多个帧的捕获期间的用户设备的运动，该多个帧具有图像的相应的相对子像素偏移；使用所捕获的多个帧执行超分辨率计算，该超分辨率计算包括：计算高斯径向基函数核；以及计算鲁棒性模型；基于超分辨率计算累积颜色平面；组合所累积的颜色平面以创建场景的超分辨率图像；以及渲染场景的超分辨率图像。
示例2：示例1所述的方法，其中，执行超分辨率计算确定场景的图像的多个帧的像素对颜色平面的贡献。
示例3：示例1或2所述的方法，其中，用户设备的运动对应于用户设备的用户在突发序列期间进行的自然手持运动。
示例4：示例1至3中任一项所述的方法，其中，执行超分辨率计算包括对来自多个帧中的每一个的像素信号进行滤波以针对相应颜色通道生成颜色特定图像平面。
示例5：示例4所述的方法，其中，执行超分辨率计算包括将颜色特定图像平面对准参考帧。
示例6：示例4至5中任一项所述的方法，其中，相应颜色通道对应于红色通道、蓝色通道和绿色通道。
示例7：示例5至6中任一项所述的方法，其中，计算高斯径向基函数核包括基于分析与参考帧对准的颜色特定图像平面的局部梯度结构张量来计算核协方差矩阵。
示例8：示例1至7中任一项所述的方法，其中，局部梯度结构张量对应于包括在参考帧中的内容的边缘、角落或纹理区域。
示例9：示例1至8中任一项所述的方法，其中，计算鲁棒性模型使用统计邻域模型来计算空间颜色标准偏差或均值差。
示例10：一种向装置提供颜色平面的方法，该方法包括：计算高斯径向基函数核，其中，计算高斯径向基函数核包括：选择参考帧；以及基于分析局部梯度结构张量来计算核协方差矩阵，该局部梯度结构张量对应于包括在参考帧中的内容的边缘、角落或纹理区域；以及计算鲁棒性模型，其中，计算鲁棒性模型包括使用统计邻域模型来计算颜色均值和空间标准偏差；基于所计算的高斯径向基函数核和所计算的鲁棒性模型，确定像素对颜色平面的贡献；累积颜色平面；以及向装置提供所累积的颜色平面。
示例11：示例10所述的方法，其中，提供所累积的颜色平面包括向装置提供所累积的平面以进行存储。
示例12：示例10或11所述的方法，其中，向装置提供所累积的颜色平面包括向装置提供所累积的颜色平面以组合和渲染超分辨率图像。
示例13：一种用户设备，该用户设备包括：一个或多个图像处理器；一个或多个处理器；显示器；以及包括超分辨率管理器应用的指令的计算机可读介质，该指令在由一个或多个处理器执行时指导用户设备：使用一个或多个图像传感器在突发序列中捕获场景的图像的多个帧，该多个帧具有跨越多个帧的图像的相应的相对偏移；使用一个或多个处理器，使用场景的图像的所捕获的多个帧来执行超分辨率计算；使用一个或多个处理器并且基于超分辨率计算来累积平面；使用一个或多个处理器组合所累积的平面以创建场景的超分辨率图像；以及使用显示器渲染场景的超分辨率图像。
示例14：示例13所述的用户设备，其中，一个或多个处理器是多个不同的处理器，并且包括中央处理单元、图像处理单元、数据信号处理器或图形处理单元。
示例15：示例13或14所述的用户设备，其中，作为多个不同处理器的一个或多个处理器使用流水线处理来执行超分辨率计算。
示例16：一种***，该***包括用于执行示例1至9所述的任何方法的装置。
示例17：一种***，该***包括用于执行示例10至12所述的任何方法的装置。
示例19：一种包括指令的计算机可读存储介质，该指令在被执行时将处理器配置为执行示例1至9中任一项所述的任何方法。
示例20：一种包括指令的计算机可读存储介质，该指令在被执行时将处理器配置为执行示例10至12中任一项所述的任何方法。
示例21：一种用户设备，该用户设备被配置为执行示例1至9中任一项所述的方法。
示例22：一种用户设备，该用户设备被配置为执行示例10至12中任一项所述的方法。

Claims (15)

1.一种用于渲染场景的超分辨率图像的方法，所述方法由用户设备执行并且包括：
在突发序列中捕获场景的图像的多个帧，由于在捕获所述多个帧期间所述用户设备的运动，所述多个帧具有所述图像的相应的相对子像素偏移；
使用所捕获的多个帧执行超分辨率计算，所述超分辨率计算包括：
计算高斯径向基函数核；以及
计算鲁棒性模型；
基于所述超分辨率计算来累积颜色平面；
组合所累积的颜色平面以创建所述场景的所述超分辨率图像；以及
渲染所述场景的所述超分辨率图像。
2.根据权利要求1所述的方法，其中，执行所述超分辨率计算确定所述场景的所述图像的所述多个帧的像素对所述颜色平面的贡献。
3.根据权利要求1所述的方法，其中，所述用户设备的所述运动对应于所述用户设备的用户在所述突发序列期间进行的自然手持运动。
4.根据权利要求1至3中任一项所述的方法，其中，执行所述超分辨率计算包括：对来自所述多个帧中的每一个的像素信号进行滤波以针对相应颜色通道生成颜色特定图像平面。
5.根据权利要求4所述的方法，其中，执行所述超分辨率计算包括：将所述颜色特定图像平面对准参考帧。
6.根据权利要求4至5中任一项所述的方法，其中，所述相应颜色通道对应于红色通道、蓝色通道和绿色通道。
7.根据权利要求5至6中任一项所述的方法，其中，计算所述高斯径向基函数核包括：基于分析与所述参考帧对准的颜色特定图像平面的局部梯度结构张量来计算核协方差矩阵。
8.根据任何权利要求7所述的方法，其中，所述局部梯度结构张量对应于包括在所述参考帧中的内容的边缘、角落或纹理区域。
9.根据权利要求1至8中任一项所述的方法，其中，计算所述鲁棒性模型使用统计邻域模型来计算空间颜色标准偏差或均值差。
10.一种向装置提供颜色平面的方法，所述方法包括：
计算高斯径向基函数核，其中，计算所述高斯径向基函数核包括：
计算参考帧；以及
基于分析局部梯度结构张量来计算核协方差矩阵，所述局部梯度结构张量对应于包括在所述参考帧中的内容的边缘、角落或纹理区域；以及
计算鲁棒性模型，其中，计算所述鲁棒性模型包括使用统计邻域模型来计算颜色均值和空间标准偏差；
基于所计算的高斯径向基函数核和所计算的鲁棒性模型，确定像素对颜色平面的贡献；
累积所述颜色平面；以及
向所述装置提供所累积的颜色平面。
11.根据权利要求10所述的方法，其中，提供所累积的颜色平面包括：向所述装置提供所累积的平面以进行存储。
12.根据权利要求10或11所述的方法，其中，向所述装置提供所累积的颜色平面包括：向所述装置提供所累积的颜色平面以组合和渲染超分辨率图像。
13.一种用户设备，所述用户设备包括：
一个或多个图像传感器；
一个或多个处理器；
显示器；以及
包括超分辨率管理器应用的指令的计算机可读介质，所述指令在由所述一个或多个处理器执行时指导所述用户设备：
使用所述一个或多个图像传感器在突发序列中捕获场景的图像的多个帧，所述多个帧具有所述图像的跨越所述多个帧的相应的相对偏移；
使用所述一个或多个处理器，使用所述场景的所述图像的所捕获的多个帧来执行超分辨率计算；
使用所述一个或多个处理器并且基于所述超分辨率计算来累积平面；
使用所述一个或多个处理器组合所累积的平面以创建所述场景的超分辨率图像；以及
使用所述显示器渲染所述场景的所述超分辨率图像。
14.根据权利要求13所述的用户设备，其中，所述一个或多个处理器是多个不同的处理器，并且包括中央处理单元、图像处理单元、数据信号处理器或图形处理单元。
15.根据权利要求13或14所述的用户设备，其中，作为所述多个不同处理器的所述一个或多个处理器使用流水线处理来执行所述超分辨率计算。
CN201980045301.7A 2018-08-09 2019-08-06 使用应用于用户设备的自然手持运动的超分辨率 Active CN112384945B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862716921P 2018-08-09 2018-08-09
US62/716,921 2018-08-09
PCT/US2019/045342 WO2020033432A1 (en) 2018-08-09 2019-08-06 Super-resolution using natural handheld-motion applied to a user device

Publications (2)

Publication Number Publication Date
CN112384945A true CN112384945A (zh) 2021-02-19
CN112384945B CN112384945B (zh) 2024-06-25

Family

ID=67777402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980045301.7A Active CN112384945B (zh) 2018-08-09 2019-08-06 使用应用于用户设备的自然手持运动的超分辨率

Country Status (6)

Country Link
US (1) US20210304359A1 (zh)
JP (2) JP7223117B2 (zh)
KR (2) KR102555317B1 (zh)
CN (1) CN112384945B (zh)
DE (1) DE112019003984T5 (zh)
WO (1) WO2020033432A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112369009B (zh) 2018-08-08 2022-06-07 谷歌有限责任公司 用于创建场景的超分辨率图像的光学图像稳定移动
US11615510B2 (en) 2020-10-21 2023-03-28 Samsung Electronics Co., Ltd. Kernel-aware super resolution
US11880902B2 (en) * 2020-12-30 2024-01-23 Waymo Llc Systems, apparatus, and methods for enhanced image capture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226631A (zh) * 2007-12-12 2008-07-23 华为技术有限公司 一种超分辨率图像重构方法和装置
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
US20110142366A1 (en) * 2005-01-19 2011-06-16 U.S. Government As Represented By The Secretary Of The Army System and Method for Super-Resolution Imaging from a Sequence of Color Filter Array (CFA) Low-Resolution Images
US20150169990A1 (en) * 2013-12-12 2015-06-18 Motorolla Mobility LLC Generating an Enhanced Image of a Predetermined Scene from a Plurality of Images of the Predetermined Scene
CN107346061A (zh) * 2012-08-21 2017-11-14 Fotonation开曼有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392166B2 (en) 2013-10-30 2016-07-12 Samsung Electronics Co., Ltd. Super-resolution in processing images such as from multi-layer sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110142366A1 (en) * 2005-01-19 2011-06-16 U.S. Government As Represented By The Secretary Of The Army System and Method for Super-Resolution Imaging from a Sequence of Color Filter Array (CFA) Low-Resolution Images
CN101226631A (zh) * 2007-12-12 2008-07-23 华为技术有限公司 一种超分辨率图像重构方法和装置
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
CN107346061A (zh) * 2012-08-21 2017-11-14 Fotonation开曼有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法
US20150169990A1 (en) * 2013-12-12 2015-06-18 Motorolla Mobility LLC Generating an Enhanced Image of a Predetermined Scene from a Plurality of Images of the Predetermined Scene

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BARRY K. KARCH 等: "Robust super-resolution by fusion of interpolated frames for color and grayscale images", FRONTIERS IN PHYSICS, pages 1 - 14 *
KAMAL NASROLLAHI 等: "Super-resolution: a comprehensive survey", MACHINE VISION AND APPLICATIONS, pages 1423 - 1468 *
RUI GUO 等: "Super-resolution reconstruction of astronomical images using time-scale adaptive normalized convolution", CHINESE JOURNAL OF AERONAUTICS, vol. 31, no. 8, pages 1752 - 1763, XP055627285, DOI: 10.1016/j.cja.2018.06.002 *
骆秋桦: "高性能超分辨率重建算法研究", 中国优秀硕士学位论文全文数据库（信息科技辑）, pages 138 - 4657 *

Also Published As

Publication number Publication date
KR102500779B1 (ko) 2023-02-16
JP7223117B2 (ja) 2023-02-15
KR102555317B1 (ko) 2023-07-14
JP7490100B2 (ja) 2024-05-24
WO2020033432A1 (en) 2020-02-13
KR20210029248A (ko) 2021-03-15
JP2023058558A (ja) 2023-04-25
CN112384945B (zh) 2024-06-25
KR20230027316A (ko) 2023-02-27
DE112019003984T5 (de) 2021-06-02
US20210304359A1 (en) 2021-09-30
JP2021533496A (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
US10762655B1 (en) Disparity estimation using sparsely-distributed phase detection pixels
CN112369009B (zh) 用于创建场景的超分辨率图像的光学图像稳定移动
JP7490100B2 (ja) ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像
CN113508416B (zh) 图像融合处理模块
JP2013061850A (ja) ノイズ低減のための画像処理装置及び画像処理方法
US20240169481A1 (en) Demosaicing circuit for demosaicing quad bayer raw image data
US11936992B2 (en) Multi-mode demosaicing for raw image data
US10567787B1 (en) Autofocusing images using motion detection
US10547863B1 (en) Image statistics for motion detection
US11810266B2 (en) Pattern radius adjustment for keypoint descriptor generation
US11968471B2 (en) Sliding window for image keypoint detection and descriptor generation
US11494880B2 (en) Image pyramid generation for image keypoint detection and descriptor generation
US20230230200A1 (en) Front-end scaler circuit for processing demosaiced image data
JP2018072941A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
CN116109683A (zh) 图像处理方法、装置和设备
JP2019191681A (ja) 画像処理装置、その制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant