CN113196334B - 用于生成超分辨率图像的方法和相关设备 - Google Patents

Abstract

提供了一种用于生成超分辨率图像的方法和相关设备。在一个方面，该方法包括：接收第一低分辨率图像和第二低分辨率图像，第一和第二低分辨率图像具有第一空间分辨率并且已经被共同的图像传感器的成对的像素阵列同时捕获，其中图像传感器的像素阵列被定位成彼此以对角线移位子像素增量；自适应地增强第一和第二低分辨率图像以分别生成增强第一低分辨率图像和增强第二低分辨率图像；将增强第一和第二低分辨率图像的每个的像素(例如，非均匀地)映射到具有大于第一空间分辨率的空间分辨率的超分辨率网格以分别生成第一中间超分辨率图像和第二中间超分辨率图像；以及组合第一和第二中间超分辨率图像以生成复合超分辨率图像。

Description

用于生成超分辨率图像的方法和相关设备

相关申请的交叉引用

本申请要求于2019年3月25日提交的美国临时申请第62/823,591号的优先权，其整体内容通过引用合并且于此。

技术领域

本公开涉及图像处理，较具体地涉及用于空间分辨率增强的方法和设备，更具体地涉及用于生成超分辨率图像的方法和相关设备。

背景技术

线扫描相机具有对整个物体成像的一个或更多个像素线。线扫描相机可用于通过垂直于像素线移动相机或物体、在每个位置捕获线并组合线来创建物体的二维图像。

经由线扫描相机的图像的获取和分析是由机器视觉应用执行的，以确定用于控制或评估处理的特定度量。在线扫描相机的大多数机器视觉应用中期望高分辨率图像，因为附加细节对于更精确的分析会是有用的，甚至是必要的。但是，此任务所需的高精度光学装置和图像传感器的成本通常过高。

一种增大空间分辨率的方法是减小传感器像素尺寸，从而增大每单位面积的像素数量，而不改变图像感测电路和图像处理电路所形成在的裸片的尺寸(也称为芯片尺寸)。可以捕获的光量减少。这导致噪声增大以及其他缺点，例如灵敏度降低。另一种方法是在保持相同信噪比而增大芯片尺寸的同时增大空间分辨率。但是，增大芯片尺寸也会增大电容。这可能导致进一步的困难，例如加快电荷耦合器件(CCD)中电荷包的电荷传输速率，从而限制了设备的速度。

鉴于前述问题，已经越来越依赖于基于软件的图像处理技术来至少解决一些前述问题。一种方法，称为超分辨率，是指通常通过组合从图像捕获设备生成的多个欠采样的低分辨率图像中包含的信息来将图像的分辨率增强到超出图像捕获设备固有的分辨率。当前，在空间域和频率域中的许多超分辨率增强算法都依赖于组合来自同一场景的三个或更多个子像素移位的低分辨率图像的信息。在此类算法中，重点通常放在以下步骤上：例如在多个低分辨率图像之间进行运动估算，建立数学模型以非均匀地内插扩展像素，表征低分辨率图像之间的混叠关系并且反复进行反投影。现有算法通常复杂并且可能需要相当大的处理能力和时间，这可能会降低线扫描速率。此外，通过要求至少三个或更多个低分辨率图像，任何这样的算法可能都不具有成本效益，特别是对于线扫描相机应用而言。

发明内容

本公开提供了一种用于图像空间分辨率增强的方法。根据本公开的方法，从一对低分辨率图像生成超分辨率图像。可以相信，本公开的方法可以至少部分地克服生成超分辨率图像的现有解决方案的一些缺点。例如，本公开的方法可以提供用于生成具有较不严格的成像光学器件或感测硬件要求的超分辨率图像的相对低成本和有效的方式。例如，许多先前不能用于超分辨率图像生成的现有低分辨率图像***可能能够利用本公开的方法用于超分辨率图像生成。另外，使用较少的低分辨率图像的计算强度也较小，导致更高的处理速度和吞吐量。此外，本公开的方法可以提高成像装置的分辨能力，并且具有为至少一些线扫描相机应用提供优于竞争产品的显著的价值优势的潜力。

本公开提供一种从由图像获取设备获取的两个低分辨率图像生成超分辨率图像的方法以及相关设备。将两个低分辨率图像以对角线像素移位半个像素的增量。在组合两个低分辨率图像之前，分别自适应地增强两个低分辨率图像并且提取并保存每个低分辨率图像的边缘数据。然后，将两个增强低分辨率图像的像素(例如，非均匀地)映射到空间分辨率大于低分辨率图像的空间分辨率的超分辨率图像的网格。映射的图像是中间超分辨率图像，其例如通过双线性堆叠被组合以生成复合超分辨率图像，使得复合超分辨率图像中的像素包含唯一的强度值。分析所保存的边缘数据/信息以局部识别对比度增强量，并且将适当量的边缘信息应用于组合图像以生成超分辨率图像。

本公开的方法有利地消除了如一些已知算法所要求的对运动估计的需要。通过在组合之前自适应地增强低分辨率图像，可以至少部分地实现空间分辨率的增强。另外，低分辨率图像的像素(例如，非均匀地)映射到超分辨率网格上，使得组合网格上没有像素包含相同的强度值。此外，在增强或组合之前保存低分辨率图像的边缘信息允许将边缘信息用于增强局部对比度。最后，本公开的方法避免了本领域中常见的内插方法的缺点。

所生成的超分辨率图像可以用于以用于构建超分辨率图像的低分辨率图像相同的分辨率生成高调制传递函数(MTF)、低分辨率图像(也称为高清晰度、低分辨率图像或高精度、低分辨率图像)。

用于生成高清晰度、低分辨率图像的方法可以考虑对角线像素移位并且智能地对所生成的超分辨率图像进行下采样以提供分辨率与用于构造超分辨率图像的低分辨率图像相同但是具有改进的MTF的输出。所生成的图像可以有利地占用较少的存储存储器，同时仍然保持改善的对比度。

根据本公开的一个方面，提供了一种生成超分辨率图像的方法，包括：接收同一场景的第一低分辨率图像和第二低分辨率图像，第一低分辨率图像和第二低分辨率图像具有第一空间分辨率并且已被共同的图像传感器的成对的像素阵列同时捕获，其中图像传感器的像素阵列被定位成彼此以对角线移位子像素增量；自适应地增强第一低分辨率图像和第二低分辨率图像以分别生成增强第一低分辨率图像和增强第二低分辨率图像；将增强第一低分辨率图像和增强第二低分辨率图像的每个的像素映射到具有大于第一空间分辨率的空间分辨率的超分辨率网格以分别生成第一中间超分辨率图像和第二中间超分辨率图像；以及组合第一中间超分辨率图像和第二中间超分辨率图像以生成复合超分辨率图像。该方法还可以包括利用增强边缘信息增强复合超分辨率图像的对比度，如下文所述。该方法可以使成像***在相同的像素尺寸、相同的芯片尺寸、相同的信噪比和相同的响应度下实现具有增强的MTF的图像传感器的原始分辨率的两倍。

在以上某些或全部中，子像素增量是半个像素。

在以上某些或全部中，超分辨率网格的空间分辨率是第一低分辨率图像和第二低分辨率图像的第一空间分辨率的两倍。

在以上某些或全部中，该方法还包括：识别复合超分辨率图像中的像素用于对比度增强；针对为对比度增强而识别的每个像素确定对比度增强量；以及将所确定的对比度增强量应用于为对比度增强而识别的每个像素以生成对比度恢复超分辨率图像。

在以上某些或全部中，该方法还包括：从第一低分辨率图像中提取第一边缘信息以及从第二低分辨率图像中提取第二边缘信息；将第一边缘信息和第二边缘信息的像素映射到空间分辨率大于第一空间分辨率的超分辨率网格以分别生成第一超分辨率边缘信息和第二超分辨率边缘信息；自适应地增强和组合第一超分辨率边缘信息和第二超分辨率边缘信息以生成增强超分辨率边缘信息网格；以及利用增强超分辨率边缘信息网格增强复合超分辨率图像以生成对比度恢复超分辨率图像。

在以上某些或全部中，边缘检测算法用于从第一低分辨率图像中提取第一边缘信息和从第二低分辨率图像中提取第二边缘信息。

在以上某些或全部中，边缘检测算法包括Sobel滤波器。

在以上某些或全部中，利用增强超分辨率边缘信息增强复合超分辨率图像包括：对于第一超分辨率边缘信息和第二超分辨率边缘信息中的每个空间对应像素对：响应于确定空间对应像素对的两个像素都具有正值，将增强超分辨率边缘信息网格的空间对应值设置为该空间对应像素对的值中的最大值；响应于确定空间对应像素对的两个像素都具有负值，将增强超分辨率边缘信息网格的空间对应值设置为该空间对应像素对的值中的最小值；响应于确定空间对应像素对中的一个像素具有正值并且空间对应像素对中的一个像素具有负值，将增强超分辨率边缘信息网格的空间对应值设置为该空间对应像素对的值的平均值；以及将复合超分辨率图像与增强超分辨率边缘信息网格组合。

在以上某些或全部中，自适应地增强第一低分辨率图像和第二低分辨率图像包括：从第一低分辨率图像中提取第一边缘信息以及从第二低分辨率图像中提取第二边缘信息：对于第一低分辨率图像或第二低分辨率图像中的每个像素：使用第一边缘信息或第二边缘信息确定第一低分辨率图像或第二低分辨率图像中的像素是否为边缘像素；对于作为边缘像素的每个像素，确定以该像素为中心的预定区域内的像素的最大值和最小值，以及响应于确定增强像素的初始值大于最大值或小于最小值，增强第一低分辨率图像或第二低分辨率图像中的像素的值。

在以上某些或全部中，通过添加被配置用于降噪和光晕抑制的钝化掩模来增强第一低分辨率图像或第二低分辨率图像中的像素的值。

在以上某些或全部中，自适应地增强第一低分辨率图像和第二低分辨率图像包括：从第一低分辨率图像中提取第一边缘信息以及从第二低分辨率图像中提取第二边缘信息；对第一低分辨率图像和第二低分辨率图像应用平滑算法；基于第一低分辨率图像和第二低分辨率图像以及经平滑的第一低分辨率图像和经平滑的第二低分辨率图像，生成用于第一低分辨率图像和第二低分辨率图像的每个的钝化掩模，其中钝化掩模具有与第一低分辨率图像和第二低分辨率图像的第一空间分辨率相同的空间分辨率；通过向第一低分辨率图像或第二低分辨率图像添加钝化掩模来初始化增强图像；针对第一低分辨率图像和第二低分辨率图像中的每个像素：使用第一边缘信息或第二边缘信息确定第一低分辨率图像或第二低分辨率图像中的像素是否为边缘像素；对于作为边缘像素的每个像素，确定以该像素为中心的预定区域内的像素的最大值和最小值，确定该像素是否具有在最大值和最小值之间的值以及增强低分辨率图像中的对应像素的值是否大于最大值或小于最小值，响应于确定该像素具有在最大值和最小值之间的值并且增强低分辨率图像中的对应像素具有在最大值和最小值之外的值，以增强因子对与第一低分辨率图像或第二低分辨率图像中的像素相对应的钝化掩模中的像素的值进行增强，以及将增强低分辨率图像中的像素的值替换为钝化掩模中的元素的增强值与低分辨率图像中的像素的值之和。

在以上某些或全部中，生成用于第一低分辨率图像和第二低分辨率图像的每个的钝化掩模包括：将钝化掩模分别初始化为第一低分辨率图像或第二低分辨率图像与经平滑的第一低分辨率图像或经平滑的第二低分辨率图像之间的差；对于钝化掩模中的每个像素：使用第一边缘信息或第二边缘信息确定钝化掩模中的像素是否为边缘像素；对于作为边缘像素的每个像素，响应于钝化掩模中的像素的绝对值大于或等于增强阈值，以增强因子对钝化掩模中的像素的值进行增强；对于不是边缘像素的每个像素，响应于钝化掩模中的像素的绝对值小于或等于截止阈值，将钝化掩模中的像素的值设置为零；对于不是边缘像素的每个像素，响应于钝化掩模中的像素的绝对值大于或等于增强阈值，以增强因子对钝化掩模中的像素的值进行增强。

在以上某些或全部中，平滑算法是高斯模糊滤波器。

在以上某些或全部中，该方法还包括：自适应地增强对比度恢复超分辨率图像；从第一像素开始，对增强超分辨率图像执行第一轮双线性下采样以生成第一中间低分辨率图像；从相对于第一像素对角线移位像素增量的第二像素开始，对增强超分辨率图像执行第二双线性下采样以生成第二中间低分辨率图像；以及组合第一中间低分辨率图像和第二中间低分辨率图像以生成高清晰度低分辨率图像。

在以上某些或全部中，通过对第一中间低分辨率图像和第二中间低分辨率图像中的空间对应像素的强度值求平均来组合第一中间低分辨率图像和第二中间低分辨率图像。

在以上某些或全部中，自适应地增强对比度恢复超分辨率图像包括：从对比度恢复超分辨率图像中提取边缘信息；对于对比度恢复超分辨率图像中的每个像素：使用边缘信息确定该像素是否为边缘像素；对于作为边缘像素的每个像素，确定以该像素为中心的预定区域内的像素的最大值和最小值，以及响应于确定增强像素的初始值大于最大值或小于最小值，增强第一低分辨率图像或第二低分辨率图像中的像素的值。

在以上某些或全部中，通过添加被配置用于降噪和光晕抑制的钝化掩模来增强第一低分辨率图像或第二低分辨率图像中的像素的值。

在以上某些或全部中，自适应地增强对比度恢复超分辨率图像包括：从对比度恢复超分辨率图像中提取边缘信息；对对比度恢复超分辨率图像应用平滑算法；基于超分辨率图像和经平滑的对比度恢复超分辨率图像，生成用于对比度恢复超分辨率图像的钝化掩模，其中钝化掩模具有与对比度恢复超分辨率图像的第一空间分辨率相同的空间分辨率；通过向对比度恢复超分辨率图像添加钝化掩模来初始化增强超分辨率图像；针对对比度恢复超分辨率图像中的每个像素：使用边缘信息确定该像素是否为边缘像素；对于作为边缘像素的每个像素，确定以该像素为中心的预定区域内的像素的最大值和最小值，确定该像素是否具有在最大值和最小值之间的值以及增强超分辨率图像中的对应像素的值是否大于最大值或小于最小值，响应于确定该像素具有在最大值和最小值之间的值并且增强超分辨率图像中的对应像素具有在最大值和最小值之外的值，以增强因子对与对比度恢复超分辨率图像中的像素相对应的钝化掩模中的像素的值进行增强，以及将增强超分辨率图像中的像素的值替换为钝化掩模中的元素的增强值与对比度恢复超分辨率图像中的像素的强度之和。

在以上某些或全部中，生成用于对比度恢复超分辨率图像的钝化掩模包括：将钝化掩模初始化为对比度恢复超分辨率图像与经平滑的对比度恢复超分辨率图像之间的差；对于每个钝化掩模中的每个像素：使用边缘信息确定钝化掩模中的像素是否为边缘像素；对于作为边缘像素的每个像素，响应于钝化掩模中的像素的绝对值大于或等于增强阈值，以增强因子对钝化掩模中的像素的值进行增强；对于不是边缘像素的每个像素，响应于钝化掩模中的像素的绝对值小于或等于截止阈值，将钝化掩模中的像素的值设置为零；对于不是边缘像素的每个像素，响应于钝化掩模中的像素的绝对值大于或等于增强阈值，以增强因子对钝化掩模中的像素的值进行增强。

在以上某些或全部中，平滑算法是高斯模糊滤波器。

在以上某些或全部中，第一轮双线性下采样和第二轮双线性下采样是通过对高分辨率图像中的多个像素求平均来执行的。

在以上某些或全部中，多个像素形成二乘二核。

在以上某些或全部中，该方法还包括：向第一低分辨率图像和第二低分辨率图像添加像素填充，其中像素填充的尺寸取决于图像处理参数。

在以上某些或全部中，通过双线性堆叠来执行将第一中间超分辨率图像和第二中间超分辨率图像组合以生成复合超分辨率图像。

在以上某些或全部中，该方法还包括：获取第一低分辨率图像和第二低分辨率图像。

在以上某些或全部中，增强第一低分辨率图像和增强第二低分辨率图像的每个的像素被非均匀地映射到超分辨率网格。

根据本公开的另一方面，提供了一种方法，包括：自适应地增强高分辨率图像以生成增强高分辨率图像；从第一像素开始，对增强高分辨率图像执行第一轮双线性下采样以生成第一中间低分辨率图像；从相对于第一像素对角线移位像素增量的第二像素开始，对增强高分辨率图像执行第二双线性下采样以生成第二中间低分辨率图像；以及组合第一中间低分辨率图像和第二中间低分辨率图像以生成高清晰度低分辨率图像。

在以上某些或全部中，通过对第一中间低分辨率图像和第二中间低分辨率图像中的空间对应像素的强度值求平均来组合第一中间低分辨率图像和第二中间低分辨率图像。

在以上某些或全部中，自适应地增强高分辨率图像包括：从高分辨率图像中提取边缘信息；对于高分辨率图像中的每个像素：使用边缘信息确定该像素是否为边缘像素；对于作为边缘像素的每个像素，确定在以该像素为中心的预定区域内的像素的最大值和最小值，以及响应于确定增强像素的初始值大于最大值或小于最小值，增强高分辨率图像中的像素的值。

在以上某些或全部中，通过添加被配置用于降噪和光晕抑制的钝化掩模来增强第一低分辨率图像或第二低分辨率图像中的像素的值。

在以上某些或全部中，自适应地增强高分辨率图像包括：从高分辨率图像中提取边缘信息；对高分辨率图像应用平滑算法；基于高分辨率图像和经平滑的高分辨率图像，生成用于高分辨率图像的钝化掩模，其中，钝化掩模具有与高分辨率图像的第一空间分辨率相同的空间分辨率；通过向高分辨率图像添加钝化掩模来初始化增强图像；针对高分辨率图像中的每个像素：使用边缘信息确定该像素是否为边缘像素；对于作为边缘像素的每个像素，确定以该像素为中心的预定区域内的像素的最大值和最小值，检查该像素是否具有在最大值和最小值之间的值以及增强高分辨率图像中的对应像素的值是否大于最大值或小于最小值，响应于确定该像素具有在最大值和最小值之间的值并且增强高分辨率图像中的对应像素具有在最大值和最小值之外的值，以增强因子对与高分辨率图像中的像素相对应的钝化掩模中的像素的值进行增强，以及将增强高分辨率图像中的像素的值替换为钝化掩模中的元素的增强值与高分辨率图像中的像素的值之和。

在以上某些或全部中，生成用于高分辨率图像的钝化掩模包括：将钝化掩模初始化为高分辨率图像和经平滑的高分辨率图像之间的差；对于钝化掩模中的每个像素：使用边缘信息确定钝化掩模中的像素是否为边缘像素；对于作为边缘像素的每个像素，响应于钝化掩模中的像素的绝对值大于或等于增强阈值，以增强因子对钝化掩模中的像素的值进行增强；对于不是边缘像素的每个像素，响应于钝化掩模中的像素的绝对值小于或等于截止阈值，将钝化掩模中的像素的值设置为零；对于不是边缘像素的每个像素，响应于钝化掩模中的像素的绝对值大于或等于增强阈值，以增强因子对钝化掩模中的像素的值进行增强。

在以上某些或全部中，平滑算法是高斯模糊滤波器。

在以上某些或全部中，第一轮双线性下采样和第二轮双线性下采样是通过对高分辨率图像中的多个像素求平均来执行的。

在以上某些或全部中，多个像素形成二乘二核。

根据本公开的又一方面，提供了一种生成超分辨率图像的方法，包括：接收同一场景的第一低分辨率图像和第二低分辨率图像，第一低分辨率图像和第二低分辨率图像具有第一空间分辨率并且已被共同的图像传感器的成对的像素阵列同时捕获，其中图像传感器的像素阵列被定位成彼此以对角线移位子像素增量；自适应地增强第一低分辨率图像和第二低分辨率图像以分别生成增强第一低分辨率图像和增强第二低分辨率图像；从第一低分辨率图像和第二低分辨率图像中分别提取边缘信息(其中边缘信息对应于像素强度的变化)；将增强第一低分辨率图像和增强第二低分辨率图像的每个的像素(例如，非均匀地)映射到具有大于第一空间分辨率的空间分辨率的超分辨率网格以分别生成第一中间超分辨率图像和第二中间超分辨率图像；组合第一中间超分辨率图像和第二中间超分辨率图像以生成复合超分辨率图像；将第一低分辨率图像和第二低分辨率图像的边缘信息(例如，非均匀地)映射到空间分辨率大于第一空间分辨率的超分辨率网格以生成增强超分辨率边缘信息；以及利用增强超分辨率边缘信息增强复合超分辨率图像的对比度以生成对比度恢复超分辨率图像。

根据本公开的再一方面，提供了一种一种成像传感器，包括：第一像素阵列；第二像素阵列，其相对于第一像素阵列对角线移位子像素增量；其中，成像传感器被配置为经由像素阵列捕获具有第一空间分辨率的第一低分辨率图像和具有第二空间分辨率的第二低分辨率图像。

在以上某些或全部中，第一低分辨率图像和第二低分辨率图像被同时捕获。

在以上某些或全部中，第一低分辨率图像和第二低分辨率图像被以对角线移位子像素增量而在共同时间捕获共同场景。

在以上某些或全部中，子像素增量是半个像素。

在以上某些或全部中，第一空间分辨率和第二空间分辨率是相同的。

根据本公开的其他方面，提供了一种包括至少一个处理器的装置，其中当可运行指令被至少一个处理器运行时，使处理器执行本文描述的方法的至少一部分。该装置还可以包括被配置为捕获图像的成像传感器。该装置可以是线扫描相机。

根据本公开的其他方面，提供了一种非暂态机器可读介质，其上有形地存储用于由至少一个处理器运行的可运行指令，其中当可运行指令被至少一个处理器运行时，使处理器执行本文描述的方法的至少一部分。

附图说明

图1是示出适于实践本公开的教导的线扫描相机的选择部件的框图。

图2是示出根据本公开的一个示例实施方式的传感器像素阵列布置的示意图。

图3是如图1所示的图像获取设备的成像传感器部件的示意图。

图4是示出根据本公开的另一示例实施方式的传感器像素阵列布置的示意图。

图5是根据本公开的一个示例实施方式的用于生成超分辨率图像的方法的流程图。

图6A和图6B示出了根据本公开的一个示例实施方式的用于提取边缘信息并自适应地增强图像的方法的流程图。

图7A是示出根据本公开的一个示例实施方式的从低分辨率网格到超分辨率网格的像素映射的示意图。

图7B是示出根据本公开的一个示例实施方式生成的复合超分辨率图像的示意图。

图8是根据本公开的一个示例实施方式的用于对比度增强的方法的流程图。

图9A至图9F示出了根据本公开的方法的一个示例实施方式处理的示例图像。

图10A是光学***用来评估本公开的示例实施方式的黑白正弦图案的图像。

图10B是用于评估本公开的示例实施方式的各种图像的调制传递函数的曲线图。

图10C和图10D是线轮廓，其示出了在图10A的正弦图案的两个线对空间频率处的强度随距离的正弦响应。

图11是根据本公开的一个示例实施方式的对超分辨率图像进行下采样以生成高MTF低分辨率图像的示例方法的流程图。

图12A至图12D是示出本公开的示例实施方式的结果的图像。

图13A至图13E是来自CMOS TDI相机的图像，其示出了本公开的一个示例实施方式的结果。

具体实施方式

参考其中示出实施方式的附图来做出本公开。但是，可以使用许多不同的实施方式，因此不应将本说明书解释为限于在此阐述的实施方式。相反，提供这些实施方式使得本公开将是详尽的和完整的。在可能的情况下，在附图和以下描述中使用相同的附图标记指代相同的元件，并且在替选实施方式中，主要的符号用于指示相似的元件、操作或步骤。所示出的***和设备的功能元件的单独的框或所示出的分离不一定需要这些功能的物理分离，因为在没有任何这样的物理分离的情况下，这些元件之间的通信可以借助于消息传递、函数调用、共享的存储空间等方式发生。这样，尽管在本文中为了易于说明而分开示出了功能，但是不必在物理上或逻辑上分离的平台中实现这些功能。不同的设备可以具有不同的设计，使得尽管一些设备在固定功能的硬件中实现某些功能，但是其他设备可以利用从机器可读介质获得的代码在可编程处理器中实现这些功能。最后，以单数形式提及的元件可以是复数，反之亦然，除非上下文另外明确指出或固有地指出。

术语“低分辨率(LR)”和“高分辨率(HR)”在本公开中用于指代数字图像分辨率，并且是相对术语，用于指示本公开在提供分辨率比图像获取设备原始产生的分辨率高的数字图像时的一个或更多个优点。术语“超分辨率(SR)”指代通过图像处理技术从多个混叠低分辨率图像生成的增强图像分辨率。图1是示出适于实践本公开的教导的线扫描相机100的选择部件的框图。线扫描相机100包括经由通信总线(未示出)耦接到多个部件的处理器102(例如，微处理器或微控制器)，该通信总线提供各种部件与处理器102之间的通信路径。线扫描相机100还包括存储器，诸如随机存取存储器(RAM)108、只读存储器(ROM)110、持久性(非易失性)存储器112(其可以是闪存可擦除可编程只读存储器(EPROM)(“闪速存储器”))或其他合适形式的存储器。

处理器102执行各种图像处理功能。处理器102通常是可编程处理器，但是可以是例如硬连线定制集成电路(IC)处理器或它们的组合。在其他实施方式中，可以提供专用图像处理器而不是使处理器102执行图像处理功能。

线扫描相机100还包括线扫描传感器120，其接收来自正被成像的区域的光。由线扫描传感器120捕获的图像数据被传输到读出寄存器(也称为线缓冲器)。在所示实施方式中，读出寄存器是现场可编程门阵列(FPGA)104。线扫描相机100还包括在所示实施方式中连接至FPGA 104的用于与外部***交换数据的一个或更多个并行数据端口122，以及在所示的实施方式中连接到处理器102的用于与外部***交换数据的一个或更多个串行数据端口116。读出寄存器将数据输出到缓冲存储器(未示出)，诸如另一FPGA。然后，存储在FPGA缓冲存储器中的线数据可以进行进一步的处理和/或经由串行数据端口116、并行数据端口122或此两者传输到主机***。线扫描相机100通常还包括导通或闪烁以提供各种通知的一个或更多个发光二极管(LED)114、以及可选地一个或更多个用户输入设备124(例如，按钮)。

线扫描传感器120可以是电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)传感器或其他合适的传感器。线扫描传感器120可以是单色的、多色的(例如，RGB颜色)或多光谱的。线扫描传感器120具有一个或更多个像素传感器线：线扫描传感器120可以是单线或多线传感器。线扫描传感器120可以替选地是时间延迟和积分(TDI)传感器。合适的线扫描相机由Teledyne Digital Imaging公司(加拿大安大略省滑铁卢)制造。线扫描传感器120的每个线具有多个像素传感器。每个像素传感器生成并对应于由线扫描传感器120输出的数字图像中的像素。线扫描传感器120的每个线中的像素传感器的数量可以为2,048至16,384或更多，导致数字图像每个线(或每个行)具有2,048至16,384或更多的像素。每个像素传感器输出具有数字编号(DN)的形式的像素值，该像素值表示特定波长的光的响应级别。

像素值是表示像素的强度(或亮度)的单个数字。线扫描传感器120捕获的像素的位数和颜色(或颜色缺乏)在线传感器之间可以变化。例如，像素可以是8位灰度、8位色彩、16位色彩、24位色彩、30位色彩、36位色彩或48位色彩。在一些示例中，使用8位像素，各个像素值的范围为0到255。对于灰度(单色)线扫描相机，通常像素值0表示黑色，255表示白色，并且0到255之间的值限定不同深浅的灰色。彩色线扫描相机的传感器像素行具有不同的滤色器，或沿行的像素上具有不同的滤色器，以检测不同波长的光。通常，使用红色、绿色和蓝色(RGB)滤色器，但在某些应用中可以使用更多和不同的滤色器类型。每个滤色器位于像素上以检测不同波长的光，通常是红色、绿色或蓝色，使得像素值0表示无颜色(例如，没有红色、没有绿色、没有蓝色)，而255表示全彩色，并且介于0到255之间的值限定相应颜色的不同深浅。彩色线扫描相机可以有时在单色或全彩色模式下操作。为了表示全彩色，针对RGB色彩空间中的每个像素指定分离的红色、绿色和蓝色分量，因此像素值实际上是三个数字的向量，其可以被存储为不同的分量，作为三个分离的颜色平面(红色、绿色和蓝色中的每个对应一个颜色平面)，这三个颜色平面在全彩色显示或处理时重新组合。本公开中的术语“像素”是指数字图像对象的元素，数字图像对象可以包括由线扫描传感器120捕获和输出的数字图像、由线扫描传感器120捕获和输出的数字图像的部分，诸如从由线扫描传感器120捕获的数字图像以及在数字图像信号处理操作中使用的掩模和其他图像滤波器中提取的边缘元素(或点)。

在相机的曝光时间期间，每个像素累积与从物体成像到该像素上的光成比例的光电电荷。在曝光时间结束时，整个像素行中的电荷被传输到读出寄存器(例如，FPGA 104)中。读出寄存器将像素电荷移出并且对其进行放大、校正和数字化以产生相机输出。在将线扫描数据传输到存储器之前，读出寄存器临时存储一个或更多个线(通常为1至3个线)的图像数据。读出寄存器的移位是在下一像素行曝光时完成的。进行曝光和读出的速率被称为“线速率”，通常以赫兹(Hz)或千赫兹(kHz)规定。线扫描相机100可以具有高达200kHz或更高的线速率。可调光圈和快门组件(未示出)用于控制线扫描传感器120的光圈尺寸和曝光时间。

处理器102可以通过向线扫描传感器120提供各种控制信号来控制线扫描传感器120。线扫描相机100的存储器，例如EPROM 112，已在其上存储了由处理器102运行的软件，其控制线扫描相机100的操作。线扫描相机100也可以或替选地可以至少部分地由FPGA 104控制。尽管描述了不同类型的存储器的特定配置，但这仅是一个示例，并且可以使用对不同类型的存储器的不同配置和功能分配。

尽管在图1中未示出或者上文未描述，但是本领域技术人员将理解，透镜、照明和聚焦光学装置与线扫描相机结合使用，作为线扫描成像***的一部分。通常，这些部件不由线扫描相机控制。

图2是示出根据本公开的一个示例实施方式的传感器像素阵列布置的示意图。在图2的示例中，传感器像素阵列布置用于TDI传感器。然而，本公开的教导可以应用于其他线扫描传感器和其他合适的传感器，诸如面扫描传感器。线扫描传感器120包括光电检测器阵列200，该光电检测器阵列200包括两个阵列(或子阵列)204和206。光电检测器阵列200可以包括多个金属氧化物半导体(MOS)电容器，其将进入的光子转换成在半导体氧化物界面处的电荷。电荷可以被读取，例如作为电压，并且用于确定形成数字图像的数字像素值。阵列204和206中的每个中的光电检测器可以以由多行(n)和多列(m)限定的二维方式布置。通常，特定光电探测器阵列的分辨率以“n×m”的形式表示。每个单独的光电探测器均由像素尺寸限定，像素尺寸指示传感器阵列可以区分的最小物体的尺寸。在一些示例中，像素尺寸可以是5μm。

两个光电检测器阵列204、206以堆叠配置提供，其中在传感器裸片上阵列206物理上位于阵列204下方，且阵列204从阵列206以对角线移位半个像素。阵列204、206可以安装在托盘或托架上。阵列204、206的位置可以***纵以施加子像素精度的移位。通过结合在箭头A所示的方向上沿着平面垂直的半像素移位执行水平的半像素移位，可以使阵列204从阵列206以对角线移位半个像素。对角线半像素移位提供了：在来自两个子阵列204、206的捕获图像中没有单个像素将被完美地复制。

线扫描相机100生成物体或场景的两个低分辨率图像，它们在几何上以对角线移位半个像素。线扫描相机100可以对移动的传送器成像，该传送器具有位于其上并与传送器一起移动的多个物体(例如，零件或产品)。线扫描相机100的处理器102接收并处理两个低分辨率图像以生成对应的超分辨率图像。尽管在所描述的实施方式中，处理器102是线扫描相机100的部件，但是在其他实施方式中，可以使用与线扫描相机100不同的分立的处理单元。

图3是示出阵列204和阵列206之间的对角线半像素移位对捕获图像的影响的示意图。图像252和254表示由两个对角线半像素移位(x/2)的检测器阵列204和206捕获的图像。图像252和254中的每个包括八个像素。阴影区域256表示图像252中的第一像素和图像254中的第一像素之间的交叠区域。通过根据下面更详细描述的本公开的方法组合来自图像252和254的信息，可以产生超分辨率。

图4是根据本公开的另一示例实施方式的传感器的传感器像素阵列布置。图4的传感器设计类似于图2的传感器设计，不同之处在于图4的传感器设计的分辨率是4K，而图2的传感器设计的分辨率是16K。传感器包含2个像素移位的阵列，每个阵列具有5μm像素。顶部和底部阵列均具有64个级，与底部阵列中的像素相比，顶部阵列中的像素水平移位2.5μm(1/2像素)并且垂直移位2.5μm(1/2像素)。因此，用传感器捕获了以子像素精度移位的两个图像。

图5是根据本公开的一个示例实施方式的用于从两个低分辨率图像生成超分辨率图像的方法500的流程图。方法500可以由例如由处理器运行的软件来执行，该处理器可以是图像获取设备(诸如图1所示的线扫描相机100)的处理器。替选地，方法500可以由与图像获取设备不同的分立的处理单元执行。

在操作502处，线扫描相机100的处理器102将表示为n的图像计数器初始化为1。

在操作504处，例如，从线扫描相机100的存储器获得图像数据。每个图像具有尺寸宽度(W)×高度(H)的分辨率。图像存储在存储器中，例如作为LR(n)。

在操作506处，在图像LR(n)的图像边界周围执行像素填充(pixel padding)。填充的尺寸可以变化，并且可以取决于多种因素，诸如所使用的边缘检测算法(例如，Sobel算子)和平滑算法(例如，高斯滤波器)的参数，如下文更全面地描述的。可以使用任何适当的方法来执行像素填充，其中许多方法是本领域已知的，诸如镜像。例如，对于5×5的Sobel和/或高斯核尺寸，可以使用2像素填充。

在操作508处，从图像LR(n)提取边缘信息并且将边缘信息存储在存储器中，例如作为LREdge(n)。在操作510处，图像LR(n)被自适应地增强并且被存储在存储器中，例如作为LREnhance(n)。可以通过通用算法来执行操作508和510，在一些示例中，该通用算法是下面描述的函数adaptiveEnhance()。从函数adaptiveEnhance()输出的增强图像被存储为LREnhance(n)，并且从函数adaptiveEnhance()输出的边缘被存储为LREdge(n)。

在操作512处，图像计数器按1增大。在操作514处，处理器通过确定图像计数器是否大于2来确定是否已经处理了两个低分辨率图像。如果两个低分辨率图像仍未被处理(即，如由图像计数器的值小于或等于2而确定仅处理了一个低分辨率图像)，则该方法返回操作504。

当已处理两个低分辨率图像时(如由图像计数器的值大于2而确定)，方法500分别在操作516和520处组合增强的图像信息和边缘信息。

在操作516处，第一低分辨率图像702(“LR1”)的增强图像LREnhance(1)和第二低分辨率图像704(“LR2”)的增强图像LREnhance(2)，上述增强图像LREnhance(1)和LREnhance(2)，均被非均匀地映射到超分辨率网格，其分辨率是第一和第二低分辨率图像分辨率的两倍，尺寸为2W×2H，其中W和H分别是低分辨率图像的宽度和高度。从第一和第二低分辨率图像702和704的增强图像生成的超分辨率网格上的两个映射图像被分别存储在存储器中，例如作为SR_tmp1和SR_tmp2。这导致两个中间超分辨率图像。每个超分辨率图像包含的像素数是低分辨率图像的两倍。结果，如图7A所示，增强低分辨率图像中的每个单独像素被非均匀地复制四次以形成2×2核。在图7A中，第一低分辨率图像702用于生成第一超分辨率图像703，第二低分辨率图像704用于生成第二超分辨率图像705。第一超分辨率图像703的左上角的2×2核(由附图标记707表示)是被复制四次的来自第一低分辨率图像702的像素“a”。第二超分辨率图像705的左上角的2×2核(由附图标记709表示)是被复制四次的来自第二低分辨率图像704的像素“a”。

在操作518处，例如通过双线性堆叠来组合两个中间超分辨率图像以生成复合超分辨率图像，该复合超分辨率图像被存储在存储器中，例如作为SR_tmp。SR网格上的组合增强图像计算如下：

SR_tmp＝1/2*(SR_tmpl+SR_tmp2)

注意，中间超分辨率图像的图像网格偏移一个像素。但是，由于每个2×2核包括原始低分辨率图像中的同一像素的副本，因此超分辨率图像中的一个像素移位反映了用于捕获如上文所述的第一和第二低分辨率图像的传感器阵列中的半像素对角线移位。图7B示出了从第二超分辨率图像705和第一超分辨率图像703生成的复合超分辨率图像710。如图7B中所示，非均匀映射和双线性堆叠提供了，复合超分辨率图像710中的每个像素不包含重复的像素信息，除了上面的行和最左侧的列的像素信息之外。

在操作520处，将来自操作508的关于第一和第二低分辨率图像的每个的边缘信息映射到分辨率为第一和第二低分辨率图像的分辨率的两倍的超分辨率网格上，其尺寸为2W×2H，其中W和H分别是低分辨率图像的宽度和高度。可以使用与在操作516处对增强图像执行以生成中间超分辨率的那些方法类似的方法。所得到的具有两个超分辨率网格的形式的超分辨率边缘信息被存储在存储器中，例如作为SR_edge1和SR_edge2。

在操作522处，针对在操作518处生成的复合超分辨率图像710中的对比度增强，处理器102识别所捕获的低分辨率图像中的子像素缺陷以及对比度增强的增强量，以突出显示或强调最终图像中的所识别的缺陷。在某些示例中，此操作由函数postConstrastEnh()执行，其使用超分辨率边缘信息SR_edge1和SR_edge2作为输入。函数postConstrastEnh()的输出得到增强，超分辨率边缘信息被存储在存储器中，例如作为SR_edge。

尽管在图5的方法500中将操作516和518示为与操作520和522同时执行，但是在其他实施方式中，这些操作可以按顺序而不是同时执行。操作顺序的示例是516、518、520和522以及520、522、516和518。

在操作524处，根据下式使用增强超分辨率边缘信息SR_edge对复合超分辨率图像SR_tmp执行对比度增强算法：

SR＝SR_tmp+K*SR_edge

其中，K是由图像获取设备(例如，线扫描相机100)的本底噪声所确定的控制因子，其中K的值在0到1之间。用于特定的图像获取设备的K的值的示例为0.35。

在操作526处，对比度恢复超分辨率图像被存储在存储器中。

图6A和图6B示出了根据本公开的一个示例实施方式的用于提取边缘信息并自适应地增强图像的方法600的流程图。方法600执行上面结合操作508和510描述的函数adaptiveEnhance()。方法600可以由例如由处理器运行的软件来执行，该处理器可以是图像获取设备的处理器，诸如图1所示的线扫描相机100。替选地，方法600可以由与图像获取设备不同的分立的处理单元执行。方法600通常由与上述方法500相同的处理器执行。

在操作602处，接收具有在边界处添加的像素的LR(n)的图像数据作为输入并存储在存储器中，例如作为imgbuf(j,i)，其中j和i是用于遍历和访问imgbuf中的单独的像素的迭代变量，其中j>＝1且j<＝Hp，i>＝1且i<＝Wp，其中Hp＝H+添加的像素数，Wp＝W+添加的像素数，并且W和H分别表示低分辨率图像的空间分辨率的宽度和高度。

在操作603处，输出imgbuf以供稍后在下文中更全面地描述的后续处理中使用。

在操作604处，处理器102初始化多个控制变量。可以基于许多因素来设置控制变量值，诸如本底噪声、模拟结果、图像获取设备(诸如线扫描相机100)的功能限制(例如，图像传感器特性)等。在一些实施方式中，初始化的控制变量包括边缘检测阈值threshold_sobel和增强阈值um_threshold、增强因子um_strength和增强截止阈值um_threshold_cut。在处理8位图像的一个示例中，变量threshold_sobel可以设置为30，变量um_threshold可以设置为10，变量um_strength可以设置为0.3，并且变量um_threshold_cut可以设置为2。

在操作606处，将图像平滑算法应用于图像以生成平滑图像。图像平滑算法至少部分地减小了图像的高频分量的影响。Imgbuf(j,i)中的每个像素值被设置为其周围像素值的加权平均值。如上所述，平滑算法的参数(例如，高斯模糊滤波器或核的尺寸)会影响操作506处的像素填充的尺寸。因为图像平滑算法根据周围像素的加权平均值产生像素值，因此对于没有周围像素的像素(即，沿着图像外边缘的像素)，需要像素填充。

可以在一些实施方式中使用的合适的平滑算法的示例是模糊滤波器，诸如例如高斯模糊滤波器。在其他实施方式中可以使用其他图像平滑算法。可以在某些实施方式中使用的高斯模糊滤波器的示例具有具有1.0的半径和1.5的sigma，并且可以应用于imgbuf(r,c)，其中r和c的范围内的值通过图像像素迭代而避免填充像素，如果在边界处填充2个像素，则r＝3到Hp-2，c＝3到Wp-2。图像平滑算法的结果被存储在存储器中，例如作为gaussImg。未滤波像素(即填充像素)的值设置为0。

在其他因素中，基于处理速度和噪声水平来选择高斯模糊滤波器。在其他示例中可以使用不同的参数。现在将描述高斯模糊滤波器及其应用的示例。高斯模糊滤波器的示例如下所示：

用上面所示的高斯常数初始化表示为gc的高斯模糊滤波器核。高斯核gc与imgbuf(j,i)进行卷积以基于下式生成矩阵gaussImg(y,x)：

如果gaussImg(y,x)中给定像素的像素值超出了每个像素的位数可以表示的最大值，则将像素值设置为最大值(即，如果gaussImg(y,x)>maxval，设置gaussImg(y,x)＝maxval，其中maxval＝最大像素强度(例如，对于8位图像为255，对于12位图像为4095)。重复上述步骤，直到除了填充像素之外imgbuf(j,i)中的所有像素都已被处理。

在操作608从，通过下式初始化钝化掩模：

mask＝imgbuf-gaussImg

钝化掩模记录原始图像的基本高频信息。将在以下操作612至642中对其进行分类和修正。

在操作610处，将边缘检测方法应用于imgbuf(j,i)。在一些实施方式中可以使用的合适的边缘检测方法的一个示例是Sobel算子，也称为Sobel-Feldman算子或Sobel滤波器。在其他实施方式中可以使用其他边缘检测方法。

现在将描述Sobel算子及其应用的示例。Sobel算子包括两个卷积核，一个卷积核典型地是另一个卷积核旋转90°。如本领域中已知的，Sobel核被设计为响应于相对于像素网格在垂直和水平方向上运行的像素强度变化有多突然或平稳，对于两个取向中的每个都具有一个核。下面示出了水平方向的Sobel算子(核)的示例：

垂直方向的Sobel算子(核)的示例如下所示：

像素处的图像强度的梯度可以通过像素值与两个Sobel核中的每个核的卷积来确定，可以将其组合以生成梯度的绝对幅值和方向。图像imgbuf(j,i)通过以下两式与每个Sobel核进行卷积：

其中sobelx[…]和sobely[…]分别表示水平Sobel算子核和垂直Sobel算子核，并且DN_filtx(y,x)和DN_filty(y,x)是得到的矩阵。对于图像中的像素DN(y,x)，其中y是行数，x是列数，水平变化由DN_filtx(y,x)计算并且垂直变化由DN_filty(y,x)计算。

接下来，根据下式，使用包含在矩阵DN_filtx(y,x)和DN_filty(y,x)中的水平和垂直边缘信息来计算像素DN(y,x)处的“边缘”：

接下来，得到的矩阵sobelEdge(y,x)如下基于像素值与预定阈值threshold_sobel的比较来被转化成二进制图像：

如果sobelEdge(y,x)<＝threshold_sobel

设置sobelEdge(y,x)＝0

否则

设置sobelEdge(y,x)＝1

重复前述步骤，直到处理imgbuf(j,i)的所有像素为止。当处理完imgbuf(j,i)的所有像素时，得到的矩阵被存储在存储器中，例如作为sobelEdge。未滤波的像素(即，填充像素)的值设置为0。

在操作605处，输出边缘信息矩阵sobelEdge以用于以后的处理，如下文更全面地描述的。

接下来，在操作612至624处，使用所提取的边缘信息，诸如边缘信息矩阵sobelEdge，对钝化掩模mask的参数进行分类和修正。在操作612处，选择钝化掩模mask中的单独的像素值。

在操作614处，通过检查所提取的边缘信息中的对应像素值，例如当sobelEdge的值是sobelEdge(j,i)等于1？)时，来确定钝化掩模中的所选择的像素是否是边缘像素。当所选择的像素确实对应于边缘像素时，处理进行到操作620。

在操作620处，确定所选择的掩模像素mask(j,i)的绝对值是否大于或等于预定的钝化掩模增强阈值um_threshold(例如，abs(mask(j,i))>＝um_threshold？)，这在上述示例之间可能会有所不同。当绝对值大于或等于增强阈值时，处理进行到操作622，在该操作622处根据下式更新mask像素值

mask(j,i)＝um_strength*mask(j,i)

当所选择的mask像素的绝对值小于增强阈值时，所选择的mask像素值保持不变。

当所选择的像素不对应于边缘像素时，处理进行到操作616，在操作616处进一步确定所选择的mask像素mask(j,i)的绝对值是否小于或等于预定的钝化掩模增强截止阈值um_threshold_cut(例如abs(mask(j,i))<＝um_threshold_cut？)，其在上述示例之间可能会有所不同。当绝对值不小于或等于增强截止阈值时，处理进行到操作620以进行进一步确定。当绝对值小于或等于增强截止阈值时，处理进行到操作618，在操作618处将mask像素值设置为0(即，mask(j,i)＝0.0)。

在操作624处，确定是否已经处理了钝化掩模mask中的所有像素。如果否，则处理进行到操作612。如果是，则处理进行到操作626，在操作626处根据下式使用从操作603输出的imgbuf和从操作624输出的钝化掩模mask来使增强图像imgEnhance初始化：

imgEnhance＝imgbuf+mask

在操作628处，如果在边界处填充2个像素，则选择imgbuf的(j,i)处的像素，即imgbuf(j,i)，其中迭代变量j和i分别在3至Hp-2和3至Wp-2的范围内，使得原始图像中的所有像素(无填充的像素)都可以进行迭代。

在操作630处，通过检查所提取的边缘信息中的对应像素值，例如当sobeiEdge是例如sobelEdge(j,i)的值等于1？)时，确定imgbuf中的所选择的像素是否是边缘像素。当所选择的像素不对应于边缘像素时，增强图像中的像素值imgEnhance(j,i)和掩模值mask(j,i)保持不变，并且处理进行到操作646。

当所选择的像素是边缘像素时，处理进行到操作632，在操作632处处理器102定位以所选择的像素imgbuf(j,i)为中心的3×3核的局部最大值和局部最小值。最大值和最小值存储到存储器109中，分别由maxDN和minDN表示。

在操作634处，处理器102确定所选择的像素值是否等于在操作632处确定的局部最大值(例如，imgbuf(j,i)＝maxDN？)。如果是，则所选择的像素值保持不变，并且处理进行到操作646。如果否，则处理进行到操作636。

在操作636处，处理器102确定所选择的像素值是否等于在操作632处确定的局部最小值(例如，imgbuf(j,i)＝minDN？)。如果是，则所选择的像素值保持不变，并且处理进行到操作646。如果否，则处理进行到操作638。

在操作638处，处理器102确定增强图像imgEnhance(j,i)中的对应像素的值是否大于在操作632处确定的局部最大值(例如imgEnhance(j,i)>maxDN？)。如果是，则处理进行到操作642，在操作642处根据下式更新mask中的对应像素的值：

mask(j,i)＝mask(j,i)*um_strength

替选地，当增强图像的值不大于局部最大值时，处理进行到操作640，在操作640处进一步确定增强图像像素imgEnhance(j,i)是否小于局部最小值(imgEnhance(j,i)<minDN？)。如果是，则处理进行到操作642，在操作642处如上所述更新mask中的对应像素的值。如果否，则所选择的像素值保持不变，并且处理进行到操作646。

在操作644处，掩模中的在操作642处被更新的任何像素，根据下式修正增强图像像素值：

imgEnhance(j,i)＝imgbuf(j,i)+mask(j,i)

在操作646处，确定是否已处理imgbuf中的所有像素。如果否，则处理进行到操作628，在操作628处选择新像素。如果是，则处理进行到操作648，在操作648处去除钝化掩模mask和增强图像imgEnhance二者的填充像素的位置处的任何像素。所得到的增强图像imgEnhance被存储在存储器中，例如作为enhanced image(尺寸：W×H，其中W和H表示低分辨率图像的空间分辨率的宽度和高度)，并且钝化掩模被存储在存储器中，例如作为edges(尺寸：W×H，其中W和H表示低分辨率图像的空间分辨率的宽度和高度)。

图8示出了根据本公开的一个示例实施方式的用于对比度增强的方法800的流程图。方法800执行上面结合操作522描述的函数postConstrastEnh()。方法800可以由例如由处理器运行的软件来执行，该处理器可以是诸如图1所示的线扫描相机100的图像获取设备的处理器。替选地，方法800可以由与图像获取设备不同的分立的处理单元执行。方法800通常由与上述方法500和600相同的处理器执行。

在操作802处，接收在方法500的操作520处生成的超分辨率边缘信息SR_edge1和SR_edge2作为方法800的输入。

在操作804处，选择来自SR_edge1和SR_edge2的像素元素(j,i)，其中j>＝1且j<＝2H并且i>＝1且i<＝2W，其中W和H分别表示低分辨率图像的空间分辨率的宽度和高度。

在操作806处，确定两个边缘像素值是否均为正，即SR_edge1(j,i)>0且SR_edge2(j,i)>0？。当两个边缘像素值都不为正时，处理进行至操作810。当两个边缘像素值均为正时，处理进行至操作808，在操作808处将SR_edge1(j,i)和SR_edge2(j,i)中的最大值加到增强超分辨率边缘信息网格(SR_edge(j,i)＝max(SR_edge1(j,i),SR_edge2(j,i)))。

在操作810处，确定两个边缘像素值是否均为负，即SR_edge1(j,i)<0且SR_edge2(j,i)<0？。边缘像素的值可以由带符号的浮点数限定。对于8位图像，值可以在-255和+255之间的范围内。当两个边缘像素值都不为负时，处理进行到操作814。当两个边缘像素值均为负时，处理进行到操作812，在操作812处将SR_edge1(j,i)和SR_edge2(j,i)中的最小值加到增强超分辨率边缘信息网格(SR_edge(j,i)＝min(SR_edge1(j,i),SR_edge2(j,i)))。

在操作814处，确定是否一个边缘像素值是正而另一边缘像素值是负，即SR_edge1(j,i)<0且SR_edge2(j,i)>0)或(SR_edge1(j,i)>0)且SR_edge2(j,i)＜0)？。当不满足该条件时，处理进行到操作818。当满足该条件时，处理进行到操作816，在操作816处将SR_edge1(j,i)和SR_edge2(j,i)的平均值/均值加到增强超分辨率边缘信息网格(SR_edge(j,i)＝mean(SR_edge1(j,i),SR_edge2(j,i)))。

在操作818处，确定是否已经处理了SR_edge1和SR_edge2中的所有像素。如果否，则处理进行到操作804。如果是，则处理进行到操作820，在操作820处增强超分辨率边缘信息网格被存储在存储器中，例如作为SR_edge。

图9A至图9F示出了根据本公开的方法的一个示例实施方式处理的示例图像。低分辨率图像902是通过高分辨率图像的2:1下采样而创建的，而低分辨率图像904是通过以一个像素的对角线移位对同一高分辨率图像进行2:1下采样而创建的。为了对传感器点扩展函数(PSF)建模，在下采样中使用了空间平均算子。以这种方式，图9A和图9B中的两个混叠的低分辨率图像902和904分别是在低分辨率图像904从低分辨率图像902对角线移位半个像素的情况下获得的。图9C的图像是根据图5的方法500基于低分辨率图像902和904生成的超分辨率图像906。将低分辨率图像902和904按比例放大两倍，以便与超分辨率图像906进行比较。在超分辨率图像906的精细细节上清晰度的改善是显而易见的。图9D和图9E中的图像分别是以与低分辨率图像902和904相同的方式创建的混叠的低分辨率图像908和910，其中低分辨率图像910从低分辨率图像908对角线移位半个像素。图9F的图像是根据图5的方法500基于低分辨率图像908和910重建的超分辨率图像912。低分辨率图像908和910也按比例放大2倍以便与超分辨率图像912进行比较。超分辨率结果，超分辨率图像912，清楚地从混叠中恢复了精细的细节。

现在参照图10A和图10B，本公开的示例实施方式提供了对空间分辨率增强的数学评估。图10A是具有从上到下增大的各种空间频率的黑白正弦图案1000的模拟图像。黑白正弦图案1000可以被光学***用来评估本公开的示例实施方式。图10B是用于评估本公开的示例实施方式的各种图像的调制传递函数的曲线图。图10C和图10D是线轮廓，示出了分别由附图标记标识的图10A的正弦图案的两个线对空间频率处的强度随距离的正弦响应。可以看出，线轮廓1004具有比线轮廓1002更大的空间频率。随着图像获取设备保持对比度的能力在较高的空间频率处降低，即随着图像获取设备变得无法区分黑白线对，正弦波的强度值或幅值开始衰减，如线轮廓1002和1004所示。

如本领域中已知的，调制传递函数(MTF)是图像获取设备的空间分辨率性能的度量。MTF提供了图像获取设备以特定分辨率将对比度从物体转移到图像的能力的度量。即，MTF测量图像获取设备的空间频率响应或图像获取设备在给定距离内随着细节量增大而保持对比度的能力。可以通过离散频率生成来测量MTF。给定空间频率的调制可以使用下式计算：

为了量化由本公开的方法500提供的空间分辨率增强，MTF的改善可以指示所生成的超分辨率图像和低分辨率图像之间的空间分辨率增强。图10B是调制对每毫米的线对中的空间频率的曲线图。图10B的MTF曲线图比较了以因子8下采样的低分辨率图像的MTF和以因子4和6下采样的图像的MTF以及根据本公开的一个示例实施方式生成的两个超分辨率图像的MTF。随着空间频率的增大，MTF曲线下降直至达到零。如在图10B中可以看到的那样，所生成的超分辨率图像的MTF在以因子4和6下采样的图像的MTF之间。假设低分辨率图像来自像素尺寸为5μm的图像获取设备，则以因子4和6下采样的图像可被视为来自像素尺寸分别为2.5μm和3.75μm的图像获取设备。因此，再生的超分辨率图像的分辨率等于像素尺寸在3.75μm和2.5μm之间的图像获取设备的分辨率。考虑到噪声影响，与低分辨率图像相比，所生成的超分辨率图像的分辨率提高了大约33％至40％。

图11示出了根据本公开的一个示例实施方式的用于对超分辨率图像进行下采样以生成高MTF低分辨率图像的方法1100的流程图。

在操作1102处，根据图5的方法500生成的超分辨率图像被加载并且被存储在存储器中，例如作为SR。超分辨率图像的尺寸为2W×2H，其中W和H分别是低分辨率图像的宽度和高度。

在操作1104处，例如使用在此描述的算法来自适应地增强超分辨率图像SR，并且将其存储在存储器中，例如作为SREnhance。

在操作1106处，将两轮双线性下采样算法应用于自适应增强超分辨率图像SREnhance。在一些示例实施方式中，自适应增强超分辨率图像以因子2:1被下采样。根据一个示例，通过从像素DN(1,1)开始，对2×2核或感兴趣区域(ROI)中的每四个像素取平均，针对每个像素DN(x,y)对增强超分辨率图像执行第一轮下采样，以根据下式生成新的对应像素值：

其中1<＝j<＝2H，1<＝i<＝2W，1<＝y<＝H，1<＝x<＝W。

当增强超分辨率图像中的所有像素都已被下采样时，得到的第一中间低分辨率图像被存储在存储器中，例如作为scaleDown1。

接下来，对增强超分辨率图像执行第二轮下采样，但是第二轮不从像素DN(1,1)开始，而是从像素DN(2,2)开始，反映对角线全像素移位。执行第二轮下采样

其中2<＝j<＝2H+1，2<＝i<＝2W+1，1<＝y<＝H，1<＝x<＝W。

当第二轮下采样已经完成时，得到的第二中间低分辨率图像被存储在存储器中，例如作为scaleDown2。

最后，通过组合下采样的第一和第二中间低分辨率图像scaleDown1和scaleDown2以如下对它们求平均来生成高清晰度、低分辨率图像(也称为高精度、低分辨率图像或高MTF低分辨率图像)：

highMTF＝0.5*(scaleDown1+scaleDown2)

在操作1108处，下采样图像被存储在存储器中，例如作为highMTF。

图12A至图12D示出了本公开的示例实施方式的结果。图12A是使用本公开的示例实施方式生成的超分辨率图像的一部分。图12B和图12C是使用本公开的示例实施方式用于生成图12A的超分辨率图像的第一和第二低分辨率图像的相同部分。图12D是使用本公开的示例实施方式从图12A的超分辨率图像生成的高MTF图像的相同部分。在图12B和图12C中的低分辨率图像和在图12D中的高MTF图像被放大两倍以便与图12A中的超分辨率图像比较。

图13A至图13E是来自CMOS TDI相机的图像，示出了本公开的示例实施方式的结果。相机被设置为对USAF 1951目标成像。相机拍摄对角线移位半个像素的两个低分辨率图像。图13A示出了两个低分辨率图像之一。图13B是图13A的低分辨率图像的放大图。图13C是基于两个低分辨率图像生成的超分辨率图像的放大，并且低分辨率图像之一如图13A所示。为了比较，图13B比图13C放大两倍。图13D和图13E示出了在极高频率下的低分辨率图像图13B和超分辨率图像图13C的线轮廓。图13D和图13E的线轮廓分别基于低分辨率图像图13B和箭头1302和1304指示的超分辨率图像的区域。线轮廓表明在超分辨率图像中恢复了高频信息。

尽管所描述的实施方式主要涉及线扫描相机，但是本公开的教导可以应用于诸如面扫描数字相机的其他合适的数字成像设备。

综述

本文所述的流程图和附图中的步骤和/或操作仅出于示例目的。在不脱离本公开的教导的情况下，这些步骤和/或操作可以有许多变型。例如，可以以不同的顺序执行步骤，或者可以添加、删除或修改步骤。

考虑到本公开，用于执行所描述的上述方法的软件的编码在本领域普通技术人员的范围内。可由一个或更多个相应设备的一个或更多个处理器执行以执行上述方法的机器可读代码可以存储在诸如数据管理器的存储器的机器可读介质中。术语“软件”和“固件”在本公开中是可互换的，并且包括存储在存储器中以供处理器运行的任何计算机程序，包括随机存取存储器(RAM)存储器、只读存储器(ROM)存储器、EPROM存储器，电EPROM(EEPROM)存储器和非易失性RAM(NVRAM)存储器。以上存储器类型仅是示例，并且因此不限于可用于存储计算机程序的存储器的类型。

还公开了所公开范围内的所有值和子范围。而且，尽管本文公开和示出的***、设备和处理可以包括特定的多个元件，但是可以将***、设备和组件修改为包括额外的或更少的这种元件。尽管这里描述了若干示例实施方式，但是修改、调整和其他实现是可能的。例如，可以对附图中示出的元件进行替换、添加或修改，并且可以通过替代、重新排序或向所公开的方法添加步骤来修改本文所述的示例方法。

可以选择来自一个或更多个上述实施方式的特征以创建包括以上未明确描述的特征的子组合的替选实施方式。另外，可以选择并组合来自一个或更多个上述实施方式的特征以创建包括以上未明确描述的特征的组合的替选实施方式。通过整体上阅读本申请，适于这样的组合和子组合的特征对于本领域技术人员而言将是显而易见的。

此外，阐述了许多具体细节以提供对本文描述的示例实施方式的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本文描述的示例实施方式。此外，未详细描述公知的方法、过程和元件，以免模糊本文描述的示例实施方式。本文和在权利要求书中描述的主题旨在覆盖和包含技术上的所有适当改变。

尽管至少部分地根据方法描述了本公开，但是本领域普通技术人员将理解，本公开还涉及用于执行所描述的方法的至少一些方面和特征的各种元件，无论是通过硬件、软件还是它们的组合。因此，本公开的技术方案可以实施在其上存储有形存储在其上的可运行指令的非易失性或非暂态机器可读介质(例如，光盘、闪存等)中，该可运行指令使得处理设备能够执行本文公开的方法的示例。

术语“处理器”可以包括任何可编程***，包括使用微处理器/控制器或纳米处理器/控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)精简指令集电路(RISC)、逻辑电路以及任何其他能够执行本文描述的功能的电路或处理器。术语“数据库”可以指代数据主体、关系数据库管理***(RDBMS)或此两者。如本文所使用的，数据库可以包括如下数据的任何集合，该数据包括分层数据库、关系数据库、平面文件数据库、对象关系数据库、面向对象的数据库以及存储在计算机***中的记录或数据的任何其他结构化集合。以上示例仅是示例，因此无意以任何方式限制术语“处理器”或“数据库”的定义和/或含义。

Claims (15)

1.一种图像分辨率增强***，包括：

处理电路和存储器单元，其中所述存储器单元被配置成存储一个或更多个指令，所述指令在被所述处理电路运行时使所述处理电路：

接收同一场景的第一低分辨率图像和第二低分辨率图像，其中，所述第一低分辨率图像和所述第二低分辨率图像具有第一空间分辨率并且被共同的图像传感器的成对的像素阵列同时捕获，其中，所述图像传感器的成对的像素阵列被定位成彼此以对角线移位子像素增量；

自适应地增强所述第一低分辨率图像和所述第二低分辨率图像以分别生成增强第一低分辨率图像和增强第二低分辨率图像；

从所述第一低分辨率图像和所述第二低分辨率图像中分别提取边缘信息；

将所述增强第一低分辨率图像和所述增强第二低分辨率图像每个的像素映射到超分辨率网格以分别生成第一中间超分辨率图像和第二中间超分辨率图像，所述超分辨率网格具有大于所述第一空间分辨率的空间分辨率；

组合所述第一中间超分辨率图像和所述第二中间超分辨率图像以生成复合超分辨率图像；

将所述第一低分辨率图像和所述第二低分辨率图像的边缘信息映射到空间分辨率大于所述第一空间分辨率的超分辨率网格以生成增强超分辨率边缘信息；以及

利用所述增强超分辨率边缘信息增强所述复合超分辨率图像的对比度以生成对比度恢复超分辨率图像。

2.根据权利要求1所述的图像分辨率增强***，其中，所述指令在被所述处理电路运行时使所述处理电路自适应地增强所述第一低分辨率图像和所述第二低分辨率图像，进一步使所述处理电路：

从所述第一低分辨率图像中提取第一边缘信息以及从所述第二低分辨率图像中提取第二边缘信息：

对于所述第一低分辨率图像或所述第二低分辨率图像中的每个像素：

使用所述第一边缘信息或所述第二边缘信息确定所述第一低分辨率图像或所述第二低分辨率图像中的像素是否为边缘像素；

对于作为边缘像素的每个像素，

确定以该像素为中心的预定区域内的像素的最大值和最小值，以及

响应于确定增强像素的初始值大于所述最大值或小于所述最小值，增强所述第一低分辨率图像或所述第二低分辨率图像中的像素的值。

3.根据权利要求1所述的图像分辨率增强***，其中，所述指令在被所述处理电路运行时使所述处理电路自适应地增强所述第一低分辨率图像和所述第二低分辨率图像，进一步使所述处理电路：

从所述第一低分辨率图像中提取第一边缘信息以及从所述第二低分辨率图像中提取第二边缘信息；

对所述第一低分辨率图像和所述第二低分辨率图像应用平滑算法；

基于所述第一低分辨率图像和所述第二低分辨率图像以及经平滑的第一低分辨率图像和经平滑的第二低分辨率图像，生成用于所述第一低分辨率图像和所述第二低分辨率图像的每个的钝化掩模，其中，所述钝化掩模具有与所述第一低分辨率图像和所述第二低分辨率图像的第一空间分辨率相同的空间分辨率；

通过向所述第一低分辨率图像或所述第二低分辨率图像添加所述钝化掩模来初始化增强图像；

针对所述第一低分辨率图像和所述第二低分辨率图像中的每个像素：

使用所述第一边缘信息或所述第二边缘信息确定所述第一低分辨率图像或所述第二低分辨率图像中的像素是否为边缘像素；

对于作为边缘像素的每个像素，

确定以所述像素为中心的预定区域内的像素的最大值和最小值，

确定所述像素是否具有在所述最大值和所述最小值之间的值以及增强低分辨率图像中的对应像素的值是否大于所述最大值或小于所述最小值，所述增强低分辨率图像指所述增强第一低分辨率图像或所述增强第二低分辨率图像，

响应于确定所述像素具有在所述最大值和所述最小值之间的值并且所述增强低分辨率图像中的对应像素具有在所述最大值和所述最小值之外的值，以增强因子对与所述第一低分辨率图像或所述第二低分辨率图像中的像素相对应的所述钝化掩模中的像素的值进行增强，以及

将所述增强低分辨率图像中的像素的值替换为所述钝化掩模中的元素的增强值与所述低分辨率图像中的像素的值之和。

4.根据权利要求3所述的图像分辨率增强***，其中，所述指令在被所述处理电路运行时使所述处理电路生成用于所述第一低分辨率图像和所述第二低分辨率图像的每个的钝化掩模，进一步使所述处理电路：

将所述钝化掩模分别初始化为所述第一低分辨率图像与经平滑的第一低分辨率图像之间的差或所述第二低分辨率图像与经平滑的第二低分辨率图像之间的差；

对于所述钝化掩模中的每个像素：

使用所述第一边缘信息或所述第二边缘信息确定所述钝化掩模中的像素是否为边缘像素；

对于作为边缘像素的每个像素，响应于所述钝化掩模中的像素的绝对值大于或等于增强阈值，以增强因子对所述钝化掩模中的像素的值进行增强；

对于不是边缘像素的每个像素，响应于所述钝化掩模中的像素的绝对值小于或等于截止阈值，将所述钝化掩模中的像素的值设置为零；

对于不是边缘像素的每个像素，响应于所述钝化掩模中的像素的绝对值大于或等于所述增强阈值，以增强因子对所述钝化掩模中的像素的值进行增强。

5.根据权利要求1所述的图像分辨率增强***，所述指令在被所述处理电路运行时进一步使所述处理电路：

从所述第一低分辨率图像中提取第一边缘信息以及从所述第二低分辨率图像中提取第二边缘信息；

将所述第一边缘信息的像素和所述第二边缘信息的像素映射到空间分辨率大于所述第一空间分辨率的超分辨率网格以分别生成第一超分辨率边缘信息和第二超分辨率边缘信息；

自适应地增强和组合所述第一超分辨率边缘信息和所述第二超分辨率边缘信息以生成增强超分辨率边缘信息网格；以及

利用所述增强超分辨率边缘信息网格增强所述复合超分辨率图像以生成对比度恢复超分辨率图像。

6.根据权利要求5所述的图像分辨率增强***，其中，所述指令在被所述处理电路运行时使所述处理电路利用所述增强超分辨率边缘信息增强所述复合超分辨率图像，进一步使所述处理电路：

对于所述第一超分辨率边缘信息和所述第二超分辨率边缘信息中的每个空间对应像素对：

响应于确定所述空间对应像素对的两个像素都具有正值，将增强超分辨率边缘信息网格的空间对应值设置为所述空间对应像素对的值中的最大值；

响应于确定所述空间对应像素对的两个像素都具有负值，将所述增强超分辨率边缘信息网格的空间对应值设置为所述空间对应像素对的值中的最小值；

响应于确定所述空间对应像素对中的一个像素具有正值并且所述空间对应像素对中的一个像素具有负值，将所述增强超分辨率边缘信息网格的空间对应值设置为所述空间对应像素对的值的平均值；以及

将所述复合超分辨率图像与所述增强超分辨率边缘信息网格组合。

7.根据权利要求1所述的图像分辨率增强***，其中，所述超分辨率网格的空间分辨率是所述第一低分辨率图像和所述第二低分辨率图像的所述第一空间分辨率的两倍。

8.根据权利要求7所述的图像分辨率增强***，其中，所述增强第一低分辨率图像和所述增强第二低分辨率图像的每个的像素被非均匀地映射到所述超分辨率网格。

9.根据权利要求1所述的图像分辨率增强***，其中，在被所述处理电路运行时使所述处理电路组合所述第一中间超分辨率图像和所述第二中间超分辨率图像以生成复合超分辨率图像的所述指令使所述处理电路执行双线性堆叠组合。

10.根据权利要求1所述的图像分辨率增强***，其中，所述指令在被所述处理电路运行时进一步使所述处理电路：

识别所述复合超分辨率图像中的像素用于对比度增强；

针对为对比度增强而识别的每个像素确定对比度增强量；以及

将所确定的对比度增强量应用于为对比度增强而识别的每个像素以生成对比度恢复超分辨率图像。

11.根据权利要求10所述的图像分辨率增强***，其中，所述指令在被所述处理电路运行时进一步使所述处理电路：

自适应地增强所述对比度恢复超分辨率图像以生成增强超分辨率图像；

从第一像素开始，对所述增强超分辨率图像执行第一轮双线性下采样以生成第一中间低分辨率图像；

从相对于所述第一像素对角线移位像素增量的第二像素开始，对所述增强超分辨率图像执行第二轮双线性下采样以生成第二中间低分辨率图像；以及

组合所述第一中间低分辨率图像和所述第二中间低分辨率图像以生成高清晰度低分辨率图像。

12.根据权利要求11所述的图像分辨率增强***，其中，所述指令在被所述处理电路运行来组合所述第一中间低分辨率图像和所述第二中间低分辨率图像时包括在被所述处理电路运行时使所述处理电路对所述第一中间低分辨率图像和所述第二中间低分辨率图像中的空间对应像素的强度值求平均的指令。

13.根据权利要求11所述的图像分辨率增强***，其中，所述指令在被所述处理电路运行时使所述处理电路自适应地增强所述对比度恢复超分辨率图像，进一步使所述处理电路：

从所述对比度恢复超分辨率图像中提取边缘信息；

对于所述对比度恢复超分辨率图像中的每个像素：

使用所述边缘信息确定所述像素是否为边缘像素；

对于作为边缘像素的每个像素，

确定以所述像素为中心的预定区域内的像素的最大值和最小值，以及

响应于确定增强像素的初始值大于所述最大值或小于所述最小值，增强所述第一低分辨率图像或所述第二低分辨率图像中的像素的值。

14.根据权利要求11所述的图像分辨率增强***，其中，在被所述处理电路运行时使所述处理电路执行所述第一轮双线性下采样和所述第二轮双线性下采样的所述指令包括在被所述处理电路运行时使所述处理电路执行对所述增强超分辨率图像中的多个像素求平均的指令。

15.根据权利要求1所述的图像分辨率增强***，所述指令在被所述处理电路运行时进一步使所述处理电路：

从图像传感器获取所述第一低分辨率图像和所述第二低分辨率图像。