CN118250580A - 图像处理器及包括其的图像处理***和图像处理方法 - Google Patents

Abstract

公开了图像处理器和包括图像处理器的图像处理***及图像处理方法，并且图像处理***可以包括：图像传感器，其包括多个像素区域并被配置为从多个像素区域生成像素值；以及图像处理器，其被配置为基于像素值和校准图对针对每个像素区域的视差值进行校准并生成深度图。

Description

图像处理器及包括其的图像处理***和图像处理方法

相关申请的交叉引用

本申请要求于2022年12月23日提交的第10-2022-0183281号韩国专利申请的优先权，其公开整体通过引用并入本文。

技术领域

本公开的多种实施例涉及半导体设计技术，更具体地，涉及用于基于像素值来生成深度图的图像处理器及包括图像处理器的图像处理***。

背景技术

图像传感器是使用对光作出反应的半导体的特性来捕捉图像的装置。图像传感器可以被分类为电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。近年来，由于CMOS图像传感器能够允许模拟控制电路和数字控制电路直接在单个集成电路(IC)上实现，因此CMOS图像传感器被广泛地使用。

图像处理器可以基于从图像传感器生成的像素值来生成深度图。根据被图像处理器使用以提取深度图的应用而发生多种副作用。当图像处理器使用散景(Bokeh)应用时，具有模糊现象不能均匀地反映在图像的背景部分(或***部分)中的问题。

发明内容

本公开的多种实施例涉及图像处理器和包括图像处理器的图像处理***，图像处理器能够通过对深度图进行校准来在图像背景部分中均匀地反映模糊现象。

此外，本公开的多种实施例涉及图像处理器和包括图像处理器的图像处理***，图像处理器能够根据光照度来对深度图进行正确校准。

根据本公开的实施例，图像处理器可以包括：校准图生成器，其被配置为生成校准图，校准图表示与深度图相对应的像素值的特征；以及校准器，其被配置为基于像素值和校准图来对针对每个像素区域的视差值进行校准。

根据本公开的实施例，图像处理***可以包括：图像传感器，其包括多个像素区域，并被配置为从多个像素区域生成像素值；以及图像处理器，其被配置为基于像素值和校准图来对针对每个像素区域的视差值进行校准并生成深度图。

根据本公开的实施例，图像处理方法可以包括：基于从图像传感器的多个像素区域生成的像素值来生成与多个像素区域相对应的多个视差值；生成表示像素值的特征的校准图；基于多个视差值和校准图来将多个像素区域之中的目标像素区域的视差值映射到多个像素区域之中的参考像素区域的视差值；基于视差值生成深度图。

根据本公开的实施例，图像处理器可以包括：校准器，其适于基于视差值和校准图来生成深度图；以及校准图生成器，其适于根据光照度来对至少两个第一参考校准图进行采样，通过对第一参考校准图进行插值来生成至少一个第二参考校准图，以及向校准器提供第一参考校准图与第二参考校准图之间的与当前光照度相对应的参考校准图作为校准图。

校准图可以包括第一特征图和第二特征图，第一特征图与表示多个像素区域的特征的线性函数的斜率相对应，第二特征图与线性函数的截距相对应。

每个线性函数可以表示针对每个像素区域而生成的视差值与反距离值之间的关系。

校准图和深度图可以具有相同的分辨率。

校准器可以基于视差值和校准图来对针对每个像素区域的视差值进行校准。

校准器可以将多个像素区域之中的目标像素区域的视差值映射到多个像素区域之中的参考像素区域的视差值。

参考像素区域可以包括像素阵列中所包括的多个像素区域之中的设置在像素阵列的中心的像素区域。

附图说明

图1是示出根据本公开的实施例的图像处理***的框图。

图2是图1所示的图像传感器的详细框图。

图3是图1所示的图像处理器的详细框图。

图4至图6是用于描述根据本公开的实施例的图像处理***的操作的示意图。

具体实施方式

下面参考附图来描述本公开的多种实施例，以便详细描述本公开，使得本公开所属领域的普通技术人员可以容易地实施本公开的技术精神。

将理解，当元件被称为与另一个元件“连接”或“耦接”时，元件可以被直接连接或耦接到另一个元件，或者在一个或更多个元件插置在其间的情况下电连接或耦接到另一个元件。此外，还将理解，除非另有说明，术语“包含有”、“包含”、“包括有”和“包括”在本说明书中使用时不排除一个或更多个其他元件的存在，相反可以进一步包括或具有一个或更多个其他元件。在整个说明书的描述中，一些组件以单数形式来描述，但本公开不限于此，将理解该组件可以以复数形式形成。

图1是示出根据本公开的实施例的图像处理***10的框图。

参考图1，图像处理***10可以包括图像传感器100和图像处理器200。

图像传感器100可以生成像素值IMG。在测试模式中，图像传感器100可以针对每一距离M捕捉具有相同纹理图案(例如，平面图案)的场景，并生成与多个捕捉的图像相对应的像素值IMG。在正常模式下，图像传感器100可以捕捉当前场景并生成与捕捉的图像相对应的像素值IMG。

图像处理器200可以基于像素值IMG来生成深度图DMAP。在测试模式中，图像处理器200可以基于与多个图像相对应的像素值IMG来生成校准图CMAP(参见图3)。在正常模式中，图像处理器200可以基于像素值IMG和校准图CMAP来生成深度图DMAP。

图2是示出图1所示的图像传感器100的详细框图。

参考图2，图像传感器100可以使用飞行时间(TOF)方法来生成像素值IMG，像素值IMG指示图像传感器100距离物体(未示出)的深度。例如，图像传感器100可以生成像素值IMG，该像素值适于计算发射到物体的发射光MS和从物体反射的入射光RS之间的相位差。在实施例中，图像传感器100可以包括行控制器110、相位控制器120、光发射器130、像素阵列140和信号转换器150。

行控制器110可以生成针对每一行的用于控制像素阵列140的多个行控制信号RCTRL。

相位控制器120可以生成具有不同相位的多个时钟信号VMIX。例如，多个时钟信号VMIX可以包括第一时钟信号至第四时钟信号。第一时钟信号与第二时钟信号之间可以具有90度的相位差，第二时钟信号与第三时钟信号之间可以具有90度的相位差，以及第三时钟信号与第四时钟信号之间可以具有90度的相位差。再例如，多个时钟信号VMIX可以包括第一时钟信号和第二时钟信号。第一时钟信号与第二时钟信号之间可以具有180度的相位差。

光发射器130可以将发射光MS输出到物体(未示出)。

像素阵列140可以基于入射光RS、多个行控制信号RCTRL和多个时钟信号VMIX来生成多个像素信号PXOUT。像素阵列140可以包括多个像素组。多个像素组中的每一个像素组可以包括两个或更多个像素。两个或更多个像素可以被布置成2×1结构、或2×2结构等，并共享一个微透镜。例如，当多个像素组中的每一个像素组包括被布置成2×2结构的第一像素至第四像素时，第一像素至第四像素可以接收第一时钟信号至第四时钟信号，第一时钟信号至第四时钟信号之间具有90度的相位差。

信号转换器150可以将是模拟信号的多个像素信号PXOUT转换为是数字信号的像素值IMG。

图3是示出图1所示的图像处理器200的详细框图。

参考图3，图像处理器200可以包括预处理器210、校准图生成器220、校准器230和后处理器240。

预处理器210可以基于像素值IMG来生成与多个像素区域相对应的多个视差值DP。多个像素区域中的每一个像素区域可以包括多个像素组中的至少一个像素组。例如，多个像素区域中的每一个像素区域可以包括多个像素组中的一个像素组。再例如，多个像素区域中的每一个像素区域可以包括多个像素组之中的两个或更多个相邻像素组。在本文中，多个像素区域之中的相邻像素区域可以共同包括两个或更多个像素组之中的至少一个像素组。多个视差值DP中的每一个视差值都可以与用于每个像素区域的发射光MS和入射光RS之间的相位差相对应。例如，当多个像素区域中的每一个像素区域包括一个像素组时，多个视差值DP中的每一个视差值可以是与这一个像素组相对应的一个视差值。再例如，当多个像素区域中的每一个像素区域包括两个或更多个像素组时，多个视差值DP中的每一个视差值可以是与该两个或更多个像素组相对应的两个或更多个视差值的平均值。

校准图生成器220可以生成表示像素值IMG的特征的校准图CMAP。例如，校准图CMAP可以包括第一特征图和第二特征图，第一特征图与表示多个像素区域的特征的线性函数的斜率相对应，第二特征图与线性函数的截距(即，y截距)相对应。每个线性函数可以表示针对每个像素区域而生成的视差值与反距离值之间的关系。反距离值可以指距离M的倒数(即，1/M)。线性函数可以通过最小二乘法来估计。校准图CMAP和深度图DMAP可能具有相同的分辨率。

例如，在测试模式中，校准图生成器220可以根据光照度来生成至少两个参考校准图，至少两个参考校准图是基于根据光照度而输入的像素值IMG的。在正常模式中，校准图生成器220可以将参考校准图之中的与当前光照度相对应的参考校准图用作校准图CMAP。

再例如，在测试模式中，校准图生成器220可以根据光照度来对基于根据光照度而输入的像素值IMG的至少两个第一参考校准图进行采样，并通过对第一参考校准图进行插值来生成至少一个第二参考校准图。在正常模式中，校准图生成器220可以将第一参考校准图与第二参考校准图之间的与当前光照度相对应的参考校准图用作校准图CMAP。

校准器230可以对多个视差值DP进行校准，并基于多个视差值DP和校准图CMAP来生成多个校准的视差值CDP。例如，在正常模式下，校准器230可以将目标像素区域的视差值映射到参考像素区域的视差值。目标像素区域可以指从多个像素区域之中依次选择的随机像素区域，而参考像素区域可以指多个像素区域之中的设置在像素阵列140的中心的像素区域。

后处理器240可以基于多个校准的视差值CDP来生成深度图DMAP。例如，后处理器240可以包括彩色映射转换器。

在下文中，参考图4至图6来描述根据本公开的实施例的具有上述配置的图像处理***10的操作。

首先，描述测试模式期间图像处理***10的操作。

在焦点被固定的情况下，图像传感器100可以针对每一距离M捕捉具有相同的纹理图案(例如，平面图案)的场景。例如，图像传感器100可以以“10cm”的间隔捕捉相同的场景多次。图像传感器100可以生成与多个捕捉的图像相对应的像素值IMG。

图像处理器200可以基于像素值IMG来估计与来自多个图像的多个像素区域相对应的线性函数。例如，图像处理器200可以基于针对每个像素区域的反距离值1/M和视差值来估计线性函数中的每一个线性函数。线性函数中的每一个线性函数均可以通过最小二乘法来估计。

图4示出了对多个线性函数之中的随机线性函数F#进行估计的示例。

参考图4，图像处理器200可以计算分别与来自多个图像的同一位置处的像素区域A0、A1、A2、…、和An相对应的视差值DP0、DP1、DP2、…、和DPn，并且通过线性拟合来表示计算的视差值DP0、DP1、DP2、…和DPn与反距离值1/M之间的关系。线性拟合可以指线性函数F#并且可以通过最小二乘法来进行估计。

尽管作为示例描述了仅估计一个线性函数F#的过程，但该过程可以以同样的方式适用于本实施例，并且与多个像素区域相对应的多个线性函数可以全部被估计并被使用。

图像处理器200可以根据线性函数来生成校准图CMAP。例如，校准图CMAP可以包括第一特征图和第二特征图，第一特征图与表示多个像素区域的特征的线性函数的斜率相对应，第二特征图与线性函数的截距(即，y截距)相对应。

图5示出了第一特征图和第二特征图的示例。

参考图5的(A)，第一特征图可以表示多个图像的特征之中的与多个像素区域的位置相对应的线性函数的斜率。

参考图5的(B)，第二特征图可以表示多个图像的特征之中的与多个像素区域的位置相对应的线性函数的截距(即，y截距)。

在实施例中，图像处理器200可以基于根据低亮度而输入的像素值IMG来对与低亮度相对应的第一参考校准图进行采样，以及基于根据高亮度而输入的像素值IMG来对与高亮度相对应的第二参考校准图进行采样。图像处理器200可以通过对第一参考校准图和第二参考校准图进行插值来生成至少一个第三参考校准图。图像处理器200可以选择并使用第一参考校准图至第三参考校准图中的一个参考校准图作为校准图CMAP。

接下来，描述图像处理***10在正常模式期间的操作。

图像传感器100可以捕捉当前场景并生成与捕捉的图像相对应的像素值IMG。

图像处理器200可以基于像素值IMG来生成深度图DMAP。例如，图像处理器200可以通过将多个像素区域之中的目标像素区域的视差值映射到多个像素区域之中的参考像素区域的视差值来生成深度图DMAP。目标像素区域可以指从多个像素区域之中依次选择的随机像素区域，而参考像素区域可以指多个像素区域之中的设置在像素阵列140的中心的像素区域。

图6示出了用于描述将目标像素区域的视差值映射到参考像素区域的视差值的过程的曲线图。

参考图6，图像处理器200可以基于校准图CMAP，根据与目标像素区域的位置相对应的线性函数Fx来反追踪与目标像素区域的视差值相对应的反距离值/>然后根据与参考像素区域的位置相对应的线性函数F0来追踪与反距离值/>相对应的参考像素区域的视差值/>该过程可以被表示为如下“等式1”。

[等式1]

在本文中，“X”可以指目标像素区域的位置，“0”可以指参考像素区域的位置，“D'(X)”可以指参考像素区域的视差值(即，校准的视差值)，“D(X)”可以指目标像素区域的视差值/>(即，未校准的视差值)，“Iz(0)”可以指参考像素区域的截距，“Sz(0)”可以指参考像素区域的斜率，“Iz(X)”可以指目标像素区域的截距，以及“Sz(X)”可以指目标像素区域的斜率。

在实施例中，图像处理器200可以选择地使用适于当前光照度的校准图CMAP。

根据本发明的实施例，通过对视差值进行校准，可以在图像的背景部分中均匀地反映模糊现象并使用适于当前光照度的校准图。

根据本公开的实施例，通过在图像的背景部分中均匀地反映模糊现象，可以改善背景部分的均匀性(uniformity)。

此外，根据本公开的实施例，通过使用根据光照度的合适的校准图，可以在不考虑光照度的情况下对深度图进行正确校准。

虽然已针对具体实施例来说明和描述了本公开，但公开的实施例被提供用于描述，并不旨在是限制性的。此外，需要注意的是，正如本领域技术人员根据本公开而理解的那样，本公开可以通过落入所附权利要求的范围内的替换、改变和修改而以多种方式实现。此外，实施例可以被组合以形成另外的实施例。

Claims (20)

1.一种图像处理器，包括：

校准图生成器，其：生成校准图，所述校准图表示与深度图相对应的像素值的特征；以及

校准器，其基于所述像素值和所述校准图来对针对每个像素区域的视差值进行校准。

2.如权利要求1所述的图像处理器，其中，所述校准图包括：

第一特征图，其与表示多个像素区域的特征的线性函数的斜率相对应，以及

第二特征图，其与所述线性函数的截距相对应。

3.如权利要求2所述的图像处理器，其中，所述线性函数中的每一个线性函数表示针对每个像素区域而生成的视差值与反距离值之间的关系。

4.如权利要求1所述的图像处理器，其中，所述校准图和所述深度图具有相同的分辨率。

5.如权利要求1所述的图像处理器，其中，所述校准器将多个像素区域之中的目标像素区域的视差值映射到所述多个像素区域之中的参考像素区域的视差值。

6.如权利要求5所述的图像处理器，其中，所述参考像素区域包括像素阵列中所包括的所述多个像素区域之中的、设置在所述像素阵列的中心的像素区域。

7.如权利要求1所述的图像处理器，其中，所述校准图生成器：根据光照度来生成至少两个参考校准图，并将所述至少两个参考校准图之中的与当前光照度相对应的参考校准图用作校准图。

8.如权利要求1所述的图像处理器，其中，所述校准图生成器：根据光照度来对至少两个第一参考校准图进行采样，通过对所述至少两个第一参考校准图进行插值来生成至少一个第二参考校准图，并将所述至少两个第一参考校准图与所述至少一个第二参考校准图之中的与当前光照度相对应的参考校准图用作所述校准图。

9.一种图像处理***，包括：

图像传感器，其：包括多个像素区域，并从所述多个像素区域生成像素值；以及

图像处理器，其：基于所述像素值和校准图来对针对每个像素区域的视差值进行校准并生成深度图。

10.如权利要求9所述的图像处理***，其中，所述图像处理器：通过将所述多个像素区域之中的目标像素区域的视差值映射到所述多个像素区域之中的参考像素区域的视差值来生成所述深度图。

11.如权利要求10所述的图像处理***，其中，所述参考像素区域包括像素阵列中所包括的所述多个像素区域之中的、设置在所述像素阵列中心的像素区域。

12.如权利要求9所述的图像处理***，其中，所述校准图包括：

第一特征图，其与表示所述多个像素区域的特征的线性函数的斜率相对应，以及

第二特征图，其与所述线性函数的截距相对应。

13.如权利要求12所述的图像处理***，其中，所述线性函数中的每一个线性函数表示针对每个像素区域而生成的视差值与反距离值之间的关系。

14.如权利要求9所述的图像处理***，其中，所述校准图和所述深度图具有相同的分辨率。

15.如权利要求9所述的图像处理***，其中，所述图像处理器包括：

预处理器，其基于所述像素值来生成与所述多个像素区域相对应的多个视差值；

校准图生成器，其生成所述校准图；

校准器，其：基于所述多个视差值和所述校准图来将所述多个像素区域之中的目标像素区域的视差值映射到所述多个像素区域之中的参考像素区域的视差值；以及

后处理器，其基于由所述校准器生成的所述视差值来生成所述深度图。

16.如权利要求15所述的图像处理***，其中，所述校准图生成器：根据光照度来生成至少两个参考校准图，并且将所述至少两个参考校准图之中的与当前光照度相对应的参考校准图用作所述校准图。

17.如权利要求15所述的图像处理***，其中，所述校准图生成器：根据光照度来对至少两个第一参考校准图进行采样，通过对所述至少两个第一参考校准图进行插值来生成至少一个第二参考校准图，并将所述至少两个第一参考校准图与所述至少一个第二参考校准图之中的与当前光照度相对应的参考校准图用作所述校准图。

18.一种图像处理方法，包括：

基于从图像传感器的多个像素区域生成的像素值来生成与所述多个像素区域相对应的多个视差值；

生成表示所述像素值的特征的校准图；

基于多个视差值和所述校准图来将所述多个像素区域之中的目标像素区域的视差值映射到所述多个像素区域之中的参考像素区域的视差值，

基于所述视差值来生成深度图。

19.如权利要求18所述的图像处理方法，其中，生成所述校准图包括：

根据光照度来生成至少两个参考校准图；以及

将所述至少两个参考校准图之中的与当前光照度相对应的参考校准图用作所述校准图。

20.如权利要求18所述的图像处理方法，其中，生成所述校准图包括：

根据光照度来对至少两个第一参考校准图进行采样；

通过对所述至少两个第一参考校准图进行插值来生成至少一个第二参考校准图；以及

将所述至少两个第一参考校准图与所述至少一个第二参考校准图之中的与当前光照度相对应的参考校准图用作所述校准图。