CN110225269A - 具有宏像素处理的图像传感器装置以及相关装置和方法 - Google Patents

Abstract

本披露涉及具有宏像素处理的图像传感器装置以及相关装置和方法。一种图像传感器装置可以包括其中相邻的图像感测像素被安排成多个宏像素的图像感测像素阵列以及耦接于该图像感测像素阵列的处理器。该处理器可以被配置成用于从该图像感测像素阵列接收多个像素信号，并且将所接收到的这些像素信号安排到针对对应的宏像素的多个宏像素信号集中。该处理器可以被配置成用于对针对每个宏像素信号集的所接收到的这些像素信号并行地执行图像增强操作以生成多个增强的宏像素信号，并且对这些增强的宏像素信号进行传输。

Description

具有宏像素处理的图像传感器装置以及相关装置和方法

本申请是申请日为2016年6月20日、发明名称为“具有宏像素处理的图像传感器装置以及相关装置和方法”、申请号为201610448335.9的中国发明专利申请的分案申请。

技术领域

本披露涉及集成电路领域，并且更具体地涉及图像传感器装置及相关方法。

背景技术

通常，电子装置包括用于提供增强的媒体功能的一个或多个照相机模块。例如，典型的电子装置可以利用这些照相机模块进行照片拍摄和视频电话会议。在具有多个照相机模块的典型电子装置中，主照相机模块具有高像素密度和可调焦距镜头***，而副照相机模块是前置的并且具有较低的像素密度。同样，副照相机模块可以具有固定焦距镜头***。

例如，授予布罗迪(Brodie)等人、被转让给本申请的受让人的美国专利申请号2009/0057544披露了一种用于移动装置的照相机模块。该照相机模块包括透镜、承载透镜的壳体以及在透镜和壳体之上的透镜盖。该照相机模块包括用于调节镜头的镜筒(barrel)机构。每个照相机模块包括集成电路(IC)图像传感器装置，该装置具有被安排成多行和多列的阵列的多个像素、耦接于该多个像素的多条像素线以及耦接于该多条像素线的读出电路。

参照图1，现在描述一种典型的电子装置100。电子装置100包括图像传感器阵列101、耦接于图像传感器阵列的处理器102以及耦接于处理器的主机装置103。处理器102包括接收器模块104、在接收器模块下游相继耦接的多个处理模块105a-105n、以及在该多个处理模块下游耦接的传输器模块106。

参照图2，现在描述另一种典型的高性能(即，具有更高的像素处理能力)电子装置200。电子装置200包括图像传感器阵列201、耦接于图像传感器阵列的处理器202以及耦接于处理器的主机装置203。处理器202包括接收器模块204和分路器模块207，该分路器模块耦接于该接收器模块的下游并且用于将数据分成一条或多条数据。处理器202包括耦接于分路器模块207的多条流水线，每条流水线包括多个相继耦接的处理模块205a-205n。电子装置200包括耦接于多条流水线的下游的合并器模块208以及耦接于合并器模块的下游的传输器模块206。

发明内容

通常而言，图像传感器装置可以包括其中相邻的图像感测像素被安排成多个宏像素的图像感测像素阵列以及耦接于该图像感测像素阵列的处理器。该处理器被配置成用于从图像感测像素阵列接收多个像素信号、将所接收到的这些像素信号安排到针对对应的宏像素的多个宏像素信号集中、对针对每个宏像素信号集的多接收到的这些像素信号并行地执行图像增强操作以生成多个增强的宏像素信号并且对这些增强的宏像素信号进行传输。有利地，图像传感器装置可以更高效地处理数据并且具有更低的时钟速度。

更具体地，该多个宏像素信号集可以包括多个拜耳宏像素信号集。图像传感器装置可以进一步包括在图像感测像素阵列之上的拜耳滤色器阵列。针对每个宏像素信号集的所接收到的这些像素信号中的每个像素信号可以表示单独的颜色。处理器可以被配置成用于对每个单独的颜色执行至少一项图像增强操作。

例如，该至少一项图像增强操作可以包括亮度控制操作。每个宏像素可以包括一个具有2x2个单独像素的集。处理器可以被配置成用于将这些增强的宏像素信号合并至图像中。图像感测像素阵列可以包括互补金属氧化物半导体(CMOS)图像传感器阵列。

另一个方面涉及一种电子装置，该电子装置包括处理单元和相关联的存储器、以及耦接于处理单元的图像传感器装置。图像传感器装置可以包括其中相邻的图像感测像素被安排成多个宏像素的图像感测像素阵列以及耦接于图像感测像素阵列并且被配置成用于从图像感测像素阵列接收多个像素信号并将所接收到的这些像素信号安排到针对对应的宏像素的多个宏像素信号集中的处理器。该处理器可以被配置成用于对针对每个宏像素信号集的所接收到的这些像素信号并行地执行至少一项图像增强操作以生成多个增强的宏像素信号，并且对这些增强的宏像素信号进行传输。

另一方面涉及一种操作图像传感器装置的方法，该图像传感器装置包括其中相邻的图像感测像素被安排成多个宏像素的图像感测像素阵列以及耦接于该图像感测像素阵列的处理器。该方法可以包括：操作处理器以从该图像感测像素阵列接收多个像素信号，并且操作处理器以将所接收到的这些像素信号安排到针对对应的宏像素的多个宏像素信号集中。该方法可以包括：操作处理器以对针对每个宏像素信号集的所接收到的这些像素信号并行地执行至少一项图像增强操作以生成多个增强的宏像素信号，并且操作处理器以对这些增强的宏像素信号进行传输。

附图说明

图1是根据现有技术的电子装置的示意图。

图2是根据现有技术的另一种电子装置的示意图。

图3是根据本披露的电子装置的示意图。

图4是来自图3的电子装置的具有拜耳滤波器的图像感测像素阵列的示意图。

图5是根据本披露的电子装置的详细示意图。

图6是根据本披露的来自图5的电子装置的图像增强操作模块的示意图。

具体实施方式

现在将在下文中参照附图更全面描述本披露，其中附图示出了本发明的若干实施例。然而本披露可以以许多不同的形式来实施，并且不应当被解释为限于在此所陈述的实施例。相反，提供这些实施例以使得本披露将是全面和完整的，并且将向本领域技术人员完全传达本披露的范围。贯穿全文相同的数字是指相同的元件。

首先参照图3和图4，现在描述了根据本披露的电子装置10。电子装置10示意性地包括处理单元(即，多核片上***装置)12和相关联的存储器13、以及耦接于处理单元的图像传感器装置14。如本领域技术人员将认识到的，处理单元12可以包括主机装置，如移动蜂窝装置或平板计算装置。电子装置10示意性地包括承载图像传感器装置14的壳体11、处理单元12以及存储器13。

图像传感器装置14示意性地包括其中相邻的图像感测像素被安排成多个宏像素18的图像感测像素16a-16ff的阵列15以及耦接于该图像感测像素阵列的处理器(即，图像信号处理器(ISP))17。例如，阵列15可以包括互补金属氧化物半导体(CMOS)图像传感器阵列。处理器17和图像感测像素16a-16ff的阵列15可以包括单个IC，或替代地，每个部件可以在单独的IC上。

如在图4中可能最佳可见的，每个宏像素18示意性地包括一个2x2的宏像素。当然，在其他实施例中，宏像素18可以具有其他维数，如3x3、4x4、2x4等。图像传感器装置14示意性地包括在图像感测像素16a-16ff的阵列15之上的拜耳滤色器。当然，在其他实施例中，图像传感器装置14可以替代地或附加地包括其他类型的滤波器。具体地，该多个宏像素信号集包括多个拜耳宏像素信号集。针对每个宏像素信号集的所接收的这些像素信号中的每个像素信号示意性地表示单独的颜色。在拜耳滤波器实施例中，每个宏像素组包括红色信号R、蓝色信号B、以及第一和第二绿色信号G1、G2。

现在另外参照图5，处理器17示意性地包括被配置成用于从图像感测像素16a-16ff的阵列15接收像素信号(即，数据)的接收器模块28。这些像素信号可以被格式化成光栅扫描图案图像，但是也可以使用其他格式。处理器17示意性地包括被配置成用于将来自接收器模块28的这些像素信号转换成多个宏像素信号集的宏像素转换器模块19，每个宏像素信号集针对对应的宏像素18。处理器17示意性地包括多个图像增强操作模块20a-20n(限定了图像增强流水线)，每个图像增强操作模块被配置成用于执行对该多个宏像素信号集的对应的图像增强操作。

如所展示的，处理器17被配置成用于对针对每个宏像素信号集的所接收到的这些像素信号并行地执行该多项图像增强操作以生成多个增强的宏像素信号。换言之，在所展示的实施例中，并行地处理每个宏像素信号集的四个拜耳信号(R、B、G1、G2)。此外，处理器17顺序地将该多个宏像素信号集馈送至该多个图像增强操作模块20a-20n中。因此，图像增强流水线的每个图像增强操作模块20a-20n在每个时钟循环周期内每次只在单个宏像素信号集上工作。

处理器17示意性地包括宏像素转换器模块21，该宏像素转换器模块在该多个图像增强操作模块20a-20n下游并且被配置成用于将该顺序的多个宏像素信号集转换成格式化的图像数据(即，在划分成宏像素18之前返回至原始格式)。处理器17示意性地包括传输器模块22，该传输器模块在宏像素转换器模块21下游并且被配置成用于传输作为格式化图像数据(例如，光栅图像数据)的增强的宏像素信号。

现在另外参照图6，示出了示例图像增强操作模块20。在此，图像增强操作模块20包括图像增益操作电路(即，亮度控制)。图像增强操作模块20被配置成用于对针对该多个宏像素信号集的每个单独的颜色(即，输入29)执行图像增强操作。图像增强操作模块20示意性地包括用于存储操作参数的配置寄存器23以及耦接至这些配置参数的增益电路24。增益电路24示意性地包括分别接收针对每个宏像素信号集的信号的多个混合器26a-26d以及控制数据路径30的控制器25。增益电路24被配置成用于输出增强的多个宏像素信号集(即，输出31)。有利地，增益电路24可以将单独的增益因素应用于每个颜色信号。

另一方面涉及一种操作图像传感器装置14的方法，该图像传感器装置包括其中相邻的图像感测像素被安排成多个宏像素18的图像感测像素16a-16ff的阵列15以及耦接于该图像感测像素阵列的处理器17。该方法包括：操作处理器17以从该图像感测像素16a-16ff的阵列15接收多个像素信号，并且操作处理器以将所接收到的这些像素信号安排到针对对应的宏像素18的多个宏像素信号集中。该方法包括：操作处理器17以对针对每个宏像素信号集的所接收到的这些像素信号并行地执行至少一项图像增强操作以生成多个增强的宏像素信号，并且操作处理器以对这些增强的宏像素信号进行传输。

在典型的方法中，大多数CMOS图像传感器使用拜耳滤色器来采集图像。这种滤波可以在图像可被显示或被编码用于存储或传输之前得到处理。使用ISP来处理这些图像。随着分辨率渐增和/或帧速率渐增，这些图像必须被迅速地处理。这可能要求ISP以非常高的时钟频率来运行，这在物理实现方式中造成了多种问题并且显著地增加了功耗。在此所披露的电子装置10提供了一种低功耗图像处理流水线的方法，其通过使用拜耳滤色器的传感器来处理这些像素。

针对ISP的输入图像可以是拜耳格式，要求2x2像素的图案重构这三个颜色分量。ISP通过处理这些单独的像素实现了各种图像增强操作。随着兆像素和/或帧速率渐增，需要以非常高的时钟频率运行这些ISP。例如，成像装置以30fps操作从5兆像素移至16兆像素，最小时钟频率要求从150MHz变化至480Mhz。除了造成对时序收敛的挑战之外，它还影响了功耗。后者对于低功耗***(即，“永远开启”的***，例如，姿势识别、安全性照相机以及使用电池运行的***，如移动电话)来说是必须解决的重要问题。

在图2的典型方法中，输入图像被存储在存储器中并且被拆分成多个竖直条以便进行处理。这些条被独立地处理并且随后被缝合在一起以形成完整的图像。此概念可以被扩展用于节能，并且代替单个处理流水线以非常高的频率运行，可以使用多条流水线以降低运行频率。例如，所展示的四条流水线将允许最大时钟频率降低至原始频率的25％。这可以允许在更低的电源电压处实现该设计，并且可以用更高的V_T电池结束该设计。因此，动态范围和电流泄漏两者均可以被降低，而且低功耗实现成为可能。

有利地，电子装置10还将操作时钟速度降低至25％，但是使用了减少的电路资源。同样，在所披露的电子装置10中，功耗取决于切换速率。与在其他方法中使用相同流水线的所有颜色相反，通过处理宏像素18，类似的色彩像素通过流水线来进行处理。在自然图像中，相同颜色的相邻像素之间的变化小于不同颜色的相邻像素之间的变化。因此，动态功耗在宏像素处理块中将比如在图2的方法中具有在拜耳图像上工作的四个并行的流水线更少。

而且，例如，与作为配置寄存器23的并行架构未被复制相比，在电子装置10中减少了逻辑电路的复制。这可以减少由处理器17消耗的硅资产。在电子装置10中，编程开销可以较小，因为没有用于进行管理的条(如在图2中)。具体地，在图2的方法中，必须针对每一条正确地编程这些偏移量。同样，电子装置10更加直观并且自然地与在宏像素上工作以减少伪像的某些处理块相配适。

得益于在前述说明和相关联附图中呈现的教导，本领域技术人员将想到本披露的许多修改和其他实施例。因此，应该理解的是，本披露并不限于所披露的特定实施例，并且修改和实施例旨在包括于所附权利要求书的范围内。

Claims (30)

1.一种图像传感器装置，包括：

图像感测像素阵列，包括多个宏像素，其中每个宏像素包括相邻的图像感测像素；以及

处理器，耦接于所述图像感测像素阵列，所述处理器被配置为：

从所述图像感测像素阵列接收数据；

将所述数据转换为多个宏像素信号集，每个宏像素信号集用于所述图像感测像素阵列的相应宏像素，每个宏像素信号集包括多个个体信号；

将所述多个宏像素信号集顺序地馈送到多个顺序图像增强操作中；以及

针对每个宏像素信号集，在所述多个个体信号上执行多个顺序图像增强操作，以产生增强的宏像素信号，所述多个顺序图像增强操作中的每一个是在所述多个个体信号上并行执行的。

2.根据权利要求1所述的图像传感器装置，其中所述处理器被进一步配置为将所述增强的宏像素信号合并成一个图像，并传输所述图像。

3.根据权利要求1所述的图像传感器装置，其中所述数据被格式化为所述图像感测像素阵列的光栅扫描图案图像。

4.根据权利要求1所述的图像传感器装置，其中所述多个宏像素信号集包括多个拜耳宏像素信号集。

5.根据权利要求1所述的图像传感器装置，进一步包括在所述图像感测像素阵列之上的拜耳滤色器阵列。

6.根据权利要求1所述的图像传感器装置，其中所述多个顺序图像增强操作包括亮度控制操作。

7.根据权利要求1所述的图像传感器装置，其中每个宏像素包括相邻图像感测像素的2x2的阵列。

8.根据权利要求1所述的图像传感器装置，其中所述多个个体信号包括多个个体颜色。

9.根据权利要求1所述的图像传感器装置，其中每个宏像素信号集包括红色信号、蓝色信号、第一绿色信号和第二绿色信号。

10.一种电子装置，包括：

处理单元；

耦合到所述处理单元的存储器；以及

根据权利要求1-9中任一项所述的图像传感器装置，所述图像传感器装置耦合到所述处理单元。

11.一种用于图像处理的方法，包括：

从图像感测像素阵列接收数据，所述图像感测像素阵列包括多个宏像素，其中每个宏像素包括相邻的图像感测像素；

将所述数据转换为多个宏像素信号集，每个宏像素信号集用于所述图像感测像素阵列的相应宏像素，每个宏像素信号集包括多个个体信号；

将所述多个宏像素信号集顺序地馈送到多个顺序图像增强操作中；以及

针对每个宏像素信号集，在所述多个个体信号上执行所述多个顺序图像增强操作，以产生增强的宏像素信号，所述多个顺序图像增强操作中的每一个是在所述多个个体信号上并行执行的。

12.根据权利要求11所述的方法，进一步包括将增强的宏像素信号合并为一个图像，并传输所述图像。

13.根据权利要求11所述的方法，其中所述多个宏像素信号集包括多个拜耳宏像素信号集。

14.根据权利要求11所述的方法，其中所述多个顺序图像增强操作包括亮度控制操作。

15.根据权利要求11所述的方法，其中每个宏像素信号集包括红色信号、蓝色信号、第一绿色信号和第二绿色信号。

16.一种图像传感器装置，包括：

图像感测像素阵列，包括多个宏像素，其中每个宏像素包括邻近的图像感测像素；以及

处理器，耦接于所述图像感测像素阵列，所述处理器被配置为：

从所述图像感测像素阵列接收数据；

将所述数据转换为多个宏像素信号集，其中相应宏像素信号集对应于所述图像感测像素阵列的相应宏像素，每个宏像素信号集包括多个个体信号；

将所述多个宏像素信号集作为宏像素信号集的序列串行地馈送到多个顺序图像增强操作中；以及

针对所述宏像素信号集的序列中的给定宏像素信号集，在所述给定宏像素信号集的多个个体信号上执行所述多个顺序图像增强操作，以产生增强的宏像素信号，其中所述多个顺序图像增强操作中的给定操作在所述给定宏像素信号集的所述多个个体信号上并行操作。

17.根据权利要求16所述的图像传感器装置，其中所述处理器被进一步配置为将所述增强的宏像素信号合并成一个图像，并传输所述图像。

18.根据权利要求16所述的图像传感器装置，其中所述数据被格式化为所述图像感测像素阵列的光栅扫描图案图像。

19.根据权利要求16所述的图像传感器装置，其中所述多个宏像素信号集包括多个拜耳宏像素信号集。

20.根据权利要求16所述的图像传感器装置，进一步包括在所述图像感测像素阵列之上的拜耳滤色器阵列。

21.根据权利要求16所述的图像传感器装置，其中所述多个顺序图像增强操作包括亮度控制操作。

22.根据权利要求21所述的图像传感器装置，进一步包括：被配置为执行所述亮度控制操作的增益电路，其中所述增益电路包括多个混合器，其中相应混合器被配置为将相应增益因素应用于所述多个个体信号中的相应信号。

23.根据权利要求16所述的图像传感器装置，其中所述多个个体信号包括多个个体颜色。

24.根据权利要求23所述的图像传感器装置，其中所述多个个体信号包括红色信号、蓝色信号、第一绿色信号和第二绿色信号。

25.一种电子装置，包括：

处理单元；

耦合到所述处理单元的存储器；以及

根据权利要求16-24中任一项所述的图像传感器装置，所述图像传感器装置耦合到所述处理单元。

26.一种用于图像处理的方法，包括：

从图像感测像素阵列接收数据，所述图像感测像素阵列包括多个宏像素，其中每个宏像素包括邻近的图像感测像素；

将所述数据转换为多个宏像素信号集，其中相应宏像素信号集对应于所述图像感测像素阵列的相应宏像素，每个宏像素信号集包括多个个体信号；

将所述多个宏像素信号集作为宏像素信号集的序列串行地馈送到多个顺序图像增强操作中；以及

针对所述宏像素信号集的序列中的给定宏像素信号集，在所述给定宏像素信号集的多个个体信号上执行所述多个顺序图像增强操作，以产生增强的宏像素信号，其中所述多个顺序图像增强操作中的给定操作在所述给定宏像素信号集的所述多个个体信号上并行操作。

27.根据权利要求26所述的方法，还包括：将所述增强的宏像素信号合并成一个图像，并传输所述图像。

28.根据权利要求26所述的方法，其中所述多个宏像素信号集包括多个拜耳宏像素信号集。

29.根据权利要求26所述的方法，其中所述多个顺序图像增强操作包括亮度控制操作，其中相应增益因素被应用于所述多个个体信号中的相应信号。

30.根据权利要求26所述的方法，其中每个宏像素信号包括红色信号、蓝色信号、第一绿色信号和第二绿色信号。