CN101355644A - 将图像稳定数据嵌入图像数据的图像传感器设备和方法 - Google Patents

Abstract

本申请公开了一种图像传感器设备，其包括图像传感器，该图像传感器生成对应于光学图像的图像数据。连接到该图像传感器的运动传感器生成与图像传感器设备的运动相对应的运动数据。连接到图像传感器的处理器接收来自图像传感器的嵌入式图像数据，该嵌入式图像数据包括嵌入到图像数据中的运动数据。处理器处理嵌入式图像数据，生成运动补偿的数字图像。

Description

将图像稳定数据嵌入图像数据的图像传感器设备和方法

技术领域

一般而言，本发明涉及图像传感器之图像稳定。更具体地讲，本发明涉及用于一种图像传感器设备和方法，其能将图像稳定数据嵌入图像传感器所生成的图像数据中。

背景技术

图像传感器是一类装置，其获取并处理光线，使其成为电子信号，从而形成静态的图像或视频。其用途已在众多场合下普遍使用，如工业应用和科学应用，包括数码相机和手提摄像机、手握式移动装置、网络摄影、医学应用、汽车应用、游戏和玩具、安全和监控、模式识别以及自动检测等等。用于制造图像传感器的技术一直在持续高速进步。

目前有两种主要的图像传感器类型：电荷耦合器件(Charge-CoupledDevice，″CCD″)传感器和互补金属氧化物半导体(Complementary MetalOxide Semiconductor，″CMOS″)传感器。一直到最近，多数的图像传感器还是CCD型。早期的CMOS传感器具有低的灵敏度以及高的噪音水平，这将其使用仅仅局限在少数的廉价和低分辨率的应用场合。CMOS技术的最近进展，已经能成功开发高性能的CMOS传感器，其在很多其它应用领域中正快速地取代CCD，特别是在那些速度、能耗、空间大小、以及芯片功能是重要因素的应用领域中。

在上述两种图像传感器中，采集光线的光位都是形成在衬底上，并排列成二维阵列。光位(photosite)，通常称为图像元件或者″像素″，能将入射光线转换成电荷。像素的数量、空间尺寸和间隔决定了传感器所生成的图像的分辨率。通常，现代的图像传感器包括以像素阵列排列的数百万的像素，以便提供高分辨率的图像。

为了获得彩色图像，每个像素被一色彩滤波器覆盖。色彩滤波器是一种仅允许给定光线波长内的特定色彩穿过的光学元件。色彩滤波器阵列(″CFA″)设置在像素阵列的上方，从而为每个像素分离色彩数据。最常见的CFA类型叫做“拜耳(Bayer)阵列”，其由红-绿和绿-蓝滤波器以行交替的形式排列组成。Bayer阵列包括两倍于蓝或红滤波器的绿滤波器，从而解决人类视觉***对光谱中绿色部分的峰值灵敏度。

除了CFA之外，图像传感器还包括微透镜阵列。微透镜阵列具有很多微透镜，每个微透镜用于一个像素。阵列中的每个微透镜将入射光线聚焦到其相应像素的感光区域，以提高其收集光线的能力，从而改善图像传感器的整体灵敏度。微透镜阵列还可以改善图像传感器的填充因素(fill factor)，该填充因素是指像素内的感光区域与全部像素区域的比值。

通常，图像传感器所获得的代表图像信息的电子信号，会被传输给图像信号处理器(″ISP″)或者其它的数字信号处理器(″DSP″)，在此它们被转换成数字信号，并被处理、从而生成数字图像。图像传感器所生成的数字图像的品质，主要取决于其灵敏度和其它一些因素，如与透镜相关的因素(闪光、色差)、信号处理因素、与***控制相关的因素(聚焦和暴光误差)以及时间和动作因素。

特别地，包括图像传感器的装置的物理运动，如数码相机和手提摄像机，可以使传感器所生成的图像总体变得模糊。在暴光的持续时间内，通过简单地保持图像传感器装置的稳定，可以避免相机的运动，如使用三脚架。另外一个策略是采用更快的快门速度。当这是不可能时，可以采用图像稳定(″IS″)技术，来补偿图像传感器装置的运动，从而减少或者避免图像模糊。

目前，主要有三种类型的IS技术：(1)机械的或基于硬件的IS技术；(2)数字的或基于软件的IS技术；以及(3)将基于硬件的和基于软件的IS技术相结合的混合IS技术。通常，第一种类型的技术，即基于硬件的IS，包括用于检测并补偿任何装置运动的内置运动传感器。内置运动传感器，一般称为回转仪(或称陀螺仪，gyro)，检测图像传感器装置的回转运动或者任何角加速度，并生成包含运动数据的信号。随后，来自回转仪的信号用于控制图像传感器装置中光学组件的光学元件，例如，在装置运动之后，通过移动装置中的透镜，从而改变入射光线的方向使之朝向与运动之前同样的像素。结果，就可以生成运动补偿的数字图像。

基于硬件的IS技术所生成的运动补偿的数字图像的品质，取决于光学组件中元件被运动传感器物理控制、进而实现对装置运动进行补偿的效果。随着元件磨损或失效，光学组件倾向于报废。另外，被控制的光学元件的尺寸和质量，会限制基于硬件的IS技术的运行速度。由于该技术的响应时间对于补偿某些类型的运动而言太慢，这可能导致出现不期望的模糊。此外，基于硬件的IS技术具有复杂的机械结构，从而不适于小型的和便携式的图像传感器装置，如移动电话和其它手握式的移动装置。

第二种类型的IS技术，即基于软件的IS技术，其通过在软件中运行所有的IS而不采用运动传感器，来解决基于硬件的IS技术的机械缺陷。这些技术仅仅依赖于直接连接到图像传感器的微处理器上的IS程序，检测图像传感器所产生的原始像素数据的运动。当生成运动补偿的数字图像时，IS程序处理原始像素数据，从而补偿所检测到的运动。

基于软件的IS技术，尽管可以减少或者避免基于硬件的IS技术的复杂机械结构，但却增加了软件的复杂性以及对处理速度和存储器的要求。其对处理速度和存储器的要求，可能使其无法应用于小型的和便携式的图像传感器装置中，因为这些装置使用廉价且低动力的微处理器。然而，最终随着半导体技术的进步，满足微处理器之运行动力和存储器的要求的成本降低，使这些技术有可能成为最高效的IS方案。

混合IS技术，是目前可获得的第三种类型的IS技术，其用来解决基于硬件的IS技术的机械缺陷，并可降低基于软件的IS技术的处理要求。混合IS技术，类似于基于硬件的IS技术，也包括使用内置运动传感器来检测装置的运动、并生成包括运动数据的信号。随后，信号传递到图像传感器装置中的微处理器，并象基于软件的IS技术那样，采用IS算法进行处理，移动图像并补偿装置的物理运动。

图1显示了一种使用混合IS技术的图像传感器装置。图像传感器装置100包括图像传感器105，其用于从光源接收光线，并生成对应于所接收光线而形成的光学图像的图像数据110。图像传感器装置100还包括运动传感器115，其检测装置100的物理运动，该物理运动可以影响由图像传感器105所生成的光学图像的品质。运动传感器115生成对应于装置100之物理运动的运动数据120。可选择将运动数据120进一步处理，从而生成处理过的运动数据130。图像传感器105所生成的图像数据110和运动传感器115所生成的运动数据120(或处理过的运动数据130)，分别经由数据界面140和145都传送到微处理器135，在此，由IS算法和其它的图像信号处理程序进行处理，生成运动补偿的数字图像。

在这种情况下，运动补偿的数字图像的品质取决于图像传感器生成的原始像素数据和运动传感器生成的运动数据是否同步。如果原始像素数据和运动数据没有同步，那么，微处理器中的IS算法将无法对检测到的运动进行补偿。结果，图像的品质会相当不理想。此外，因为微处理器既接收来自图像传感器的数据，也接收来自运动传感器的数据，因而，其需要两个数据界面来处理数据。这对于小型的和便携式的图像传感器装置来说，可能又是另一问题，因为对于小型的和便携式的图像传感器装置来说，其处理动力和成本是主要因素。

因此，希望能提供一种图像传感器设备，其能解决使用混合IS技术生成运动补偿数字图像的现有图像传感器装置的缺点。特别地，希望能提供一种图像传感器设备，其能够基于在时间上和空间上均同步的来自图像传感器的原始像素数据和来自运动传感器的运动数据，生成运动补偿的数字图像。

发明内容

本发明提供了一种图像传感器设备，其包括运动传感器，以生成与图像传感器设备之运动相对应的运动数据。图像传感器则生成与光学图像相对应的图像数据，接收来自运动传感器的运动数据，并生成嵌入式图像数据(embedded data)，该嵌入式图像数据包括嵌入到图像数据中的运动数据。处理器从图像传感器接收嵌入式图像数据，并生成运动补偿的数字图像。

本发明的一实施方式包括一种生成运动补偿的数字图像的方法。图像数据是用图像传感器获得的，运动数据是用运动传感器获得的。在该图像传感器处，将该运动数据嵌入到该图像数据中，从而生成嵌入式图像数据。处理该嵌入式图像数据，生成运动补偿的图像数据。

本发明的另一实施方式则包括一种图像传感器设备，其包括用于生成图像数据的图像传感器。该图像传感器包括数据界面，其接收来自运动传感器的运动数据，并将该运动数据嵌入到该图像数据中，生成嵌入式图像数据。

附图说明

下面，结合附图进行详细地描述，以便更充分地理解本发明，其中，相同的附图标记表示相同的部分。

图1显示了现有技术中生成运动补偿数字图像的图像传感器设备；

图2显示了按本发明一实施方式制造的图像传感器设备；

图3显示了图2所示的图像传感器设备生成动作补偿的数字图像的流程图；

图4表示的是按本发明一实施方式的嵌入式图像数据；以及

图5显示了用于图2所示图像传感器设备的图像传感器。

具体实施方式

本发明提供了用于生成运动补偿数字图像(movement-compensateddigital image)的图像传感器设备。此处如通常所使用的，图像传感器可以是获取光线信号并将其处理成电子信号的装置或电路。通常，电子信号可由图像信号处理器(″ISP″)或其它装置或电路来处理，其能够将信号处理成为数字图像或视频。ISP可包括用于处理信号的多种可执行程序，这些可执行程序中包括用于补偿图像传感器设备之运动的图像稳定(″IS″)程序。

图2显示了根据本发明一实施方式制造的图像传感器设备。图像传感器设备200包括图像传感器205，其接收来自光源的光线，并生成对应于接收到的光线所形成的光学图像的图像数据。该图像数据包括由图像传感器205生成的原始像素数据。该图像数据还可以包括消隐间隔(blanking intervals)、与图像传感器有关的元数据(metadata)、定时数据、或者与图像传感器或图像传感器设备的使用者有关的任何其它数据。

图像传感器设备200还包括运动传感器210，以便检测设备200的物理运动，设备200的物理运动可能影响由图像传感器205所生成的光学图像的品质。运动传感器210生成对应于装置200之物理运动的运动数据215。在一示范实施方式中，运动传感器可以是一个回转仪。可选择地，运动数据215被进一步处理，生成处理过的运动数据225。例如，运动数据215被处理，补偿科里奥利效应(Coriolis effect)。

运动数据，也即运动数据215或处理过的运动数据225，随后被直接传送到图像传感器205。运动数据经由数据界面被图像传感器205接收。数据界面230接收运动数据，并将运动数据直接嵌入到图像数据中，生成嵌入式图像数据235。运动数据如此嵌入，使得其在时间上和空间上与图像传感器205所生成的原始像素数据同步。例如，运动数据可以嵌入到每个图像的原始像素数据中，从而在帧水平上与像素同步。也可以采用其它的同步方式，例如，像素到像素的同步，或者一组像素的同步。该同步过程与图像数据的获得同时发生，使得可以自动获得时间的同步，而不需要使用时间标签(time-stamps)。

可以理解，数据界面230可以是内置在图像传感器205中的界面，其接收来自图像传感器205的图像数据以及来自运动传感器215的运动数据，并将该运动数据嵌入到该图像数据。此处，所使用的界面可以是任何类型的能够接收两个或以上的数据流、并将一个嵌入到另一个、或将它们合并在一起的数据界面。

在一示范实施方式中，运动数据可以嵌入到图像数据的一个或多个消隐间隔中。可以理解，运动数据可以按照多种其它方式嵌入到图像数据，如通过将标头(header)连接到图像数据上。例如，在图像传感器205中图像数据被压缩的位置上，通过使用图像标记代码，将运动数据嵌入到压缩的图像数据的标头中，如JPEG标头。

嵌入式图像数据235传送到处理器240，在此，其被IS算法和其它的图像信号处理程序处理，生成运动补偿的数字图像。嵌入式图像数据235经由单独的数据界面而被处理器240接收，如数据界面245。处理器240可以是DSP或ISP，其具有用于处理并生成数字图像的图像处理程序。数据界面245可以是任何类型的用于在处理器接收数据的数据界面。可以理解，数据界面245可以包括在处理器240进行IS算法之前预处理所接收到数据的程序和其它的图像处理程序。

在一种示例性实施例中，处理器240的IS算法包括用于补偿图像传感器设备200运动的运动补偿程序。在执行运动补偿程序之前，IS算法可以把嵌入的运动数据从嵌入式图像数据235中移去。或者，在执行IS算法之前，嵌入的运动数据可以在界面245处从嵌入式图像数据235中移去。可以理解，对于图像传感器设备200的任何物理运动，运动补偿程序可以使用运动数据，来调节由图像传感器所生成的图像数据。

也可以理解，在图像传感器205处将运动数据直接嵌入到图像数据中，可以使处理器240采用单个的数据界面(界面245)来运行，从而显著减小了处理器240的复杂性。这对于小型的和其它便携式的图像传感器装置来说，是特别重要的，在这些设备中，处理动力、成本和复杂性是其主要因素。此外，还可以理解，在图像传感器205处将运动数据嵌入到图像数据，显著地提高了运动数据和原始像素数据之间的时间上以及空间上的同步。特别地，当同步化过程在图像传感器205处进行，而不是在在处理器240进行，可以进一步减小处理器240中执行的IS算法的复杂性。

图3显示了图2所示的图像传感器设备生成动作补偿的数字图像的流程图。首先，通过在图像传感器获得的图像数据(300)和在运动传感器获得的运动数据(305)，生成动作补偿的数字图像(motion-compensateddigitial image)。在图像传感器处运动数据被嵌入到图像数据中，生成嵌入式图像数据(310)。如上所述，运动数据如此被嵌入到图像数据中，其与图像数据在时间和空间上同步。随后，嵌入式图像数据由IS算法和其它的图像信号处理程序处理，生成运动补偿的数字图像(315)。

图4表示了依照本发明实施方式的嵌入式图像数据。嵌入式图像数据400包括两个消隐间隔，垂直消隐间隔(或称场消隐)405和水平消隐间隔(或称行消隐)410，其邻接有源图像区域(active image area)415，该有源图像区域包括由图像传感器生成的原始像素数据。运动传感器生成的运动数据可以嵌入到一个或两个消隐间隔之中。

可以理解，所示的嵌入式图像数据400仅仅为了示范说明的目的。如上所述，可以通过多种方法将运动数据嵌入到图像传感器生成的图像数据中，例如，将包含有运动数据的标头连接到图像数据上。可以理解，嵌入的图像数据还可以被嵌入到连接到压缩后图像数据的标头中。

嵌入的图像数据可以在图像传感器的界面处被嵌入，如图5所示的图像传感器。图像传感器500包括界面505，以便接受来自图像传感器500的图像数据和来自连接到图像传感器的运动传感器处的运动数据(如如图2所示)。如下所述，界面505将运动数据嵌入到图像数据中，生成嵌入式图像数据，该嵌入式图像数据在连接到图像传感器上的处理器处被处理，生成运动补偿的数字图像。

可以理解，界面505可以是任何类型的能够接收两个或更多的数据流、并将一个嵌入到另一个中、或将其合并的数据界面。

为了说明的目的，前面的描述采用了特定的术语，以便充分理解本发明。然而，本领域技术人员显然知道，特定的细节不是实施本发明所必需的。因此，上述对本发明特定实施方式的描述只是为了示范和描述目的。它们并非是穷尽式的描述，或者是将本发明限制为所述的精确形式；显然，基于上述的启示，很多改进和变化都是可能的。选择并描述这些实施方式是为了最好地解释本发明的原则和其实际应用，以便使本领域的其它技术人员能够来最好地利用本发明，而具有各种改进的各种实施方式，可以适合于特定的预期用途。下述的权利要求和其等同物旨在定义本发明的范围。

Claims (22)

1、一种图像传感器设备，其包括：

运动传感器，其生成对应于所述图像传感器设备之运动的运动数据；

图像传感器，其生成对应于光学图像的图像数据，该图像传感器接收来自所述运动传感器的运动数据，并生成嵌入式图像数据，该嵌入式图像数据包括嵌入到图像数据中的运动数据；以及

处理器，其接收来自所述图像传感器的嵌入式图像数据，并生成运动补偿的数字图像。

2、如权利要求1所述的图像传感器设备，其中，所述的运动传感器包括一回转仪。

3、如权利要求1所述的图像传感器设备，其中，所述的图像传感器包括一数据界面，该数据界面接收所述图像数据和所述运动数据，并将所述运动数据嵌入到所述图像数据，生成所述嵌入式图像数据。

4、如权利要求所述1的图像传感器设备，其中，所述的嵌入式图像数据具有在时间和空间上与所述图像数据同步的、嵌入的运动数据。

5、如权利要求所述1的图像传感器设备，其中，所述的图像数据包括消隐间隔。

6、如权利要求所述5的图像传感器设备，其中，所述的运动数据在所述图像传感器处被嵌入到所述消隐间隔中。

7、如权利要求所述1的图像传感器设备，其中，所述的处理器如此配置，其能补偿所述图像传感器设备的运动，生成所述运动补偿的数字图像。

8、如权利要求所述7的图像传感器设备，其中，所述的处理器进一步配置成能在补偿所述图像传感器设备的运动之前，将所述运动数据从所述嵌入式图像数据中移去。

9、如权利要求所述1的图像传感器设备，其中，所述的图像数据为压缩的图像数据。

10、如权利要求所述9的图像传感器设备，其中，所述的运动数据在标头处，通过图像标记代码而被嵌入到的所述压缩的图像数据中。

11、一种生成运动补偿的数字图像的方法，该方法包括：

用图像传感器获得图像数据；

用运动传感器获得运动数据；

将所述运动数据嵌入到所述图像传感器的图像数据中，生成嵌入式图像数据；以及

处理所述嵌入式图像数据，生成所述运动补偿的数字图像。

12、如权利要求11所述的方法，其中，获得运动数据包括使用回转仪。

13、如权利要求11所述的方法，其中，将所述运动数据嵌入到所述图像数据中包括将所述运动数据嵌入到所述图像数据的消隐间隔中。

14、如权利要求11所述的方法，其进一步包括在所述图像传感器的数据界面处接收所述运动数据。

15、如权利要求14所述的方法，其中，嵌入所述运动数据包括在所述图像传感器的数据界面处生成所述嵌入式图像数据。

16、如权利要求11所述的方法，其中，处理所述嵌入式图像数据包括用所述运动数据进行补偿，生成所述运动补偿的数字图像。

17、如权利要求15所述的方法，其中，处理所述嵌入式图像数据进一步包括在用所述运动数据进行补偿之前，将所述运动数据从所述嵌入式图像数据中移去。

18、如权利要求11所述的方法，其进一步包括将所述图像数据压缩到压缩图像中。

19、如权利要求18所述的方法，其中，嵌入所述图像数据包括将所述图像数据嵌入到所述压缩图像的标头中。

20、一种图像传感器设备，其包括生成图像数据的图像传感器，该图像传感器具有一数据界面，该数据界面接收来自运动传感器的运动数据，并将该运动数据嵌入到所述图像数据中，生成嵌入式图像数据。

21、如权利要求20所述的图像传感器设备，其中，所述的运动数据在时间和空间上与所述图像数据同步。

22、如权利要求20所述的图像传感器设备，其进一步包括一处理器，该处理器接收所述嵌入式图像数据进入单个数据界面、并处理该嵌入式图像数据，生成运动补偿的数字图像。

Images