CN111432112A - 处理图像信号的方法、图像信号处理器和图像传感器芯片 - Google Patents

Abstract

公开了一种处理图像信号的方法、图像信号处理器和图像传感器芯片。一种处理图像信号的方法包括以下步骤：基于陀螺仪信息的平移信息来生成指示拜耳图案图像的拜耳次序是否已经改变的拜耳次序状态信息；使用平移信息关于拜耳图案图像执行平移校正；以及基于拜耳次序状态信息关于已经执行了平移校正的拜耳图案图像执行插值。

Description

处理图像信号的方法、图像信号处理器和图像传感器芯片

技术领域

本专利文献所公开的技术和实现方式涉及一种处理图像信号的方法、图像信号处理器和图像传感器芯片以用来执行抖动校正。

背景技术

图像传感器是利用对光作出反应的半导体特性来捕获至少一个图像的装置。近来，随着计算机行业和通信行业的不断发展，在例如智能电话、数字相机、游戏机、物联网(IoT)、机器人、监控相机、医疗微型相机等的各种领域中对高质量和高性能图像传感器的需求快速增加。

图像传感器可大致分为电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。CCD图像传感器可在噪声和图像质量方面优于CMOS图像传感器。然而，CMOS图像传感器可比CCD图像传感器更容易驱动，并且可使用比CCD图像传感器更多的扫描方案来实现。另外，CMOS图像传感器可允许信号处理电路被集成到单个芯片中，使得CMOS图像传感器可被容易地制造为小尺寸产品，具有非常低的功耗，并且与CMOS制造技术兼容，导致生产成本降低。近来，CMOS图像传感器已被设计为与移动装置更兼容，使得CMOS图像感测装置已被深入研究并快速得以广泛使用。

发明内容

所公开的技术的各种实施方式涉及提供一种处理图像信号的方法、图像信号处理器以及图像传感器芯片以用于执行抖动校正。所公开的技术的一些实现方式使用陀螺仪传感器来对拜耳(Bayer)图案图像执行抖动校正。

根据本公开的实施方式，一种处理图像信号的方法可包括以下步骤：基于陀螺仪信息的平移信息来生成指示拜耳图案图像的拜耳次序是否改变的拜耳次序状态信息；使用平移信息关于拜耳图案图像执行平移校正；以及基于拜耳次序状态信息关于已经执行了平移校正的拜耳图案图像执行插值。

执行平移校正的步骤可包括以下步骤：通过在拜耳图案图像的像素坐标与平移信息之间执行计算来计算第一校正像素坐标；以及基于第一校正像素坐标来生成水平同步信号和垂直同步信号。

计算第一校正像素坐标的步骤可包括以下步骤：通过将平移信息的X轴移动信息与像素坐标的X轴坐标相加来计算第一校正像素坐标的X轴坐标；以及通过从像素坐标的Y轴坐标减去平移信息的Y轴移动信息来计算第一校正像素坐标的Y轴坐标。

生成水平同步信号和垂直同步信号的步骤可包括以下步骤：按照使得与第一校正像素坐标的整数坐标被包含在最终窗口中的像素坐标对应的拜耳图案图像被存储在线存储器中的方式生成水平同步信号和垂直同步信号。

由水平同步信号和垂直同步信号决定的平移窗口可在X轴方向上比最终窗口长第一长度，并且可在Y轴方向上比最终窗口长第二长度。

第一长度和第二长度可基于陀螺仪信息来确定。

该图像信号处理方法还可包括以下步骤：在执行平移校正之后，使用陀螺仪信息的节段移动信息来执行错切校正。

节段移动信息可包括关于多个节段中的每一个的移动距离。执行错切校正的步骤可包括以下步骤：将使用各个节段的移动距离计算的各个节段的斜度乘以第一校正像素坐标的整数坐标的相对位置值；获得斜度与整数坐标的乘积；在该乘积与第一校正像素坐标的整数坐标之间执行计算，并因此校正斜度；以及通过利用使用多个节段中的每一个的移动距离计算的节段偏移基于多个节段中的任一个执行排列来计算第二校正像素坐标。

该图像信号处理方法还可包括以下步骤：在完成错切校正之后，使用陀螺仪信息的旋转信息来执行旋转校正。

执行旋转校正的步骤可包括以下步骤：将第一校正像素坐标的小数坐标与第二校正像素坐标相加，或者从第二校正像素坐标减去第一校正像素坐标的小数坐标。

拜耳图案图像可被存储在线存储器中。

生成拜耳次序状态信息的步骤可包括以下步骤：根据平移信息的X轴移动信息和Y轴移动信息中的每一个的整数部分是偶数还是奇数来生成拜耳次序状态信息。

执行插值的步骤可包括以下步骤：基于非校正像素坐标与已经执行了平移校正、错切校正和旋转校正的第三校正像素坐标的整数坐标之间的映射信息来读取与第三校正像素坐标的整数坐标对应的像素数据；使用拜耳次序状态信息来确定与第三校正像素坐标的整数坐标对应的颜色；以及使用包括相应颜色决定的像素的掩模来通过插值生成RGB数据。

执行插值的步骤还可包括以下步骤：通过使用RGB数据的掩模基于第三校正像素坐标的小数坐标分配权重来生成与第三校正像素坐标的各个整数坐标对应的最终RGB数据。

根据本公开的另一实施方式，一种图像信号处理器可包括：拜耳次序计算器，其被配置为基于陀螺仪信息的平移信息来生成指示拜耳图案图像的拜耳次序是否改变的拜耳次序状态信息；电子图像稳定(EIS)计算器，其被配置为使用平移信息关于拜耳图案图像执行平移校正；以及插值电路，其被配置为基于拜耳次序状态信息关于已经执行了平移校正的拜耳图案图像执行插值。

根据本公开的另一实施方式，一种图像传感器芯片可包括：图像生成块，其被配置为生成包括各自指示单个颜色信息的像素数据的拜耳图案图像；以及图像信号处理器，其被配置为基于陀螺仪信息的平移信息来生成指示拜耳图案图像的拜耳次序是否改变的拜耳次序状态信息，使用平移信息关于拜耳图案图像执行平移校正，并基于拜耳次序状态信息关于已经执行了平移校正的拜耳图案图像执行插值。

将理解，本公开的以上一般描述和以下详细描述二者是示例性和说明性的，旨在提供要求保护的本公开的进一步说明。

附图说明

当结合附图考虑时，本公开的以上和其它特征和优点将参照以下详细描述变得易于显而易见，附图中：

图1是示出基于所公开的技术的一些实现方式的图像处理***的示例的框图。

图2是示出图1所示的图像信号处理器的示例的框图。

图3是示出基于所公开的技术的一些实现方式的图像信号处理方法的示例的流程图。

图4是示出图3所示的图像信号处理方法S20的示例的流程图。

图5是示出图4所示的两个步骤S110和S140的示例的概念图。

图6的(a)至图6的(d)是示出图4所示的步骤S130的概念图。

图7的(a)至图7的(c)是示出图4所示的步骤S160的概念图。

图8是示出图4所示的步骤S170的概念图。

图9是示出图4所示的两个步骤S190和S200的概念图。

图中的各个元件的符号

10：图像处理***

50：光学透镜

100：CMOS图像传感器

400：主机

具体实施方式

现在将详细参照本公开的实施方式，其示例示出于附图中。只要可能，贯穿附图将使用相同的标号来表示相同或相似的部分。尽管本公开易于有各种修改和另选形式，但在附图中作为示例示出了其特定实施方式。然而，本公开不应被解释为限于本文所阐述的实施方式，但相反，本公开旨在涵盖所有修改、等同物和另选形式。在附图中，为了描述方便和清晰，元件的尺寸和形状可能被夸大。

图1是示出基于所公开的技术的一些实现方式的图像处理***10的框图。

参照图1，图像处理***10可被实现为各种电子装置中的任一种，例如数字相机、移动电话、智能电话、平板个人计算机(PC)、膝上型计算机、个人数字助理(PDA)、企业数字助理(EDA)、数字静止相机、数字视频相机、便携式多媒体播放器(PMP)、移动互联网装置(MID)、个人计算机(PC)、可穿戴装置、具有各种用途的其它相机(例如，车辆的前视相机、后视相机、黑匣子等)等。

图像处理***10可包括光学透镜50、CMOS图像传感器100和主机400。在这种情况下，CMOS图像传感器100可被实现为芯片，因此，CMOS图像传感器100以下将被称为图像传感器芯片。

CMOS图像传感器100可生成关于通过光学透镜50接收(或捕获)的对象30的图像数据，并且可将该图像数据发送到主机400。光学透镜50可包括被配置为形成光学***的至少一个透镜。

CMOS图像传感器100可包括有源像素传感器(APS)块110、行驱动器120、相关双采样(CDS)块130、模数转换器(ADC)块140、输出缓冲器150、定时发生器160、控制寄存器块170、斜坡发生器180、输出接口(I/F)190、图像信号处理器200和陀螺仪传感器300。在这种情况下，CMOS图像传感器100的上述构成元件仅是示例，构成元件当中的至少一些构成元件可根据需要添加或省略。在一些实现方式中，多个构成元件可被集成到单个结构中，或者单个结构可被分成多个构成元件。

有源像素传感器(APS)块110、行驱动器120、CDS块130、ADC块140和输出缓冲器150中的每一个可生成并输出与各个像素对应的像素数据，因此，APS块110、行驱动器120、CDS块130、ADC块140和输出缓冲器150以下将被称为图像生成块105。

APS块110可包括由多行和多列组成的多个像素。包含在APS块110中的各个像素可存储响应于入射光而生成的光电荷，并且可生成与所存储的光电荷对应的像素信号。各个像素可包括将入射光转换为电信号的光电转换元件以及处理电信号的至少一个晶体管。例如，光电转换元件可包括光电二极管(PD)、光电晶体管、光电门、钉扎光电二极管等。可响应于从行驱动器120输出的像素控制信号来驱动各个像素，并且由各个像素检测的电信号可通过多条列线(未示出)发送到CDS块130。像素控制信号的类型可根据各个像素的结构(例如，3T、4T、5T等)而改变。例如，在使用4T像素的情况下，像素控制信号可包括重置控制信号RG、传输(Tx)控制信号TG和选择控制信号SEL。

滤色器阵列可设置在APS块110和光学透镜50之间，并且可包括被配置为仅允许入射在各个像素上的特定波长(例如，红色、蓝色和绿色)通过的多个滤色器。由于滤色器阵列，各个像素的像素数据可表示与特定波长的光强度对应的值，并且各个像素可根据滤色器的类型被称为红色像素(R)、蓝色像素(B)或绿色像素(G)。尽管为了描述方便假设红色像素(R)、蓝色像素(B)或绿色像素(G)按照拜耳图案排列，但其它实现方式也是可能的。

行驱动器120可基于从定时发生器160接收的线控制信号LCS将用于控制各个像素的多个像素控制信号发送到APS块110。更详细地，行驱动器120可生成选择控制信号SEL以选择APS块110的多行中的任一行。行驱动器120可将重置控制信号RS和传输控制信号TG发送到与所选行对应的像素。结果，从所选行的像素生成的模拟型参考信号(或重置信号)和图像信号可被发送到CDS块130。在这种情况下，从像素输出的参考信号和图像信号以下将被统称为像素信号。

CDS块130可依次采样并保持从APS块110传送到各条列线的参考信号和图像信号的集合。即，CDS块130可采样并保持与各列对应的参考信号和图像信号的电平。

ADC块140可从CDS块130接收各列的相关双采样(CDS)信号，可将所接收的CDS信号转换为数字信号，因此可基于该数字信号来输出像素数据。为此，ADC块140可包括与各列对应的比较器和计数器。

输出缓冲器150可从ADC块140接收各列的像素数据，可锁存所接收的像素数据，并且可输出锁存的像素数据。输出缓冲器150可暂时存储从ADC块140输出的像素数据，并且可响应于从定时发生器170接收的控制信号来依次输出像素数据。

定时发生器160可响应于从控制寄存器块170接收的控制信号向CMOS图像传感器100的构成元件发送生成和输出图像数据所需的定时信号、参考信号和控制信号。更详细地，定时发生器160可将线控制信号LCS输出到行驱动器120，使得可从与多条行线当中的所选行线对应的像素并行输出像素信号。定时发生器160可控制CDS块130、ADC块140和输出缓冲器150，使得可依次输出与多条列线当中的所选列线对应的像素数据。定时发生器160可控制斜坡发生器180，使得ADC块140可生成执行模数转换(ADC)所需的斜坡信号。

控制寄存器块170可响应于从图像信号处理器200接收的控制信号来控制定时发生器160、斜坡发生器180和输出接口(I/F)190。

斜坡发生器180可响应于定时发生器160的控制信号来生成斜坡信号，并且可将所生成的斜坡信号发送到ADC块140。

输出接口190可将从图像信号处理器200接收的图像数据发送到主机400。

图像信号处理器200可执行信号处理以改进从输出缓冲器150接收的像素数据的图像质量，并且可将所处理的图像数据发送到输出接口190。在这种情况下，信号处理可包括电子图像稳定(EIS)、插值、色调校正、图像质量校正、尺寸调节等。

图像信号处理器200可从陀螺仪传感器300接收陀螺仪信息GI，并且可使用所接收的陀螺仪信息GI来执行EIS处理。

图像信号处理器200可控制控制寄存器块170，使得与从APS块110选择的像素对应的像素数据可被发送到图像信号处理器200。

尽管为了描述方便，图1所示的图像信号处理器200被包含在CMOS图像传感器100中，然后被实现为单个芯片，但本公开的范围或精神不限于此，图像信号处理器200也可被实现为不同于CMOS图像传感器100的独立芯片。在这种情况下，CMOS图像传感器100的芯片和图像信号处理器200的芯片可被实现为单个封装(例如，多芯片封装)。

陀螺仪传感器300可生成关于图像处理***10的三维(3D)移动的陀螺仪信息GI。为此，陀螺仪传感器300可包括加速器传感器和/或角速度传感器。另外，陀螺仪传感器300可包括运动滤波器(例如，低通滤波器LPF)，该运动滤波器被配置为去除包含在加速器传感器和/或角速度传感器的输出信息中的噪声，使得陀螺仪传感器300可滤除或去除陀螺仪信息GI中的噪声。尽管为了描述方便，图1中的陀螺仪传感器300被包含在CMOS图像传感器100中，但本公开的范围或精神不限于此，陀螺仪传感器300也可根据需要独立于CMOS图像传感器100来实现。如果陀螺仪传感器300被包含在CMOS图像传感器100中，则可基于CMOS图像传感器100的移动来生成陀螺仪信息GI，使得可更准确地执行EIS处理。另外，陀螺仪传感器300可被实现为多个传感器，并且陀螺仪传感器300的各个传感器可位于CMOS图像传感器100内部和/或外部。为了实时处理数据，陀螺仪信息GI可与图像生成块105所生成的拜耳图案图像同步。

响应于来自另一部分的请求或中断信号，主机400可处理CMOS图像传感器100所生成的图像数据，可存储所处理的图像数据，可显示所存储的图像数据，并且可将所存储的图像数据发送到外部。例如，尽管主机400可以是中央处理单元(CPU)、显示器或应用处理器(AP)，但本公开的范围或精神不限于此。

图2是示出图1所示的图像信号处理器200的框图。

参照图2，图像信号处理器200可包括线存储器210、EIS计算器220、拜耳次序计算器230和插值电路240。图2所示的图像信号处理器200的上述构成元件仅是示例，图像信号处理器200的构成元件当中的至少一些构成元件可根据需要添加到图像信号处理器200或从图像信号处理器200省略。多个构成元件可被集成到一个结构中，或者一个结构可根据需要被分成多个构成元件。另外，图像信号处理器200的构成元件可被实现为软件、硬件或其组合。

线存储器210可存储从输出缓冲器150接收的像素数据。在这种情况下，各个像素的像素数据可被映射到各个像素的像素坐标，并且可存储映射的结果。因此，插值电路240可识别哪一像素坐标包括像素数据。在这种情况下，像素坐标可表示APS块110的XY平面中的各个像素的位置。例如，像素坐标可表示XY平面中的各个像素的位置。例如，假定APS块110包括2304列和1296行，排列在X轴方向上的第一像素和排列在Y轴方向上的第一像素的像素坐标可由(0,0)表示，并且不仅位于X轴方向的第2304位置而且位于Y轴方向的第1206位置的像素的像素坐标可由(2303,1295)表示。

根据需要，线存储器210可不同时存储与整个仅一个帧对应的像素数据。例如，假定与仅一个帧对应的像素数据是与1120行对应的像素数据，则线存储器210可具有能够存储与最多18行对应的像素数据的存储容量，但不限于此。线存储器210可根据需要不同时存储与整个仅一个帧对应的像素数据，并且可具有适合于图像信号处理器200的处理的存储容量。

线存储器210中可依次存储像素数据。如果要用于存储新像素数据的存储空间被认为不足，则线存储器210可按照旧像素数据→新像素数据的次序依次删除多个像素数据，使得线存储器210可存储新像素数据。存储在线存储器210中的像素数据以下将被称为原始数据或拜耳图案图像。即，拜耳图案图像意指从像素根据拜耳图案排列的APS块110生成的像素数据。由插值电路240基于存储在线存储器210中的像素数据生成的插值处理的图像以下将被称为RGB图像。换言之，拜耳图案图像的各个像素的数据可包括仅一个颜色信息，RGB图像的各个像素的数据可包括RGB颜色信息。

EIS计算器220可基于像素坐标和陀螺仪信息GI依次计算用于EIS校正的校正像素坐标。在这种情况下，EIS校正可包括平移校正、错切校正和旋转校正中的至少一个。

EIS计算器220可包括用于平移校正的平移计算器222、用于错切校正的错切计算器224以及用于旋转校正的旋转计算器226。

平移计算器222可计算陀螺仪信息GI的平移信息(即，X轴移动信息和Y轴移动信息)和像素坐标，使得平移计算器222可使用计算结果信息来计算第一校正像素坐标。平移计算器222可使用第一校正像素坐标来生成水平同步信号HSYNC和垂直同步信号VSYNC，并且可将水平同步信号HSYNC和垂直同步信号VSYNC发送到控制寄存器块170。根据另一实施方式，平移计算器222可生成基本信息(例如，决定水平同步信号HSYNC和垂直同步信号VSYNC中的每一个的波形的参考像素坐标)以用作生成水平同步信号HSYNC和垂直同步信号VSYNC的基础，并且可将所生成的基本信息发送到控制寄存器块170。因此，定时发生器160或控制寄存器块170也可根据需要生成水平同步信号HSYNC和垂直同步信号VSYNC。

水平同步信号HSYNC和垂直同步信号VSYNC可用于决定与从输出缓冲器150发送到图像信号处理器200的像素数据对应的像素范围。例如，假定水平同步信号HSYNC和垂直同步信号VSYNC中的每一个具有第一电平(例如，高电平)和第二电平(例如，低电平)，则一行中所包含的多个像素当中仅与水平同步信号HSYNC处于第一电平的区段对应的像素可通过列线输出像素信号。另外，多个行当中仅与垂直同步信号VSYNC处于第一电平的区段对应的行的像素数据可被发送到图像信号处理器200。

错切计算器224可计算陀螺仪信息GI的节段移动信息和第一校正像素坐标，并因此可基于计算的结果来计算第二校正像素坐标。

旋转计算器226可计算陀螺仪信息GI的旋转信息和第二校正像素坐标，并因此可计算第三校正像素坐标。

EIS计算器220可不仅将第三校正像素坐标，而且将与第三校正像素坐标对应的非校正像素坐标发送到插值电路240。EIS计算器220的详细操作将稍后参照图4描述。

基于陀螺仪信息GI的平移信息(X轴移动信息和Y轴移动信息)，拜耳次序计算器230可生成指示拜耳图案图像的拜耳次序是否由于平移计算器222的操作而改变的拜耳次序状态信息。

存储在线存储器210中的像素数据可具有关于从对应滤色器获得的R、G和B中的任一种的颜色信息。像素数据可基于RGB组合以预定次序输出到线存储器210，用于输出像素数据的该预定次序以下将被称为拜耳次序。

拜耳次序可用于决定由拜耳图案图像的各个像素数据表示哪一颜色。因此，拜耳次序可被认为是在要由插值电路240执行的插值操作(例如，拜耳至RGB去马赛克处理)中使用的关键信息。

然而，在平移计算器222的上述操作期间拜耳次序可能改变，并且拜耳次序状态信息用于指示拜耳次序是否改变。以下将参照图6描述拜耳次序计算器230的详细操作。

插值电路240可生成RGB图像作为拜耳图案图像的插值结果。所生成的RGB图像可与各个像素的坐标对应。插值电路可使用第三校正像素坐标和拜耳次序状态信息来生成RGB图像。在一些实现方式中，插值电路240可包括第一插值电路242和第二插值电路244。

第一插值电路242可使用拜耳次序状态信息将颜色决定为与第三校正像素坐标的整数坐标对应的R、G和B中的任一种，并且可生成与各个整数坐标对应的RGB数据。在这种情况下，第一插值电路242可基于非校正像素坐标与第三校正像素坐标的整数坐标之间的映射信息来从线存储器210读取与第三校正像素坐标的整数坐标对应的像素数据，可使用拜耳次序状态信息确定与第三校正像素坐标的整数坐标对应的颜色(R、G和B中的任一种)，并且可通过以任一个坐标为中心的3×3掩模插值来生成对应坐标的RGB数据。因此，当在包括4行和4列的4×4掩模内使用4个不同的3×3掩模执行四次插值时，可获得关于中心单位拜耳图案的RGB数据。

第二插值电路244可使用与第三校正像素坐标的整数坐标对应的RGB数据并且还使用第三校正像素坐标的小数坐标来生成与最终窗口的各个像素的坐标对应的RGB数据。在这种情况下，最终窗口可表示从图像信号处理器200输出的一个帧中所包含的像素集合。在这种情况下，第二插值电路244可使用关于所获取的拜耳图案的RGB数据的2×2掩模来基于第三校正像素坐标的小数坐标应用权重，因此可生成与第三校正像素坐标的各个整数坐标对应的RGB数据。第二插值电路244可将与最终窗口中所包含的第三校正像素坐标的各个整数坐标对应的RGB数据输出到输出接口190。

图3是示出基于所公开的技术的一些实现方式的图像信号处理方法的流程图。

参照图3，在步骤S10，CMOS图像传感器100的图像生成块105可响应于从定时发生器160接收的控制信号来生成按照拜耳图案排列的各个像素的像素数据(即，拜耳图案图像)。

在步骤S20，图像信号处理器200可使用陀螺仪传感器300的陀螺仪信息GI执行EIS，并且可使用指示拜耳次序是否改变的拜耳次序状态信息来执行拜耳图案图像的插值。图像信号处理器200可在保持EIS校正之前获得的拜耳次序的同时生成RGB数据。

在步骤S30，图像信号处理器200可输出关于最终窗口的RGB数据。

图4是示出图3所示的图像信号处理方法S20的流程图。图5是示出图4所示的步骤S110和S140的概念图。图6是示出图4所示的步骤S130的概念图。图7是示出图4所示的步骤S160的概念图。图8是示出图4所示的步骤S170的概念图。图9是示出图4所示的步骤S190和S200的概念图。

参照图4，当CMOS图像传感器100响应于从主机400接收的请求或中断信号开始图像捕获时，在步骤S100，图像生成块105可生成像素数据并且陀螺仪传感器300可生成陀螺仪信息GI。

平移计算器222可计算陀螺仪信息GI的平移信息和像素坐标，因此可计算第一校正像素坐标。平移信息可包括X轴移动信息(mv_x)和Y轴移动信息(mv_y)。X轴移动信息(mv_x)可指示陀螺仪传感器300在X轴方向上抖动(或移动)了多少(例如，以像素为单位)。Y轴移动信息(mv_y)可指示陀螺仪传感器300在Y轴方向上抖动(或移动)了多少(例如，以像素为单位)。在这种情况下，X轴移动信息(mv_x)和Y轴移动信息(mv_y)中的每一个可不仅包括整数，而且包括小数。例如，如果X轴移动信息(mv_x)被设定为+2.5，则这意味着陀螺仪传感器300在X轴方向上抖动(或移动)了与“+2.5像素”对应的预定距离。如果Y轴移动信息(mv_y)被设定为-3.5，则这意味着陀螺仪传感器300在Y轴方向上抖动(或移动)了与“-3.5像素”对应的预定距离。

参照图5，平移计算器222可使用平移校正方程来校正各个像素(X,Y)的坐标，使得平移计算器222可计算第一校正像素坐标(X',Y')。平移校正方程可由以下方程1表示。

[方程1]

X'＝X+mv_x

Y'＝Y-mv_y

因此，平移计算器222可通过将X轴移动信息(mv_x)与像素坐标的X轴坐标相加来计算第一校正像素坐标的X轴坐标(X’)，并且可通过从像素坐标的Y轴坐标减去Y轴移动信息(mv_y)来计算第一校正像素坐标的Y轴坐标(Y')。在这种情况下，方程1中的X轴移动信息(mv_x)和Y轴移动信息(mv_y)具有相反符号的原因在于，陀螺仪传感器300的坐标系的符号不同于像素坐标的坐标系的符号。更详细地，尽管陀螺仪传感器300的坐标系的坐标值可在向下方向上逐渐减小，但像素坐标的坐标系的坐标值可在向下方向上逐渐增大。

返回参照图4，平移计算器222可将第一校正像素坐标(X',Y')的整数坐标(int(X')),int(Y'))和小数坐标(X_dp',Y_dp')彼此分离。因此，平移计算器222可提取第一校正像素坐标(X',Y')的整数坐标(int(X'),int(Y'))，并且可从第一校正像素坐标(X',Y')减去第一校正像素坐标(X',Y')的整数坐标(int(X'),int(Y'))，使得平移计算器222可在步骤S120中计算第一校正像素坐标(X',Y')的小数坐标(X_dp',Y_dp')。例如，当第一校正像素坐标(X',Y')由(200.4,360.7)表示时，第一校正像素坐标(X',Y')的整数坐标可由(200,360)表示，第一校正像素坐标(X',Y')的小数坐标可由(0.4,0.7)表示。

在后续步骤S140、S150和S160中，可使用第一校正像素坐标(X',Y')的整数坐标，并且可在步骤S170中使用第一校正像素坐标(X',Y')的小数坐标。

此外，在步骤S130中，基于X轴移动信息和Y轴移动信息，拜耳次序计算器230可生成指示拜耳次序是否由于平移计算器222的操作而改变的拜耳次序状态信息。

图6中示出拜耳次序由于平移计算器222的操作而改变的各种类型。拜耳图案可被分类为：第一类型拜耳图案(以下称为“GB_first类型”)，其中首先排列RGB当中的GB；第二类型拜耳图案(以下称为“BG_first类型”)，其中首先排列RGB当中的BG；第三类型拜耳图案(以下称为“RG_first类型”)，其中首先排列RGB当中的RG；以及第四类型拜耳图案(以下称为“GR_first类型”)，其中首先排列RGB当中的GR。

图6示出拜耳次序改变的情况的示例。图6示出发生图像抖动的抖动图像以及抖动被校正的稳定图像。参照图6，GB优先类型的抖动图像改变为图6的(a)中的“GB_first类型”拜耳图案、图6的(b)中的“BG_first类型”拜耳图案、图6的(c)中的“RG_first类型”拜耳图案以及图6的(d)中的“GR_first类型”拜耳图案。

包括RGB的拜耳图案可在X轴方向和Y轴方向中的每一个上每两个像素重复。结果，尽管当平移距离由偶数表示时拜耳次序不改变，但当平移距离由奇数表示时拜耳次序改变。

因此，拜耳次序计算器230可使用指示X方向抖动的X轴移动信息(mv_x)的整数部分和指示Y轴方向抖动的Y轴移动信息(mv_y)的整数部分来生成拜耳次序状态信息。

例如，当X轴移动信息(mv_x)和Y轴移动信息(mv_y)中的每一个的整数部分由偶数表示时，“GB_first类型”拜耳次序中不存在改变(如图6的(a)的示例中所示)。当X轴移动信息(mv_x)的整数部分由奇数表示并且Y轴移动信息(mv_y)的整数部分由偶数表示时，拜耳次序从“GB_first类型”拜耳次序改变为“BG_first类型”拜耳次序(如图6的(b)的示例中所示)。当X轴移动信息(mv_x)的整数部分由偶数表示并且Y轴移动信息(mv_y)的整数部分由奇数表示时，拜耳次序从“GB_first类型”拜耳次序改变为“RG_first类型”拜耳次序(如图6的(c)的示例中所示)。当X轴移动信息(mv_x)的整数部分由奇数表示并且Y轴移动信息(mv_y)的整数部分由奇数表示时，拜耳次序从“GB_first类型”拜耳次序改变为“GR_first类型”拜耳次序(如图6的(d)的示例中所示)。

例如，拜耳次序状态信息可由2比特组成。在这种情况下，拜耳次序在图6的(a)的示例中可具有两个比特“00”，在图6的(b)的示例中为“01”，在图6的(c)的示例中为“10”，在图6的(d)的示例中为“11”。

如上所述，由于平移计算器222的操作，拜耳次序可能改变。存储在线存储器210中的拜耳图案图像可每像素具有R、G和B中的任一种的颜色信息，不同于RGB图像。因此，在插值操作中不反映改变的拜耳次序的情况下，不可能生成正常RGB图像。因此，所公开的技术的一些实现方式允许由拜耳次序计算器230生成的拜耳次序状态信息在后续步骤S190中被反映在插值操作中。

返回参照图4，在步骤S140执行平移校正。因此，平移计算器222可使用第一校正像素坐标的整数坐标来生成水平同步信号HSYNC和垂直同步信号VSYNC，并且可将水平同步信号HSYNC和垂直同步信号VSYNC发送到控制寄存器块170。

参照图5，假设水平同步信号HSYNC在整个区段内处于第一电平(EIS_IN_HSYNC)并且垂直同步信号VSYNC在整个区段内处于第一电平(EIS_IN_VSYNC)，图像生成块105可生成关于APS块110的所有像素的像素数据，并且可将所生成的像素数据发送到线存储器210。在这种情况下，所有像素可构成总窗口TTW。

如果没有发生抖动，则假设与发送到线存储器210的像素数据对应的像素集合是最终窗口FNW。总窗口TTW与最终窗口FNW之间的差异可包括X轴方向(即，水平方向)上的第一偏移(off_x)和Y轴方向(即，垂直方向)上的第二偏移(off_y)。在具体示例中，第一偏移(off_x)可为152像素并且第二偏移(off_y)可为88像素，但其它实现方式也是可能的。在一些实现方式中，最终窗口FNW也可表示从图像信号处理器200输出的像素集合。

如果发生抖动并且基于像素坐标(X,Y)计算第一校正像素坐标(X',Y')，则可生成水平同步信号(EIS_Translation_HSYNC)和垂直同步信号(EIS_Translation_VSYNC)，使得与像素坐标(X,Y)对应的像素数据可存储在线存储器210中并且第一校正像素坐标(X',Y')的整数坐标处于最终窗口FNW内。由于与水平同步信号(EIS_Translation_HSYNC)和垂直同步信号(EIS_Translation_VSYNC)所决定的平移窗口TRW对应的像素数据被存储在线存储器210中，所以可在步骤S140和S150中对目标图像应用平移。

为了步骤S160中的错切校正和步骤S170中的旋转校正，平移窗口TRW可在X轴方向上比最终窗口FNW长第一长度，并且可在Y轴方向上比最终窗口FNW长第二长度。例如，第一长度可包括用于错切校正的裕度(即，16×2＝32个像素)，并且可包括用于旋转校正的裕度(即，10个像素)。第二长度可包括用于旋转校正的裕度(即，18个像素)。在这种情况下，可根据陀螺仪传感器300所生成的陀螺仪信息GI的范围来确定第一长度和第二长度。

根据实施方式，第一长度和第二长度中的每一个还可包括用于插值的裕度(例如，2个像素)。

返回参照图4，在步骤S160中，错切计算器224可计算陀螺仪信息GI的节段移动信息和第一校正像素坐标的整数坐标(int(X'),int(Y'))，并因此可基于计算结果来计算第二校正像素坐标。

参照图7，陀螺仪信息GI的节段移动信息可表示由于在X轴方向上发生突然移动而导致的倾斜程度，并且可包括关于Y轴方向上排列的多个节段中的每一个的移动距离的信息。例如，平移窗口TRW可被分成多个节段SEG1至SEGn(其中“n”是等于或大于2的整数)，并且与各个节段的边界对应的移动距离X0至Xn可被包括或包含在节段移动信息中。例如，“n”可被设定为“8”。

错切计算器224可使用与各个节段的边界对应的移动距离X0至Xn来计算各个节段的斜度(she_in)。例如，第一节段SEG1的斜度(she_in)可通过将第一节段SEG1的上边界和下边界之间的移动距离差(X1-X0)除以第一节段SEG1的Y轴方向线数量(例如，140条线)来获得。另外，第二节段SEG2的斜度(she_in)可通过将第二节段SEG2的上边界和下边界之间的移动距离差(X2-X1)除以第二节段SEG2的Y轴方向线数量(例如，140条线)来获得。

错切计算器224可将各个节段的斜度(she_in)乘以第一校正像素坐标的整数坐标(int(X'),int(Y'))的相对位置值(she_cnt(y))以获得斜度(she_in)与整数坐标(int(X'),int(Y'))的乘积，并且可执行该乘积与第一校正像素坐标的整数坐标(int(X'))之间的计算，使得错切计算器224可校正第一校正像素坐标的整数坐标(int(X'),int(Y'))的斜度(如图7中的(a)→(b)所示)。在这种情况下，第一校正像素坐标的整数坐标(int(X'),int(Y'))的相对位置值(she_cnt(y))可表示对应节段内的第一校正像素坐标的整数坐标(int(X'),int(Y'))的Y轴方向相对位置。如果假设对应节段由140条线组成，则属于节段的第一条线(即，最高线)的第一校正像素坐标的整数坐标(int(X'),int(Y'))的相对位置值(she_cnt(y))由零“0”表示，并且相对位置值可在向下方向上依次逐个增大，使得属于最后一条线(即，最低线)的第一校正像素坐标的整数坐标(int(X'),int(Y'))的相对位置值(she_cnt(y))由“139”表示。

错切计算器224可基于当第一校正像素坐标的整数坐标(int(X'),int(Y'))的斜度被校正时获得的校正结果来计算各个节段的节段偏移(she_ofs)，并且可排列多个节段SEG1至SEGn以与多个节段SEG1～SEGn中的任一个(例如，第一节段SEG1)对齐(如图7中的(b)→(c)所示)。当校正第一校正像素坐标的整数坐标(int(X'),int(Y'))的斜度时，基于各个节段的上边界的移动距离来执行这种斜度校正，使得节段偏移(she_ofs)可用于基于第一节段SEG1的上边界的移动距离X0执行排列。例如，第二节段SEG2的节段偏移(she_ofs)可由“X1-X0”表示，第三节段SEG3的节段偏移(she_ofs)可由“X2-X0”表示。

图7的(a)、图7的(b)和图7的(c)的错切校正处理可由下面的错切校正方程2表示。

[方程2]

在方程2中，可每节段确定斜度(she_in)和节段偏移(she_ofs)，并且可对应像素的每一条线改变第一校正像素坐标的整数坐标(int(X'),int(Y'))的相对位置值(she_cnt(y))。另外，错切校正处理可用于校正X轴方向斜度，使得第一校正像素坐标的整数坐标(int(X'),int(Y'))的Y轴坐标可保持不变。当对第一校正像素坐标的整数坐标(int(X'),int(Y'))完成错切校正时，可创建第二校正像素坐标(SX,SY)。

尽管为了描述方便，图7示例地公开了以正(+)斜度倾斜的图像的错切校正，但其它实现方式也是可能的。因此，所公开的技术的实施方式也可应用于以负(-)斜度倾斜的图像的错切校正。

返回参照图4，在步骤S170中，旋转计算器226可计算陀螺仪信息GI的旋转信息和第二校正像素坐标(SX,SY)以获得第三校正像素坐标(RX,RY)。陀螺仪信息GI的旋转信息可表示由于垂直于X轴和Y轴中的每一个的Z轴方向移动而导致的倾斜旋转角度。

参照图8，在错切校正完成之后创建的由第二校正像素坐标(SX,SY)组成的窗口可被定义为错切窗口SHW，并且对错切窗口SHW的第二校正像素坐标(SX,SY)应用旋转校正，从而得到最终窗口FNW的信息。

如果基于陀螺仪信息GI中所包含的旋转信息的旋转角度由“θ”表示，则旋转校正方程可由下面的方程3表示。

[方程3]

在这种情况下，旋转计算器226可计算(例如，相加或相减)第一校正像素坐标(X',Y')的小数坐标(X_dp',Y_dp')并将所计算的值应用于第二校正像素坐标(SX,SY)。通过将陀螺仪信息(GI)的X轴移动信息(mv_x)和Y轴移动信息(mv_y)的小数值反映在第二校正像素坐标(SX,SY)中，可执行更正确的校正。

为了旋转校正方程的更简单计算，假设与错切窗口SHW的左上端的角对应的坐标被设定为旋转校正的原点R(0,0)。在这种情况下，可执行第二校正像素坐标(SX,SY)的转换，并且在基于旋转校正方程的计算完成之后可恢复转换结果。

尽管为了描述方便，图8示例地公开了关于旋转了正(+)角度的图像的旋转校正，但其它实现方式也是可能的。例如，所公开的技术的实施方式也可应用于关于旋转了负(-)角度的图像的旋转校正。

返回参照图4，在步骤S180中，旋转计算器226可将所计算的第三校正像素坐标(RX,RY)以及第三校正像素坐标(RX,RY)和非校正像素坐标(X,Y)之间的映射信息发送到插值电路240，使得可对整个图像应用错切校正和旋转校正。在这种情况下，第三校正像素坐标(RX,RY)和非校正像素坐标(X,Y)之间的映射信息可提供关于在执行平移、错切和旋转校正之前哪些像素坐标(X,Y)与第三校正像素坐标(RX,RY)关联的信息。

在步骤S190中，插值电路240的第一插值电路242可使用拜耳次序状态信息来决定与第三校正像素坐标(RX,RY)的整数坐标对应的一种颜色(R、G和B中的任一种)，并且可生成与各个整数坐标对应的RGB数据(即，整数像素)。

参照图9，假设带阴影的拜耳图案的第三校正像素坐标(RX,RY)的整数坐标对应于位于最终窗口FNW的左上端的角周围的拜耳图案。

基于第三校正像素坐标(RX,RY)的整数坐标与非校正像素坐标(X,Y)之间的映射信息，第一插值电路242可从线存储器210读取与第三校正像素坐标(RX,RY)的整数坐标对应的像素数据。

另外，第一插值电路242可使用拜耳次序状态信息来决定与第三校正像素坐标的整数坐标对应的一种颜色(R、G和B中的任一种)。图9示出指示拜耳图案从“GB_first类型”改变为“GR_first类型”的拜耳次序状态信息。在图9中，可决定包括带阴影的拜耳图案的4×4掩模中的各个像素的颜色。

第一插值电路242可基于包括相应颜色决定的像素的3×3掩模来通过插值生成对应像素的RGB数据，其中在3×3掩模的中心包括G像素(在图9中着重示出)。换言之，如果基于4×4掩模内的不同像素使用4个不同(3×3)掩模执行四次插值，则可获得中心的单位拜耳图案的RGB数据。

返回参照图4，在步骤S200中，第二插值电路244可使用第三校正像素坐标的小数坐标(RX,RY)来生成与第三校正像素坐标(RX,RY)的整数坐标对应的RGB数据以及与最终窗口的各个像素坐标(即，最终像素)对应的RGB数据。

参照图9，第二插值电路244可使用所获取的拜耳图案的RGB数据的2×2掩模来基于第三校正像素坐标的小数坐标(RX,RY)使用权重，使得第二插值电路244可生成与第三校正像素坐标(RX,RY)的各个整数坐标对应的最终RGB数据。

例如，如果假设像素P1的RGB数据由第一插值电路242所计算的“R1/G1/B1”表示，像素P2的RGB数据由第一插值电路242所计算的“R2/G2/B2”表示，像素P3的RGB数据由第一插值电路242所计算的“R3/G3/B3”表示，像素P4的RGB数据由第一插值电路242所计算的“R4/G4/B4”表示，并且像素P1的小数坐标由(0.3,0.5)表示，则第二插值电路244可将与(0.3,0.5)对应的权重分配给2×2掩模中所包含的R1、R2、R3和R4中的每一个，使得第二插值电路244可基于分配结果来计算最终R数据。同样，第二插值电路244可将与(0.3,0.5)对应的权重分配给2×2掩模中所包含的G1、G2、G3和G4中的每一个和B1、B2、B3和B4中的每一个，使得第二插值电路244可基于分配结果来计算最终G数据和最终B数据。

第二插值电路244可将与最终窗口FNW中所包含的第三校正像素坐标的各个整数坐标对应的最终RGB数据输出到输出接口190。

如上所述，由于拜耳次序状态信息的第一计算、基于像素坐标的各个校正坐标的第二计算以及基于第一计算和第二计算的插值可实时处理，所以所公开的技术的实施方式可仅使用线存储器210来执行EIS校正和插值处理，而不必存储与整个帧对应的全部图像。

根据所公开的技术的实施方式的图像信号处理方法可基于关于拜耳图案图像(代替RGB图像)的陀螺仪信息来执行EIS校正，并且可基于在EIS校正处理中改变的拜耳次序来生成校正的拜耳图案图像的RGB图像，从而可实现消耗最少***资源的EIS校正功能。

在一些实现方式中，根据所公开的技术的实施方式的图像信号处理方法可仅使用线存储器(代替帧存储器)来执行EIS，而无需存储EIS校正不需要的像素数据，从而可大大减少EIS校正所需的***资源。

另外，根据所公开的技术的实施方式的图像信号处理方法可使用图像传感器芯片内的陀螺仪信息以集成方式执行包括平移校正、错切校正和旋转校正的EIS校正。

将理解，本文所使用的各种实施方式和术语并非旨在将本文献中所描述的技术构思限于特定实施方式，而是包括实施方式的各种修改、等同物和/或替代。只要可能，贯穿附图将使用相同的标号来表示相同或相似的部分。如说明书和所附权利要求中所使用的，除非上下文清楚地另外规定，否则术语“一”、“一个”、“一种”、“该”以及其它类似术语包括单数和复数形式二者。除非上下文中另外说明，否则单数表示可包括复数表示。在本申请中，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”或“A、B或C中的至少一个”的表达可包括从所列出的相关项当中选择的一个或更多个项的所有可能组合。本申请中所使用的诸如“第一”和“第二”的表达可指示对应构成元件而不管顺序和/或重要性，用于将构成元件与另一构成元件相区分，并且不限制对应构成元件。当描述构成元件(例如，第一构成元件)“(功能上或通信上)联接到”或“连接到”另一构成元件(例如，第二构成元件)时，应该理解，该构成元件可直接(例如，通过导线)连接到所述另一构成元件，可无线地连接到所述另一构成元件，或者可通过另一个构成元件(例如，第三构成元件)连接到所述另一构成元件。

本申请中所使用的术语“模块”包括以硬件、软件或固件配置的单元，并且可与诸如逻辑、逻辑块、组件或电路的术语互换使用。术语“模块”可以是一体配置的组件或者执行至少一个功能的最小单元或其一部分。术语“模块”可机械地实现或电子地实现，并且可包括例如专用集成电路(ASIC)。

所公开的技术的各种实施方式可被实现为软件(例如，程序)，其包括存储在机器(例如，电子装置)可读的存储介质(例如，板载存储器或外部存储器)中的一个或更多个指令。例如，机器(例如，电子装置)的处理器(例如，处理器)可从存储在存储介质中的指令当中检索至少一个指令，并且可执行所检索到的指令，使得机器可响应于至少一个检索到的指令操作以执行至少一个功能。一个或更多个指令可包括由编译器生成的代码或者能够由解释器执行的代码。机器可读存储介质可被实现为非暂时性存储介质。在这种情况下，术语“非暂时性存储介质”可指示存储介质是有形装置并且不包括信号(例如，电磁波)，并且术语“非暂时性”不在数据被永久地存储在存储介质中的一种情况与数据被暂时地存储在存储介质中的另一种情况之间进行区分。

根据各种实施方式，根据本申请所公开的各种实施方式的方法可被包含在计算机程序产品中，然后可被提供给用户。计算机程序产品可作为商品在卖方和买方之间交易。计算机程序产品可被实现为机器可读存储介质(例如，紧凑盘只读存储器CD-ROM)，然后被快速地分发给用户。另选地，计算机程序产品可被直接分发给两个用户装置(例如，智能电话)，可通过应用商店(例如，PlayStore^TM)分发给两个用户装置(例如，智能电话)，或者可在线分发给两个用户装置(例如，智能电话)(例如，下载或上传)。在在线分发中，计算机程序产品的至少一部分可被暂时地或临时地存储在机器可读存储介质(例如，制造公司的服务器、应用商店的服务器或中继服务器的存储器)中。

根据各种实施方式，上述构成元件中的每一个(例如，模块或程序)可包括一个或更多个实体。根据各种实施方式，上述构成元件当中的至少一个构成元件或至少一个操作可被省略，或者可添加一个或更多个其它构成元件或者一个或更多个其它操作。另选地或另外地，多个构成元件(例如，模块或程序)可被集成到仅一个构成元件中。在这种情况下，集成的构成元件可按照与执行这种集成之前多个构成元件当中的对应构成元件所执行的先前操作相同的方式或相似的方式来执行多个构成元件中的每一个的一个或更多个功能。根据各种实施方式，由模块、程序或其它构成元件执行的操作可依次、并行地、重复地或启发式地执行，上述操作中的至少一个可按照不同的顺序执行或被省略，或者可添加另一操作。

从以上描述显而易见的是，根据所公开的技术的实施方式的图像信号处理方法、图像信号处理器和图像传感器芯片可基于关于拜耳图案图像(而非RGB图像)的陀螺仪信息来执行电子图像稳定(EIS)校正，可使用在EIS校正中改变的拜耳次序来形成关于校正的拜耳图案图像的RGB图像，因此可实现具有最少***资源消耗的EIS校正功能。

在一些实现方式中，所公开的技术的实施方式可仅使用线存储器(代替帧存储器)来执行EIS，从而可大大减少EIS校正所需的***资源。

所公开的技术的实施方式可允许使用用于图像传感器芯片中的陀螺仪信息以集成方式执行包括平移校正、错切校正和旋转校正的EIS校正。

所公开的技术的实施方式可提供各种效果，其能够通过上述专利文献直接或间接认识到。

本领域技术人员将理解，所公开的技术可按照本文所阐述的方式以外的其它特定方式来实现。因此，上述实施方式应该在所有方面均被解释为例示性的而非限制性的。

尽管已描述了与本公开一致的多个例示性实施方式，但是应该理解，可作出许多其它修改和实施方式。例如，可对组成部件和/或排列方式进行许多变化和修改。除了组成部件和/或排列方式的变化和修改之外，对于本领域技术人员而言替代使用也将是显而易见的。

相关申请的交叉引用

本专利文献要求2019年1月10日提交的韩国专利申请No.10-2019-0003337的优先权，其公开通过引用整体并入本文。

Claims (20)

1.一种处理图像信号的方法，该方法包括以下步骤：

基于平移信息来生成指示拜耳图案图像的拜耳次序是否已经改变的拜耳次序状态信息，所述拜耳图案图像与各自具有红色、绿色或蓝色之一的颜色信息的像素数据对应，并且所述拜耳次序指示所述拜耳图案图像的所述颜色信息的顺序；

使用所述平移信息关于所述拜耳图案图像执行平移校正；以及

基于所述拜耳次序状态信息对已经执行了所述平移校正的所述拜耳图案图像执行插值。

2.根据权利要求1所述的方法，其中，执行所述平移校正的步骤包括以下步骤：

通过计算所述拜耳图案图像的像素坐标和所述平移信息来获得第一校正像素坐标；以及

基于所述第一校正像素坐标来生成水平同步信号和垂直同步信号。

3.根据权利要求2所述的方法，其中，计算所述第一校正像素坐标的步骤包括以下步骤：

通过将所述平移信息的X轴移动信息与所述像素坐标的X轴坐标相加来计算所述第一校正像素坐标的X轴坐标；以及

通过从所述像素坐标的Y轴坐标减去所述平移信息的Y轴移动信息来计算所述第一校正像素坐标的Y轴坐标。

4.根据权利要求2所述的方法，其中，生成所述水平同步信号和所述垂直同步信号的步骤包括以下步骤：

按照与像素坐标对应的拜耳图案图像被存储在线存储器中并且所述第一校正像素坐标的整数坐标在最终窗口内的方式来生成所述水平同步信号和所述垂直同步信号。

5.根据权利要求4所述的方法，其中，由所述水平同步信号和所述垂直同步信号决定的平移窗口在X轴方向上比所述最终窗口长第一长度，并且在Y轴方向上比所述最终窗口长第二长度。

6.根据权利要求5所述的方法，其中，所述第一长度和所述第二长度基于陀螺仪信息来确定。

7.根据权利要求1所述的方法，该方法还包括以下步骤：

在执行所述平移校正之后，使用陀螺仪信息的节段移动信息来执行错切校正，以获得第二校正像素坐标。

8.根据权利要求7所述的方法，其中，

所述节段移动信息包括多个节段中的每一个的移动距离，并且

执行所述错切校正的步骤包括以下步骤：

校正使用各个节段的所述移动距离计算的各个节段的斜度；以及

通过利用使用各个节段的所述移动距离计算的节段偏移排列所述多个节段来计算所述第二校正像素坐标。

9.根据权利要求1所述的方法，该方法还包括以下步骤：

在执行所述平移校正之后，使用陀螺仪信息的旋转信息来执行旋转校正，以获得第三校正像素坐标。

10.根据权利要求9所述的方法，该方法还包括以下步骤：

使用所述陀螺仪信息的节段移动信息来执行错切校正，以获得第二校正像素坐标，并且其中，执行所述旋转校正的步骤包括以下步骤：

将第一校正像素坐标的小数坐标与所述第二校正像素坐标相加或者从所述第二校正像素坐标减去所述第一校正像素坐标的小数坐标。

11.根据权利要求1所述的方法，其中，所述拜耳图案图像被存储在线存储器中。

12.根据权利要求1所述的方法，其中，生成所述拜耳次序状态信息的步骤包括以下步骤：

根据所述平移信息的X轴移动信息和Y轴移动信息中的每一个的整数部分是偶数还是奇数来生成所述拜耳次序状态信息。

13.根据权利要求1所述的方法，其中，执行插值的步骤包括以下步骤：

读取与第三校正像素坐标的整数坐标对应的像素数据；

使用所述拜耳次序状态信息来确定与所述第三校正像素坐标的整数坐标对应的颜色；以及

使用包括颜色已被决定的像素的掩模来生成RGB数据。

14.根据权利要求13所述的方法，其中，执行插值的步骤还包括以下步骤：

使用所述RGB数据和所述第三校正像素坐标的小数坐标来生成最终RGB数据。

15.一种图像信号处理器，该图像信号处理器包括：

拜耳次序计算器，该拜耳次序计算器被配置为基于陀螺仪信息的平移信息来生成指示拜耳图案图像的拜耳次序是否已经改变的拜耳次序状态信息；

电子图像稳定EIS计算器，该EIS计算器被配置为使用所述平移信息关于所述拜耳图案图像执行平移校正；以及

插值电路，该插值电路被配置为基于所述拜耳次序状态信息对已经执行了所述平移校正的所述拜耳图案图像执行插值。

16.根据权利要求15所述的图像信号处理器，其中，所述拜耳次序计算器被配置为基于所述平移信息的X轴移动信息和Y轴移动信息中的每一个的整数部分是偶数还是奇数来生成所述拜耳次序状态信息。

17.根据权利要求15所述的图像信号处理器，其中，

所述电子图像稳定EIS计算器通过计算所述拜耳图案图像的像素坐标和所述平移信息来计算第一校正像素坐标，并且基于所述第一校正像素坐标来生成水平同步信号和垂直同步信号。

18.根据权利要求15所述的图像信号处理器，其中，所述电子图像稳定EIS计算器使用陀螺仪信息的节段移动信息来执行错切校正，并且使用所述陀螺仪信息的旋转信息来执行旋转校正。

19.根据权利要求15所述的图像信号处理器，其中，

所述插值电路读取与第三校正像素坐标的整数坐标对应的像素数据，使用所述拜耳次序状态信息来确定与所述第三校正像素坐标的整数坐标对应的颜色，并且使用包括颜色已被决定的像素的掩模来生成RGB数据。

20.一种图像传感器装置，该图像传感器装置包括：

图像生成器，该图像生成器被配置为生成包括各自指示单个颜色信息的像素数据的拜耳图案图像；以及

图像信号处理器，该图像信号处理器被配置为生成指示所述拜耳图案图像的拜耳次序是否已经改变的拜耳次序状态信息，使用平移信息对所述拜耳图案图像执行平移校正，并且基于所述拜耳次序状态信息对已经执行了所述平移校正的所述拜耳图案图像执行插值。

Images