CN101554043B

CN101554043B - 图像传感器的数据组处理方法和处理***

Info

Publication number: CN101554043B
Application number: CN200780020045.3A
Authority: CN
Inventors: 布伦讷·托马斯; 巴特克·海里克; 弗兰克·格布勒
Original assignee: Nokia Oyj
Current assignee: Here Global BV
Priority date: 2006-05-29
Filing date: 2007-05-25
Publication date: 2012-12-05
Anticipated expiration: 2027-05-25
Also published as: CN101554043A; DE102006025651A1

Abstract

本发明涉及一种图像传感器的数据组处理方法和处理***、其相应的电脑程序以及相应的电脑可读存储媒介，其尤其可用于在像数码相机、手机等移动终端的帮助下形成全景照片。在该图像传感器的数据组处理方法中，图像传感器的多条连续数据组至少部分被读取，在一些附加数据组被读取时，已读取的数据组被分析，以算出已读数据组中的相应叠加区域，以及多条连续的数据组在通过数据输出装置进行输出时叠合成一张图像。

Description

图像传感器的数据组处理方法和处理***

技术领域

本发明是关于图像传感器的数据组处理方法和处理***、其相应的电脑程序以及相应的电脑可读存储媒介，尤其可用于通过使用一些移动终端设备，例如数码相机、手机等设备，来制成全景相片。

背景技术

目前已经有一些可制出全景相片的设备。但这些已知方案都需使用到一些特别的光学元件，才能使对象以所要求的全景格式在一些光学或图像传感器上显示出，例如胶片(诸如此类)或CCD芯片等。在此使用到的光学元件需要额外的材料。特别是有时对于高端高质量的设备，或可进行相当大的广角度拍摄的设备，更会出现高额的附加成本。

而目前已知的其它全景照片制成方法，特别是数码相机所采用的方法则是要求用户对相机进行必要的手动叠加定位和校准，以便多个图像能相互接合起来，这一过程有部分是自动的，但大多需要手动的调整。有些较好的方法会给予用户一些提示，例如用半透明的垂直线条提示上一张照片，以便于用户进行定位。但对于一些比较困难的景象，也就是拍摄对象具有比较相似的多个部分时，例如石墙，操作起来常常会出现很多问题。

另一种实际情况是拍摄视频，事后通过图像分析从这些视频中提取出全景。这要求在一个很有限的存储空间内储存大量的数据，特别是对于小型的设备，像数码相机和手机，若图像分辨率较高，那么很快就没有存储空间了，否则就降低拍摄质量，因为视频拍摄中的单张图像的质量较低。在进行拍摄的过程中无法决定，哪些图像是要用于全景图片提取的。

另一种选择是拍摄和储存多个单张的照片，所要求的存储空间和处理时间会随着拍摄角度和分辨率的增大而增加，单张照片以及组合照片的质量也就会随之增高，这样一来会超出小型设备的容量。

在以上所提到的两种全景照片生成方法中，用户都无法预览将会生成的照片，而只能看到当前所拍摄的照片/数据组。并且已经摄取的数据组也无法看到。

日本公开专利申请JP 2006-135386中描述了一种方法，其将多部相机的视频图片组合成一张全景照片。特别可以将所有相机在同一时间拍摄的单张照片组合为一张全景照。JP 2006-135386中没有对时序照片的处理进行说明。

发明内容

本发明的目的在于提供一种图像传感器的数据组处理方法和处理***、其相应的电脑程序以及相应的电脑可读存储媒介，其能克服已知方案的弊端，并且能实现全景照片的自动拍摄，以及拍摄角度可自由选择。

上述目的通过具有权利要求1、17、23和24所述特征的发明方案所实现。而附属权利要求对本发明优选的实施方式进行了描述。

根据本发明的一个特别的优势，一个不具备专门的全景镜头，而仅仅是装上透镜的普通机型的设备，例如手机，也可以拍摄全景照片。通过使用本发明的对图像传感器的数据组进行处理的方法，一个数据处理元件能迅速接连地至少部分地读取一个图像传感器的数据组，这样便可增加这些拍摄性能。在图像传感器的其它数据正被读取时，同时会对之前已读取的数据进行分析，优选为自动地分析，以计算出已读数据组中的相叠合区域。优选地，已读的数据主要是作为图像数据进行分析的，以在图像数据组中找到相叠合的图像区域。在此可采用所有适合的图片处理方法。在所计算出的相应图片叠合区域的基础上，多组连续的数据组中的数据组将会依次相互拼合为一张整幅的照片。这张整幅的照片包含了那些构成一个场景的数据，这个场景比图像传感器的单条数据组所构成的场景要大。优选的，生成整幅照片的数据会被一起保存，并/或通过数据输出装置输出。该整幅照片的数据能以视觉的形式输出，或以文件的形式转到其它的数据处理设备上，以进行进一步处理等。

优选地，通过本发明的方法对图像传感器的整个数据组都进行读取。而进行图像数据分析只需很低的分辨率，这样，就算低效率的设备也能很快的读取数据。

按照本发明的对图像传感器的数据组进行处理的***，包括至少一个图像传感器，以及至少一个带有存储装置数据处理设备或，或者至少一个图像传感器，至少一个带有存储介质的数据处理设备以及至少一个进行数据输出的装置。其中，该***构造成能够使得至少一个图像传感器的多组相连续的数据组至少能被部分读取，而读取后的数据组能被进行分析，这样就可算出在已读的数据组中相应的叠合区域，并且将多个相连续的数据组(优选为单个图像传感器的数据组)以及关于相互叠合区域的信息一起保存在存储装置中，并/或通过数据输出装置将其输出。其中，在一种输出，优选为视觉的输出中，该至少一个图像传感器的数据会拼接成单张图像。在进行视觉输出时，优选地，图像数据在显示屏上示出，而在显示屏上呈现的图像会通过随后读出的数据组中的图像数据逐渐扩宽开来。本发明***的一个优选实施例中，图像传感器是CCD传感器(CCD＝Charge Coupled Device电荷耦合器件)或CMOS传感器(CMOS＝Complementary Metal Oxide Semiconductor互补金属氧化物半导体)。

根据本发明的***的一个优选实施例，使场景在至少一个图像传感器上成像的光学元件置于该图像传感器的前侧。该光学元件优选为透镜***，例如相机镜头。

优选地，本发明的***可包括激活元件，用于激活对图像传感器中数据的读取。这种激活元件能应用于具有照相功能的相机或手机，例如它可以是快门。

用于数据输出的装置最好还含有对至少一个图像传感器的数据进行视觉输出的装置。

根据本发明的方法的一个优选实施例，通过这个激活元件可激活快门功能，其中，在对快门功能保持不断被激活时，就会读取图像传感器上多组相连续的数据组。优选地，在快门功能被激活的情况下，会持续不断的读取数据，也就是说，单个的图像会较快的按顺序依次读取。

按照本发明***的一个实施例，至少有一个图像传感器集成在移动终端设备上，例如数码相机、掌上电脑(PDA)或手机。在这些情况下，激活元件也就是快门。只要快门被按住，就会读取图像传感器的数据组，对其分析并拼接为一张整幅的照片。还有一种可选的方式是，通过对激活元件进行第一次一次性的动作从而开始快门操作，到对激活元件进行第二次一次性动作结束进程。在按下和松开激活元件(快门)之间，或者第一次和第二次对激活元件进行动作的间隔时间里，快门功能被激活，图像传感器中的数据组被读取出来。在快门功能被一次性持续激活的过程中读取的数据组或至少一部分数据会用于拼合成一张整幅的照片。在数据组进行读取时，通过在摄取的场景之间相对移动图像传感器，就可以生成全景照片。在移动终端设备(例如数码相机、PDA或手机)上集成图像传感器的情况下，就可以在快门被按住的情况下摇动移动终端设备，拍摄所需的场景，然后就能得到全景照片。如果是在一辆行驶的车辆上拍摄照片，那么不用移动相机也能生成拼合的照片，也就是全景照片。也就是说，只要图像传感器和需要摄取的场景之间存在相对运动就可以。

根据本发明方法的另一优选的实施例，在对读出的数据进行分析时就会在两张依次相连的照片之间，也就是两个依次读出的图像数据之间得出一个2D转换。优选地，此2D转换是通过2D单应性矩阵或投影转换而得出的。该投影转换可以仅仅通过例如Lukas-kanade算法来实现。

优选地，对数据组的分析是连续的，并且/或者是进行实时分析的。特别优选地，该分析也产生关于图像传感器移动贯穿场景的路径的数据，例如根据连续读取的图像数据组的光通量来实现。

根据本发明所述方法的另一优选的实施例，数据分析的结果被用于计算何时需要和保存用于场景的接合图像的另一条数据组，以及/或者如何将该分图添加到已存储的各分图片上。优选地，这一计算过程是全自动进行的。这里所说的分图也就是指全景照片的一个组成部分。

本发明的另一优选的实施例中，不同分辨率的数据组由图像传感器所读取。该分析也能在较低分辨率的数据组中进行。为此，只有低分辨率的图像数据组被读取。如果要在已经保存的数据上添加一个新的数据组，那么该数据组会以高分辨率被读取(和保存)。此方案的处理非常快，因为只需对小数据组进行分析，此外分析所需的存储空间也较小。

将下一张具有充分重叠特征的照片添加到已有图像上的方法就如以上所述，但只有图像传感器(例如“取景器框”)的低分辨率数据被读取。只有在另一张照片被添加上来时，一张较好的、优选为完整的图像摄取控制(例如自动对焦、曝光测量、白平衡、闪光......)的照片才会被读取。在以较好的图像摄取控制形式进行拍照时，根据用户要求和/或场景的特征(像光影情况等)，在拍摄要加入到全景照片中的单图时，要考虑到构成全景照片的单图的一些附加的参数，例如自动对焦、曝光测量、白平衡、闪光等。在相机***每次进行拍摄时都要对这些参数进行重新调整，也可将这些针对拍摄的参数事先设定为固定值。

因为在以较好的或优选的完整图像摄取控制形式进行拍照时，要根据相机的类型采用较短或较长的延迟时间，所以要以声音和/或视觉信息向用户提醒何时停止相机运动。

本发明的一个优选的实施例中，用已测好的参数来检验运动是否停止，然后才进行拍摄。

如果进行了拍摄，显示屏上展示更新的预览，以声音和/或可视信息提醒用户要继续相机的运动。

相机运动的中断/停止有以下优势：

a)直到停止之前，相机的运动速度可以很快，

b)能完全避免与图像传感器、镜头和场景特征(例如亮度和距离)有关的、可能出现的运动模糊现象。

c)可进行闪光灯拍摄。

在考虑到一些附加参数的情况下，停止运动，以及以较好的图像摄取控制形式进行拍照，具有以下优势：

a)可以拍摄那些以后才进行拼接的图像数据，因为这些图像文件可能与主存储器不匹配，而通过一个硬件支持的编码元件(例如通常存在于带拍照功能的手机里)直接写到一个非易失性固定存储器(例如闪存盘、硬盘......)上。之后，这些高分辨率的照片，和那些由低分辨率单张照片得出并转化为了高分辨率的照片将被保存，以进行叠加。

b)在拍摄全景照片时，通过中断运动可以让支持自动全景拍摄功能的那些设备不能让图像数据直接由图像传感器读出，只能用取景器框，而且像在a)中提到的设备始终要用到编码元件，以直接保存高分辨率的图像数据。

c)可以借助高分辨率的数据组，在已得出的转换结构的基础上以额外的处理时间，把两个依次相连的图片之间的2D转换结果变得更精细，并且/或者用要求较多计算时间的方法重新进行计算。

根据本发明优选的一个实施例，如上所述，低分辨率图像数据(例如取景器框)可进行拼接，以用于计算和预览，而高分辨率的图像数据在后处理中接合。

在前述的图像摄取方法中，会通过一个反馈信号(声音/可视信息)提醒用户什么时候应该中断相机的运动，以得到所需质量的照片，这种方法通过本发明的图像数据分析方法可以完全实现，因为根据分析，得到对图像传感器的数据组的一些结论，这些结论是拍摄图像所必需的。在一个实施例中，通过分析可推定，拍摄需添加上去的照片时，相机运动太快，然后将此指示给用户。若需接合成全景照的单张照片可按当前速度拍摄并具有预期质量，则优选地不发送提示信号。

本发明的另一优选的实施例中，即便相机的运动没有中断或延迟中断时，也拍摄需要进行接合的照片。因为在此情况下可能拍摄了低质量的照片，此照片在后期可能转为高质量的照片。

本发明的另一优选的实施例中，如果中断得太迟，用户需要进行反向运动。

根据本发明另一优选的实施例，在发现照片质量有问题的情况下，例如有运动造成的模糊，那么会要求用户做一个反向运动，以便能再拍摄一份较高质量的数据组。

本发明方法的另一大优势在于，跟以前传统的数据分析形式相比，并不是所有读出的数据组都需要保存。只要通过对读出的数据组的分析，表明有一条已读出数据组不用添加到已保存的图像上，那么就不必保存它了。例如，当前已读数据组与已存图像的叠加还包含其它的图像区域，并且通过分析得出，将下一条读出的数据组拼接到已保存的图像上对于生成全景照片是合适的，在这种情况下，可以将前一条数据组删除。该下一条的数据组可能会被保存，除非紧接其后的数据组比它更适合构成全景照片。通过这种方案，能极大的降低了所需的存储空间。

在本发明另一优选的实施例中，可以通过连续和/或以实时预览的形式将全景照片的进展显示在视觉输出装置，以评估全景照片形成过程中的进程，该视觉输出装置优选为显示器或屏幕。这样的实时预览为本发明的运用提供了支持，因为通过这样的实时预览，用户就可以观察到整个拍摄过程，然后进行调整，如调整手动运动的速度，以得到最佳的效果。

一种用于对图像传感器的数据组进行处理的电脑程序，在该电脑程序安装到数据处理设备的存储器上后，使数据处理设备能实现对图像传感器的数据组进行处理的方法，其中图像传感器的多条连续数据组至少部分的被读取，读取后的数据组又被进行分析，以计算出在已读的数据组中相应的叠合区域，以及

-多条连续的数据组连同关于相应叠合区域的信息，以及/或者

-多条连续的数据组保存在一份文件里，以及/或者

-多条连续的数据组在由数据输出的装置输出时叠合成一张图像。

这种电脑程序可以从数据网络或通信网络上下载(付费、免费，随意取得或需密码)。本发明提供的电脑程序可通过一方法应用到连接到数据网络中的数据处理设备上，对于该方法，如权利要求22所述，电脑程序可从一个电子数据网络，例如互联网下载。

为了能够运用本发明的对图像传感器的数据组进行处理的方法，要使用到一个电脑可读的存储媒介，一个程序存储其中，把该程序装载到数据处理设备的存储器上后就可以使用该数据处理设备了，并且能运用该发明的对图像传感器的数据组进行处理的方法，图像传感器的多条数据组被至少部分的被依次读取，而读取后的数据组又被进行分析，以便从已读的数据组中得出相应的叠合区域，以及

-多条连续的数据组保存在一份文件里，以及/或者

例如，通过运用本发明的方法，在朋友相聚时，例如一个聚会上，只需用传统的相机，如数码相机、手机或PDA，进行一次“环绕抓拍”，就可将所有的参加者都拍摄下来。同样，通过使用本发明的方法，能对景点或山峰等进行全景拍摄。也能以完全自由选择的角度对历史名胜等进行拍摄。照片拍摄的角度并不限定在360度内。

不难想象，通过本发明的方法所进行的全景照片拍摄是非常简便的，只需按住拍照设备(如数码相机、手机等)的快门，然后以需要的角度摇动就可以了。安装在拍照设备上的软件会操控对来自图像传感器的数据的读取，对数据组的分析、将图像数据叠合成全景照片，以及全景照片的生成都不需用户再进行其它操作。因此，整个操作都是自动的，全景照片进行拍摄时，或拍摄过后，都不要求用户进行任何操作。

附图说明

以下参考附图对本发明的实施例作进一步说明，其中：

图1是拍摄全景照片时的一个示例性处理流程，

图2对带有叠合区域的、已存储的高分辨图像示意图。

具体实施方式

在此以数码相机为例，对本发明进行了说明。但本发明并不局限于这个具体示范性的实施例，本发明可以有很多其他的实施方式，其中，图像传感器可安装到其他设备或装置上。

在这里所阐述的实施例中，图像传感器(可以是CCD芯片或CMOS芯片)被集成安装到一个数码相机上。在本实施例中，带有光学参数的光学元件装在这个图像传感器前侧，本实施例的光学元件是个镜头，通过该光学元件能把相机拍摄的场景成像于图像传感器。为了实现本发明的方法，集成在数码相机里的数据处理设备(例如处理器)上存有运算法***。该运算法***操控着对数据组的读取、分析、保存，以及分图到整图的组合。

在此再次简短的概述了本发明的方法：

1.开始：读取第一张图像数据组，并进行保存(在本实施中，第一张照片始终会被用于全景照)，

2.读取第二个数据组，计算进行最后储存的图像数据组的叠合区域位置(例如通过2D转换或Lukas-Kanade算法)，

3.若叠合区域大于规定的阈值，则删除当前的数据组，并继续进行步骤2，或进行步骤4，

4.保存图像数据组并通过叠加将其接到全景照片上，

5.计算全景存储器是否已满，或者已经由快门结束了拍摄，如果是，则：停止，否则继续进行步骤2。

在这个实施例中，图像传感器的数据组通常是被完全读取的(涉及到场景的)。如果进行分析的是分辨率较低的全部图像数据组，而不是整个图像数据组，那么整个流程会加快。

在读取过程中，像电影放映一样，单张的照片会以很快的速度依次被读取和分析。这个图像可以是传感器的完全的数据组(全图)、分图或缩放图。

数据处理设备读取传感器的数据组，处理该数据组，优选为马上处理该数据，然后再读下一条传感器数据组。读取图像传感器数据组的频率取决于传感器、数据处理设备***、***负荷，或处理设备的速度。

在本发明方法的一个实施例中，对传感器数据组进行的分析包含以下几个步骤：

1.可选操作，将照片的投影图像进行处理，例如圆柱形投影；

2.通过2D单应性矩阵或投影转换，计算出两个连续的图像数据组之间的2D转换，其中，投影转换是用简单的方式如Lukas-Kanade算法进行；

3.将2D转换会一直相加，直到达到了预定的阈值，在达到阈值之后就转入下一步；

4.将当前的图像与之前的图像进行叠加，并将数据保存在数据存储器或固定存储器中。利用当前图像的图像数据就能将存储的全景照片(或全景照片分图)的图像数据组相继扩宽。优选地，全景照片的所有图像数据会保存在单个的文件中。

拍摄过程中的几个步骤，即图像数据组的读取、分析和保存，会在快门功能被激活的情况下一直进行，即，在所需图像被摄取时一直进行。

在该图像数据组处理方法的另一实施例中，最后，在后处理操作中，对整幅全景照片的投影进行处理。优选地，一般会在已读的图像数据组的投影在以上所说的步骤1中没有执行处理时，会进行该操作。

在该图像数据组处理方法的另一个实施例中，在对高分辨率的数据组进行保存前或之后，但是是在对用于拼接数据组的转换进行精细/重新计算处理以及拼接实际发生之前，对每条单个数据组进行投影操作。优选地，尤其在已读的图像数据组的投影在以上所说的步骤1中没有执行处理时，会进行该操作。

在本发明方法的一个实施例中，分析运算的结果被接收并被运用，优选为在考虑到镜头(光学元件)的光学参数的情况下全自动的计算出，何时要保存场景的其它分图像，并将其添加到已保存的全景照片分图上。通过分析运算提取的结果将被继续使用，优选为全自动的计算出，怎样将现有分图的图像数据组的图像数据值添加到已保存的全景照片的分图上。在最后一条图像数据组被添加到全景照片的分图数据里以后，会有一个整幅全景照片的基础数据组。整幅全景照片的这个数据组会在进行了相应的图像处理的情况下，并且在分析和拼接的过程中将整幅全景照片的最终版本展现出来。特别是按照了以上所说的步骤1将单张图像的每条读入的数据组的投影图像进行了处理时，会用到这里讲的情况。

根据另一个实施例，对整张要进行后处理，其中，在考虑到接收的运动数据和镜头的光学参数的情况下，要对全景照片可能出现的畸变等进行修正。若没有进行以上所说的可选步骤1，那么就可以进行该后处理步骤。

在本发明方法的另一个实施例中，要使用分析运算所得出的结果，以在数码相机的显示器上让用户实时预览图像数据拼接为全景照片的进程。

根据本发明的另一个实施例，对图像数据组进行处理的方法集成到移动电话、PDA或数码相机的拍照功能中。在此情况下，用于操控图像数据的分析和处理的软件与移动电话、PDA或数码相机的操作***相适应，例如单版或多版的

操作***。优选地，在设备的拍照模式下打开该软件。通过这样的功能集成，全景照片的拍摄就会在拍照功能的全部功能范围。通过这种方式，对分辨率进行自由选择的功能，对照片库进行浏览的浏览器，变焦功能，以及在移动终端设备和外部存储元件(如存储卡，或其它数据处理设备如个人电脑)之间进行数据转移的功能，都可以用于全景照片的拍摄。

在另一个实施例中，对图像数据组进行处理的方法与手机的拍照功能相叠合。基于这种方案，通过短暂地按操纵杆就可以开始进行全景照片的拍摄。拍摄的第一张照片会显示在手机的显示器或屏幕上。通过左右或上下移动手机，之后的照片会依次叠合到第一张照片上。而在显示器或屏幕上会看见全景照片形成的进展。随着图像数据的加入，全景照片会变大。在本实施例中，当全景照片的拍摄结束后，只需再短暂按一下操纵杆就能停止拍摄。但本发明的另一个实施例中，当达到最大全景拍摄值时，例如360度，会自动结束拍摄。

当全景照片的拍摄结束后，可以马上让照片翻转90度，成为垂直方向的照片。此外用户还可以使用手机拍照模式下的所有功能，比如用户可以对全景照片进行变焦，以检查其中的拍摄质量或对象细节是否如他所愿。

在另一个实施例中，拍摄全景照片时的操作可通过按手机的按键来完成。例如，各按键的功能可以如下安排：

数字键“5”：

浏览全分辨率形式的全景照片，也即：照片的像素相当于显示器或屏幕的像素；

数字键“1”、“2”、“3”、“4”、“6”、“7”、“8”和“9”：

将全景照片往一个方向推，这个方向对应于键盘上所采用的按键与“5”的相对位置，例如：按数字键“3”就会在显示器或屏幕上看见当前全景照片的左上部分；

数字键“0”：

显示整幅全景照片；

按键“*”和“#”：

逐步缩放功能。

按照本发明的另一个实施例，不仅可以拍摄水平的或垂直的全景照片，还可以制成“招贴画格式”。在本实施例中，例如可以将相机先水平(或垂直)朝一个方向移动，然后在不中断拍摄过程的前提下，再将其在偏移一定高度的位置以相反的方向往回移动，这样在第一次生成的全景照片的上方或下方就会接合上第一次移动拍摄的全景照片。这样的移动可以迂回重复多次。

以下对后处理作进一步说明：

图1a和1b展示了经由后处理实现高分辨率接合的实施例。

为进行后处理，所有拍摄参数(例如曝光时间、感光度ISO设定、白平衡、光圈、焦距等)都会被保存(在很多设备上，它是以可交换图形文件(EXIF)格式的元数据的形式被保存，本实施例方法可采用这种格式)

本实施例中带有后处理的高分辨率接合实现了分辨率的混合，它不包含于非永久性存储器中的，通过使用可选的存储方法，例如对高分辨率单张的照片分块处理。

它还能对单张或整幅照片进行修正，如调整对比度、亮度和白平衡，这是通过在优选的整个摄取控制过程中对每张照片摄取控制所计算出的和保存下来的参数(例如感光度设定、曝光时间、光圈、白平衡、颜色调节)的处理，以及通过对照片叠加区域图像信息的处理来实现，这些照片叠加区域形成有根据该优选的整个摄取控制中的不同图像摄取参数来获取的相同场景片段的像。

后曝光修正

图2展示了保存的高分辨率照片1-4，以及算出的它们在图像较佳叠合时、并在混合前成为一张全景照片(见图1a的100)的叠加区域A-C。用于照片1-4的在该优选的整个摄取控制中的拍摄参数(例如曝光时间、光圈、感光度/ISO调节、白平衡等)都被保存，例如保存在EXIF元数据中，其通过自动编码元件写到JPEG文件上)。

区域A定义了具有照片1和照片2的拍摄参数的相同图像内容；下面类似的区域有B和C。

根据拍摄参数的信息，照片按逻辑顺序成对叠合，以便对这些照片的整体修正尽量小。

通过对两张照片叠加区域的分析(例如通过柱状分析或其它的分析方式)算出修正的参数的转换值(例如对比度、亮度......)，就能针对每张照片相对其相邻的照片进行修正。

对这些照片之间不同白平衡的调节也类似于此。若在拍摄参数中没有针对白平衡的精确信息(例如实际色温值)，那么通过对叠加区域A-C的分析以及每组成对照片的修正计算得到合适的顺序，以保持所有单张照片尽量小的修正。

Claims

1.一种图像传感器的数据组处理方法，该方法用于生成全景图像，该方法提供了用于激活从至少一个图像传感器读取所述数据组的至少一种方法，其中，图像传感器的多条连续数据组至少部分被读取，当一些附加数据组被读取时，已读取的数据组被分析，以自动地算出已读数据组中的相叠合区城，在用于激活读取的至少一种方法持续不断的激活时，要添加到全景图像中的数据组自动地依赖于由数据组被分析的结果而被计算，以及自动地

-被添加的数据组的数据连同关于相应叠合区域的信息，以及/或者

-被添加的数据组的数据被保存在一份文件里，以及/或者

-被添加的数据组在由数据输出的装置输出时叠合成一张图像。

2.根据权利要求1所述的方法，其特征在于，在连续激活快门功能时对数据组进行连续读取。

3.根据权利安求1或2所述的方法，其特征在于，那些在连续的、一次性的激活快门功能时被读取的数据组叠合为一张图像。

4.根据权利要求1所述的方法，其特征在于，在要将进一步的数据组加入到叠合的图像中时，发出信号。

5.根据权利要求1所述的方法，其特征在于，在进行叠合之前，调配已存数据组的不同拍摄参数，其中，所述调配通过考虑拍摄参数，基于各个数据组的叠合图像区域的分析进行，调配的方式为，选出最佳匹配顺序，使得所有数据组的改变最小。

6.根据权利要求1所述的方法，其特征在于，对已读数据组的分析包括计算依次相邻的数据组之间的2D转换。

7.根据权利要求6所述的方法，其特征在于，所述2D转换的计算包括2D单应性矩阵及/或投影转换。

8.根据权利要求1所述的方法，其特征在于，所述对已读数据组的分析包含以下步骤：

-计算何时常要保存由图像传感器摄取的场景的附加分图像，以及/或者

-将多张分图像叠合为一个场景。

9.根据权利要求1所述的方法，其特征在于，对数据组进行连续的及/或实时的分析。

10.根据权利要求1所述的方法，其特征在于，图像传感器的数据组是作为全图、分图或缩放图被读取的。

11.根据权利要求1所述的方法，其特征在于，对不同分辨率的数据组进行读取。

12.根据权利要求11所述的方法，其特征在于，用低分辨率的数据组进行分析。

13.根据权利要求11所述的方法，其特征在于，以高分辨率读取要添加到所述已存数据组上的数据组。

14.根据权利要求1所述的方法，其特征在于，保存至少一部分已读数据组，其中，所述已存数据构成一个场景，所述场景比图像传感器摄取的数据组构成的场景要大。

15.根据权利要求14所述的方法，其特征在于，对已存数据的畸变进行修正，其中还处理光学参数和/或算出的运动数据。

16.根据权利要求1所述的方法，其特征在于，在读取数据组时所述图像传感器相对于要摄取的场景运动。

17.根据权利要求16所述的方法，其特征在于，所述运动是：

-水平的，

-垂直的，或

-迂回曲折的形式。

18.根据权利要求1所述的方法，其特征在于，对由保存的数据展现的场景连续地进行视觉显示输出。

19.一种进行图像传感器的数据组处理方法的***，该进行图像传感器的数据组处理方法用于生成全景图像，其中所述***包括至少一个图像传感器、至少一个数据处理设备以及用于激活从至少一个图像传感器读取数据组的至少一种装置，所述***构成能够让至少一个图像传感器的多组相连的数据组至少部分被读取，当一些附加数据组被读取时，已读取的数据组被分析，以自动地算出已读数据组中的相叠合区域，在用于激活读取的至少一种装置持续不断的激活时，要添加到全景图像中的数据组自动地依赖于由数据组被分析的结果而被计算，以及自动地

-被添加的数据组的数据被保存在一份文件里，以及/或者

20.根据权利要求19所述的***，其特征在于，所述至少一个图像传感器是：

-CCD传感器(CCD＝电荷辐合器件)或

-基于CMOS的传感器(CMOS＝互补金属氧化物半导体)。

21.根据权利要求19或20所述的***，其特征在于，所述***包括：

-至少一个光学元件，用于在至少一个图像传感器中形成场景的像

-至少一个激活元件，用于激活对所述至少一个图像传感器中数据组的读取，以及/或者

-至少一个用于对所述至少一个图像传感器拍摄的图像数据进行视觉输出的装置。

22.根据权利要求19所迷的***，其特征在于，所述至少一个图像传感器集成在移动终端设备中。

23.根据权利要求22所述的***，其特征在于，所述移动终端设备是：

-数码相机，

-掌上电脑PDA或

-手机。