CN101877765A

CN101877765A - 图像变换设备及控制图像变换设备操作的方法

Info

Publication number: CN101877765A
Application number: CN201010166690XA
Authority: CN
Inventors: 大石诚
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-04-28
Filing date: 2010-04-27
Publication date: 2010-11-03
Anticipated expiration: 2030-04-27
Also published as: CN101877765B; JP2010258933A; EP2247097A2; JP5226600B2; EP2247097A3; US8279291B2; US20100271501A1

Abstract

本发明提供了一种图像变换设备和一种控制该图像设备的操作的方法。通过连续拍摄得到第一图像和第二图像。检测第一图像和第二图像之间的整体图像抖动并对抖动进行校正。如果包含在第一图像和第二图像中的例如汽车的图像在摄取第一图像到摄取第二图像期间进行了移动，则在第二图像中移动该汽车的图像以与第一图像中的汽车的图像一致。第一图像中的汽车的图像和通过移动汽车的图像得到的图像叠加在一起。可以根据其中对象移动的部分以及其中对象未移动但是由于相机抖动发生了模糊的部分对两个图像帧进行叠加。

Description

图像变换设备及控制图像变换设备操作的方法

技术领域

本发明涉及用于变换图像的设备以及涉及控制该设备的操作的方法。

背景技术

当摄取对象的图像时，在减少相机抖动方面优选的是采用短的曝光时间。另一方面，短的曝光时间会造成较暗的图像。为了应对于此，提出了一种其中以短的曝光时间两次摄取同一对象的图像从而减小相机抖动的影响的技术，于是将如此获得的两个图像帧叠加在一起以使得到的图像变亮(见日本专利申请特许公开第2004-357202号和第2000-155831号的说明书)。然而，在对象中存在诸如汽车之类的移动物体的情况中，存在着叠加两个图像帧会造成在通过该叠加得到的图像(下文中称为“叠加图像”)中的移动物体的对象图像模糊的情况。

发明内容

因此，本发明的一个目的是产生既防止了相机抖动又防止了移动物体的对象图像模糊的图像。

根据本发明，前述目的通过提供图像变换设备实现，该图像变换设备包括：第一特征点决定装置，用于从第一图像中决定表示对象图像的形状特征的多个特征点，其中，已经通过连续拍摄得到了所述第一图像和第二图像；第一相应点决定装置，用于从所述第二图像中决定对应于由第一特征点决定装置决定的各特征点的各相应点；移动对象图像检测装置，用于检测第一图像和第二图像各自中的移动对象图像，所述移动对象图像为包含在第一图像和第二图像中的对象图像，并代表从摄取第一图像到摄取第二图像期间移动的物体；变换目标区设定装置，用于设定第一图像和第二图像各自中的变换目标区，所述变换目标区包围各所述特征点的位置和各所述相应点的位置，其中各所述特征点存在于由移动对象图像检测装置从由第一特征点决定装置决定的各特征点中检测到的移动对象图像中，以及各所述相应点存在于由移动对象图像检测装置从由第一相应点决定装置决定的各相应点中检测到的移动对象图像中；第二特征点决定装置，用于决定由变换目标区设定装置设定的第一图像的变换目标区内的图像的多个特征点；第二相应点决定装置，用于决定由变换目标区设定装置设定的第二图像的变换目标区内的图像中对应于由第二特征点决定装置决定的各特征点的各相应点；以及第一图像变换装置，用于以以下方式变换第二图像的变换目标区中的图像，即，使得由第二特征点决定装置决定的各特征点和由第二相应点决定装置决定的各相应点一致。

本发明还提供了一种用于上述图像变换设备的操作控制方法。具体地，控制图像变换设备的方法包括以下步骤：从第一图像中决定表示对象图像的形状特征的多个第一特征点，其中，已经通过连续拍摄得到了所述第一图像和第二图像；从所述第二图像中决定对应于已经决定了的各第一特征点的各第一相应点；检测第一图像和第二图像各自中的移动对象图像，所述移动对象图像为包含在第一图像和第二图像中的对象图像，并代表从摄取第一图像到摄取第二图像期间移动的物体；设定第一图像和第二图像各自中的变换目标区，所述变换目标区包围各所述第一特征点的位置和各所述第一相应点的位置，其中各所述第一特征点存在于从已经决定的各第一特征点中检测到的移动对象图像中，以及各所述第一相应点存在于从已经决定的各第一相应点中检测到的移动对象图像中；决定所设定的第一图像的变换目标区内的图像的多个第二特征点；决定所设定的第二图像的变换目标区内的图像中的对应于已经决定的各第二特征点的各第二相应点；以及以以下方式变换第二图像的变换目标区中的图像，即，使得已经决定的各第二特征点和已经决定的各第二相应点一致。

本发明还提供了一种用于实施上述控制图像变换设备的操作的方法的计算机可读程序。本发明还用于提供一种记录介质，该记录介质上已经存储了上述程序并可以可拆卸地***到计算机中。

根据本发明，通过连续拍摄得到第一图像和第二图像。表示对象图像的形状特征的多个特征点从第一图像中决定。这些特征点是图像中包含的多个对象图像的轮廓上的点、对象图像的形状发生改变处的点等。对应于各个已决定了的特征点的各相应点从第二图像中决定。

在第一图像和第二图像各自中检测包含在第一图像和第二图像中的并代表从摄取第一图像到摄取第二图像期间移动的物体的移动对象图像。在第一图像和第二图像中的每一个中决定包围存在于检测到的移动对象图像中的各特征点的位置和存在于检测到的移动对象图像中的各相应点的位置的变换目标区。

决定第一图像中的变换目标区内的图像的各特征点。对于第二图像中的变换目标区内的图像，决定对应于第一图像的变换目标区内的图像的各特征点的各相应点。以以下方式变换第二图像的变换目标区内的图像，即，使得第一图像的变换目标区内的图像的各特征点和第二图像的变换目标区内的图像的各相应点一致。

根据本发明，检测代表从摄取第一图像到摄取第二图像期间移动的物体的移动对象图像，并设定图像变换区，以使其包围移动对象图像在其移动前和移动后的位置。包含在第一图像的图像变换区中的对象图像的位置、和包含在第二图像的图像变换区中的对象图像的位置将会相互置换，这是因为该对象图像在摄取第一图像和摄取第二图像期间是移动的。为此，以以下方式变换第二图像的变换目标区内的图像，即，使得第一图像的变换目标区内的图像的各特征点和第二图像的变换目标区内的图像的各相应点一致。

优选地，该设备还包括第二图像变换装置，用于以以下方式变换第二图像中所述变换目标区以外的图像，即，使得由第一相应点决定装置决定的各相应点与由第一特征点决定装置决定的各特征点一致。如果第一图像和第二图像之间存在变化，则设定的变换目标区以外的部分被看作是在摄取图像时易于发生的相机抖动。因此，为了校正该相机抖动，以以下方式变换第二图像，即，使得由第一特征点决定装置决定的各特征点和由第一相应点决定装置决定的各相应点一致。因此，所得到的第二图像是已经校正了相机抖动的图像。

优选地，该设备还包括叠加装置，用于对于变换目标区内的图像，将已经由第一图像变换装置变换的图像叠加(包括组合、相加或平均)到第一图像上，以及对于该变换目标区以外的图像，以以下方式将第二图像叠加到第一图像上，即，使得由第一相应点决定装置决定的各相应点与由第一特征点决定装置决定的各特征点一致。

优选地，该设备还包括图像摄取装置，用于通过以相同的曝光量或以不同的曝光量执行连续拍摄来获得第一图像和第二图像。

优选地，该设备还包括：电子闪光控制装置，用于控制电子闪光灯发光；以及图像摄取控制装置，用于控制图像摄取装置在由电子闪光控制装置控制的电子闪光灯发光的条件下进行拍摄以及在电子闪光灯不发光的条件下进行拍摄，以及获得所述第一图像和第二图像。

从下面结合附图对说明书进行的描述，本发明的其它特征和优点将变得显而易见，附图中，相同的参考标号表示相同或相似的部件。

附图说明

图1A是从正面看到的数码相机的透视图，以及图1B是从背面看到的该数码相机的透视图；

图2是示出数码相机的电气构造的框图；

图3A和图3B示出了曝光时间；

图4是示出由数码相机执行的处理的流程图；

图5是示出由数码相机执行的处理的流程图；

图6至图10是对象图像的实例；

图11示出了相机抖动和移动物体的变化；

图12至图15是对象图像的实例；

图16至图18示出了变换目标区内的图像；

图19是叠加图像的实例；

图20A和图20B示出了曝光时间；

图21示出了曝光时间；以及

图22示出了对象亮度和信号电平之间的关系。

具体实施方式

下面将参照附图详细描述本发明的优选实施例。

示出了本发明的一个优选实施例的图1A是从正面看的数码相机1的透视图。

数码相机1的顶部形成为具有快门释放按钮2。数码相机1的右侧面形成为具有用于连接USB(通用串行总线)电缆的端子3。

数码相机1的正面形成为具有变焦透镜7，在变焦透镜7的左上方处形成电子闪光灯5，并在变焦透镜7的右上方处形成光学取景器6。

图1B是从后面看的数码相机1的透视图。

液晶显示屏幕10形成在数码相机1的背面的左下部。光学取景器6形成在液晶显示屏幕10的左上部。电源开关12形成在光学取景器6的右侧。模式开关13形成在电源开关12的右侧。拍摄模式和回放模式由模式开关13设置。模式开关13的下方设置有圆形按钮14，其具有向上、向下、向左和向右的箭头。利用该按钮14可以设置连续拍摄模式等。

图2是示出数码相机1的电气构造的框图。

数码相机1的全部操作由CPU 22控制。

数码相机1包括存储器43，其中存储有稍后描述的操作程序和其它数据。该操作程序可以写入存储卡48(等)中、从存储卡48中读取出来并安装到数码相机1中，或该操作程序可以预装到相机中。

如上所述，数码相机1包括快门释放按钮2和模式开关13。表示按下快门释放按钮2的信号被输入到CPU 22。选择拍摄模式或回放模式的模式开关13能够选择性地接通开关S1或S2。拍摄模式通过接通开关S1来设定，以及回放模式通过接通开关S2来设定。数码相机1能够进行闪光灯摄影。这通过提供电子闪光灯5来实现，如上所述。从电子闪光灯5发出的光在闪光控制电路16的控制下开启或关闭。光圈25和变焦透镜7设置在固态电子图像感测器件27(诸如CCD)的前面。光圈25的f/光圈数(f/stop)由通过电机驱动器30控制的电机决定。变焦透镜7的变焦位置由通过电机驱动器31控制的电机34决定。

如果通过模式开关13设定了拍摄模式，则已经通过光圈25的代表对象图像的光就通过变焦透镜7在图像感测器件27的感光体表面上形成图像。图像感测器件27由定时发生器32控制，且以固定周期(例如以1/30秒的周期)摄取对象的图像。代表对象图像的视频信号以固定周期从图像感测器件27输出，并输入至CDS(相关双采样)电路28。已经在CDS电路28中进行了相关双采样的视频信号在模拟/数字转换电路29中被转换成数字图像数据。

该数字图像数据由图像输入控制器35输入至图像信号处理电路36，进行规定的信号处理(诸如伽玛校正)。该数字图像数据被写入VRAM(视频随机存取存储器)44，此后该数据被读出并应用于图像显示单元47，从而将该图像数据在图像显示单元47的显示屏幕上显示为移动图像。

根据该实施例的数码相机1是的在已经通过连续拍摄获得了两个图像帧(即，第一图像和第二图像)的情况下，将这两个图像帧进行组合。在组合这两个图像帧的过程中，决定第一图像中包含的对象图像的轮廓(等)上的多个特征点，并在第二图像中决定对应于这些特征点的各相应点。以使得各特征点和各相应点一致的方式来叠加这些图像。因此，校正了在摄取第一图像和摄取第二图像期间发生的相机抖动。

此外，在存在于摄取第一图像和摄取第二图像期间移动的物体的情况下，对该物体的对象图像的移动进行分析，并以在已经叠加了图像的情况下该物体没有变化的方式来定位该移动物体的对象图像。

因此，为了进行图像的叠加，数码相机1设置有特征点/相应点检测电路38、移动分析电路39和图像变换/合成电路45。

通过图像摄取得到的数字图像数据被输入至AF(自动聚焦)检测电路41。变焦透镜7的变焦位置在AF检测电路41中进行控制，以使图像聚焦。此外，通过图像摄取获得的数字图像数据还被输入至AE(自动曝光)/AWB(自动白平衡)检测电路42。AE/AWB检测电路42以使检测到的亮度变为适当的亮度的方式来决定光圈25的孔径。还在AE/AWB检测电路42中进行白平衡调整。

如果按下快门释放按钮2，则将通过图像摄取获得的图像数据输入至压缩处理电路37。已经在压缩处理电路37中进行了规定的压缩处理的图像数据被输入至视频编码器40并在其中进行编码。编码图像数据在存储控制器46的控制下被记录到存储卡48中。

如果通过模式开关13设定了回放模式，则读取已经记录到存储卡48中的图像数据。由读出的图像数据代表的图像显示在图像显示单元47的显示屏幕上。

图3A和图3B示出了曝光时间。

图3A示出了利用曝光时间T摄取对象的图像并获得了一个图像帧的情况中的曝光时间。图3B示出了每次利用为曝光时间T一半的曝光时间T/2连续两次摄取对象的图像的情况中的曝光时间。

如果利用如图3A所示的较长曝光时间T摄取对象的图像，则发生大量的相机抖动。相反，如果利用图3B所示的短曝光时间T/2摄取对象的图像，则相机抖动减少。尽管当通过利用短的曝光时间T/2两次摄取对象来获得两个图像帧时，在每个图像帧中都有很少的相机抖动，但是亮度也降低了。因此，对这两个图像帧进行叠加。通过叠加得到的图像(“叠加图像”)显示了很少的相机抖动并且很亮。该实施例使得获得这样的叠加图像成为可能。

图4和图5是示出由数码相机1执行的处理的流程图。

首先，对同一对象进行连续拍摄，并获得了第一图像和第二图像(图4中的步骤51)。即使不是连续拍摄，但是如果对同一对象进行拍摄并获得了第一图像和第二图像也足够了。可替换地，可以读取已经摄取的第一图像和第二图像。

图6是第一图像的实例，图7是第二图像的实例。这些图像由于如图3B所示的短的曝光时间而成为较暗的图像。这些图像设置有阴影线以表示它们是暗图像。

如图6所示，汽车的图像73显示在第一图像70的前面，而树的图像71和72显示在后面。

在图7中，在摄取了第一图像70后摄取了第二图像80。由于未同时摄取第一图像70和第二图像80，因此在第一图像70和第二图像80之间出现了由于相机抖动而引起的变化，并且第二图像80相比于第一图像70发生了倾斜。汽车的图像83也显示在第二图像80的前面，且树的图像81和82显示在后面。

第一图像70中的树的图像71和72分别与第二图像80中的树的图像81和82相同，且第一图像70中的汽车的图像73和第二图像80中的汽车的图像83是同一汽车的图像。

当获得了第一图像70和第二图像80时，就决定基准图像和相应图像(图4中的步骤52)。在该实施例中，采用第一图像70作为基准图像，而采用第二图像80作为相应图像。然而，也可以采用相反的形式。

当决定了基准图像和相应图像时，以下面描述的方式决定基准图像的多个特征点(图4中的步骤53)。此外，决定相应图像的多个相应点(图4中的步骤54)。

图8示出了基准图像(第一图像70)。

基准图像70包含树的图像71和72以及汽车的图像73。特征点定义包含在基准图像70中的对象图像的轮廓上的一个点，并表示该对象图像的特征形状。对于树的图像71和72以及汽车的图像73中的每一个都决定多个相应点74。

图9示出了相应图像(第二图像80)。

相应点表示对应于在基准图像70中决定的各特征点的各像素点。对于包含在相应图像80中的树的图像81和82以及汽车的图像83中每一个，决定对应于各特征点74的各相应点84。

接下来，计算基准图像70和相应图像80之间的整体图像的抖动(图4中的步骤55)。下面将详细描述整体图像的抖动的计算(抖动量和抖动方向的计算)。根据计算出来的图像抖动对相应图像80进行校正。该抖动校正可以在叠加基准图像70和相应图像80时进行。

图10是已经进行了抖动校正的相应图像80A的实例。该图像与基准图像70之间的变化已经通过抖动校正进行了校正。

图11示出了光流图。

该光流图使得对应于各特征点的各相应点相对于所述这些特这点的变化量和方向由每个特征点(相应点)处的标记表示。在该光流图中示出了三组标记。假设第一组G1具有最大数量的标记，第二组G2具有次最大数量的标记，而第三组G3具有非常少数量的标记。在该实施例中，确定了具有最大数量的标记的第一组G1表示基准图像70和相应图像80之间的整体图像的变化。此外，确定其中标记数量大于规定数量的第二组G2表示在摄取基准图像70和摄取相应图像80期间移动的移动物体的对象图像的移动量和方向。由其中标记数量少于规定数量的第三组G3表示的是被认为无用的并被确定为不代表移动对象图像的信息。

如果存在整体图像的抖动(图4中步骤56处为“是”)，则确定相应图像80中是否存在表示在摄取基准图像70到摄取相应图像80期间移动的物体的对象图像(移动对象图像)(图5中的步骤57)。在该实施例中，汽车的图像73包含在基准图像70中，汽车的图像83也包含在相应图像80中，并且该汽车在摄取基准图像70到摄取相应图像80期间进行了移动。因此，则确定存在移动对象图像(图5中步骤57处为“是”)。

接下来，检查移动对象图像的相应点的数量是否很大(大于规定数量)(图5中的步骤58)。如果不存在大量的相应点，则由于无用效应将由这些相应点代表的对象图像部分认为是移动对象图像，进而将其排除。

图12示出了包围如上所述确定了的移动对象图像(汽车的图像)73的移动部分区76。图13示出了包围相应图像80中的移动对象图像83的移动部分区86。

由于汽车在移动，因此在图12所示的移动部分区76的位置和图13所示的移动部分区86的位置之间存在变化，且该变化取决于汽车的移动量和移动方向。在该实施例中，设定包围移动部分区76和86两者的变换目标区(图5中的步骤59)。

图14示出了已在基准图像70中设定的变换目标区77。此外，为了使得易于理解，该变换目标区77包围了基准图像70中的移动部分区76和相应图像80中的移动部分区86，除了基准图像70中的移动部分区76以外，还在图14中示出了相应图像80中的移动部分区86。

图15示出了已在相应图像80中设定的变换目标区87。此外，为了使得易于理解，变换目标区87包围了基准图像70中的移动部分区76和相应图像80中的移动部分区86，除了相应图像80中的移动部分区86以外，还在图15中示出了基准图像70中的移动部分区76。

接下来，重新决定基准图像70的变换目标区77内的图像的各特征点(图5中的步骤60)。此外，重新决定对应于基准图像70的变换目标区77内的图像的各特征点的相应图像80的变换目标区87内的图像的各相应点(图5中的步骤61)。

图16示出了基准图像70的变换目标区77内的图像79。

变换目标区77内的图像79包含汽车的图像73。对于该汽车的图像，决定多个特征点78。优选地，以小于以图8所示方式对整体基准图像70决定的各特征点的间隔的间隔选取各特征点78。这样做的原因在于在执行图像变换的情况中，可以实现如稍后描述的更详细的图像变换。

图17示出了相应图像80的变换目标区87内的图像89。

对于变换目标区87内的图像89，决定对应于对于变换目标区77内的图像79决定的各特征点78的多个相应点88。

当决定了各相应点88时，利用所决定的各相应点88和变换目标区87的顶点执行三角剖分(多边化)，如图17所示(图5中的步骤62)。对于已经进行了三角剖分的变换目标区87内的图像89，根据移动对象图像的移动量以以下方式对通过三角剖分得到的每个三角形执行图像变换处理(三角变换处理)，即，使得各特征点78和各相应点88一致(图5中的步骤63)。

图18示出了已经进行了图像变换处理的变换目标区87内的图像90。利用该图像变换处理，使相应图像80内的汽车的图像83的位置与基准图像70内的汽车的图像73的位置一致。

至于基准图像70和相应图像80，关于变换目标区77的内部，将图16所示的变换目标区77内的图像79和已经进行了图像变换的变换目标区87内的图18所示的图像90进行叠加。关于变换目标区77的外部，对已经校正了在摄取基准图像70和摄取相应图像80期间发生的相机抖动的基准图像70和相应图像80进行叠加。从而获得了叠加图像(图5中的步骤64)。

图19示出了叠加图像100的实例。

叠加图像100包含树的图像101和102、以及汽车的图像103。由于已经校正了基准图像70和相应图像80之间的相机抖动，因此无模糊地显示了树的图像101和102。此外，由于图16所示的变换目标区77内的图像79和已经进行了图像变换的图18所示的变换目标区87内的图像90已经通过执行上述图像变换处理叠加在了一起，因此所显示的汽车的图像103也是非模糊的。此外，由于这些图像具有与图3A所示基本相同的曝光时间，因此得到了较高亮度的图像。

如果不存在移动对象图像(图5中步骤57处为“否”)，或者即使已经确定了存在移动对象图像，但是在该移动对象图像中不存在大量的相应点(即，如果由于无用效应已经确定存在移动对象图像)(图5中的步骤58处为“否”)，则校正整体图像的抖动，而无需执行上述图像变换处理，且基准图像70和相应图像80被叠加在一起，从而产生叠加图像(图5中的步骤65)。

图20A和图20B示出了曝光时间。

图20A示出了在以类似于图3A所示方式以曝光时间T摄取一个图像帧的情况中的曝光时间。图20B示出了以第一曝光时间t1摄取第一图像以及以第二曝光时间t2摄取第二图像的情况中的曝光时间t1和t2。等式(第一曝光时间t1)+(第二曝光时间t2)＝(曝光时间T)成立。

由于在摄取第一图像中使用的曝光时间t1长于在摄取第二图像中使用的曝光时间t2，因此第一图像较亮，而第二图像比第一图像暗。在第一图像的亮度增大欠曝光发生越多的多个部分中利用第二图像、以及在第二图像中的暗度增大过曝光发生越多的多个部分中利用第一图像，通过以上述方式叠加第一图像和第二图像得到宽动态范围的叠加图像。

图21示出了其中电子闪光灯在获得第一图像和第二图像时工作的方式。第一图像和第二图像各自的曝光时间相同，即均为T/2。电子闪光灯在获得第一图像的情况中开启，而在获得第二图像的情况中关闭。还可以布置为电子闪光灯在获得第一图像的情况中关闭，而在获得第二图像的情况中开启。

通过在摄取第一图像和摄取第二图像时在闪光灯开启和关闭之间进行切换，即使曝光时间相同，也能得到具有不同亮度的两个图像帧(即第一图像和第二图像)。通过以类似于上述的方式将第一图像和第二图像叠加在一起，获得了宽动态范围的叠加图像。

图22示出了对于不同亮度的第一图像和第二图像中每一个的信号电平和对象亮度之间的关系。

假设第一图像较亮，获得了代表第一图像的第一视频信号，第二图像比第一图像暗并获得了代表第二图像的第二视频信号。虽然第二视频信号使得信号电平随着亮度的升高率很小，而第一视频信号使得信号电平随着亮度的升高率很大。因此，在第一视频信号的情况中，对象亮度在L0及以上时饱和。通过以上述方式叠加第一图像和第二图像，即使对于具有等于或大于亮度L0(此时第一视频信号饱和)的亮度的对象，所获得的叠加图像的视频信号也具有符合亮度的电平。因此，叠加图像的动态范围被加宽。

接下来，将描述用于计算基准图像和相应图像之间的整体图像抖动(图4中步骤55的处理)的方法。

如上所述，在特征点和相应点之间已经发生了图像抖动的情况下，可以利用仿射变换和射影变换计算该抖动。

等式(1)示出了仿射变换关系，等式(2)示出了射影变换关系。在等式(1)和(2)中，相应点的位置以(X，Y)表示，而特征点的位置以(x，y)表示。

[\begin{matrix} x \\ y \end{matrix}] = [\begin{matrix} a & b \\ c & d \end{matrix}] [\begin{matrix} X \\ Y \end{matrix}] + [\begin{matrix} s \\ t \end{matrix}]

...等式(1)

x = \frac{a \cdot X + b \cdot Y + s}{p \cdot X + q \cdot Y + 1}

Y = \frac{c \cdot X + d \cdot Y + t}{p \cdot X + q \cdot Y + 1}

...等式(2)

如果使用最小二乘法计算抖动，如下进行：

基于最小二乘法的GM估计是下面的等式(3)，其中矩阵T代表各特征点并由等式(4)表示。此外，矩阵A是仿射参数向量并由等式(5)表示。矩阵F代表各相应点并由等式(6)表示。此外，矩阵F的转置矩阵是等式(7)。

T≈F·A ...等式(3)

其中，A＝(F^TF)^-1·F^TT

T = (\begin{matrix} X 1 \\ Y 1 \\ X 2 \\ Y 2 \\ \cdot \\ \cdot \end{matrix})

...等式(4)

A = (\begin{matrix} a \\ b \\ c \\ d \\ s \\ t \end{matrix})

...等式(5)

F = (\begin{matrix} x 1 & y 1 & 0 & 0 & 1 & 0 \\ 0 & 0 & x 1 & y 1 & 0 & 1 \\ x 2 & y 2 & 0 & 0 & 1 & 0 \\ 0 & 0 & x 2 & y 2 & 0 & 1 \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \end{matrix})

...等式(6)

FT = (\begin{matrix} x 1 & 0 & x 2 & 0 & \cdot & \cdot \\ y 1 & 0 & y 2 & 0 & \cdot & \cdot \\ 0 & x 1 & 0 & x 2 & \cdot & \cdot \\ 0 & y 1 & 0 & y 2 & \cdot & \cdot \\ 1 & 0 & 1 & 0 & \cdot & \cdot \\ 0 & 1 & 0 & 1 & \cdot & \cdot \end{matrix})

...等式(7)

可以发现，仿射参数向量导致下面的等式(8)，并且其可以定义为如等式(9)和(10)所示。

FT \cdot F = (\begin{matrix} x 1 & 0 & x 2 & 0 & \cdot & \cdot \\ y 1 & 0 & y 2 & 0 & \cdot & \cdot \\ 0 & x 1 & 0 & x 2 & \cdot & \cdot \\ 0 & y 1 & 0 & y 2 & \cdot & \cdot \\ 1 & 0 & 1 & 0 & \cdot & \cdot \\ 0 & 1 & 0 & 1 & \cdot & \cdot \end{matrix}) (\begin{matrix} x 1 & y 1 & 0 & 0 & 1 & 0 \\ 0 & 0 & x 1 & y 1 & 0 & 1 \\ x 2 & y 2 & 0 & 0 & 1 & 0 \\ 0 & 0 & x 2 & y 2 & 0 & 1 \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \end{matrix})

= (\begin{matrix} Σ_{k = 1}^{n} x k^{2} & Σ_{k = 1}^{n} xkyk & 0 & 0 & Σ_{k = 1}^{n} xk & 0 \\ Σ_{k = 1}^{n} xkyk & Σ_{k = 1}^{n} y k^{2} & 0 & 0 & Σ_{k = 1}^{n} yk & 0 \\ 0 & 0 & Σ_{k = 1}^{n} x k^{2} & Σ_{k = 1}^{n} xkyk & 0 & Σ_{k = 1}^{n} xk \\ 0 & 0 & Σ_{k = 1}^{n} xkyk & Σ_{k = 1}^{n} y k^{2} & 0 & Σ_{k = 1}^{n} yk \\ Σ_{k = 1}^{n} xk & Σ_{k = 1}^{n} yk & 0 & 0 & n & 0 \\ 0 & 0 & Σ_{k = 1}^{n} xk & Σ_{k = 1}^{n} yk & 0 & n \end{matrix})

...等式(8)

F^{T} \cdot F = (\begin{matrix} A & B & 0 & 0 & D & 0 \\ B & C & 0 & 0 & E & 0 \\ 0 & 0 & A & B & 0 & D \\ 0 & 0 & B & C & 0 & E \\ D & E & 0 & 0 & n & 0 \\ 0 & 0 & D & E & 0 & n \end{matrix})

...等式(9)

A = Σ_{k = 1}^{n} x k^{2}

B = Σ_{K = 1}^{n} xkyk

C = Σ_{k = 1}^{n} y k^{2}

D = Σ_{k = 1}^{n} x k

E = Σ_{k = 1}^{n} yk

...等式(10)

此外，等式(9)的逆矩阵由等式(11)表示，其中满足等式(12)的关系。

{(F^{T} \cdot F)}^{- 1} = \frac{1}{\det} \times (\begin{matrix} nC - E^{2} & - nB + DE & 0 & 0 & BE - CD & 0 \\ - nB + DE & nA - D^{2} & 0 & 0 & BD - AE & 0 \\ 0 & 0 & nC - E^{2} & - nB + DE & 0 & BE - CD \\ 0 & 0 & - nB + DE & nA - D^{2} & 0 & BD - AE \\ BE - CD & BD - AE & 0 & 0 & AC - B^{2} & 0 \\ 0 & 0 & BE - CD & BD - AE & 0 & AC - B^{2} \end{matrix})

...等式(11)

det＝n(AC-B²)+D(BE-CD)+E(BD-AE) ...等式(12)

下面的等式(13)满足Cauchy-Schwarz不等式，并满足等式(14)的关系。

AC - B^{2} = Σ_{k = 1}^{n} x k^{2} \cdot Σ_{k = 1}^{n} y k^{2} - {(Σ_{k = 1}^{n} xkyk)}^{2} &GreaterEqual; 0

...等式(13)

F^{T} \cdot T = (\begin{matrix} x 1 & 0 & x 2 & 0 & \cdot & \cdot \\ y 1 & 0 & y 2 & 0 & \cdot & \cdot \\ 0 & x 1 & 0 & x 2 & \cdot & \cdot \\ 0 & y 1 & 0 & y 2 & \cdot & \cdot \\ 1 & 0 & 1 & 0 & \cdot & \cdot \\ 0 & 1 & 0 & 1 & \cdot & \cdot \end{matrix}) \times (\begin{matrix} X 1 \\ Y 1 \\ X 2 \\ Y 2 \\ \cdot \\ \cdot \end{matrix}) = (\begin{matrix} Σ_{k = 1}^{n} xkXk \\ Σ_{k = 1}^{n} ykXk \\ Σ_{k = 1}^{n} xkYk \\ Σ_{k = 1}^{n} ykYk \\ Σ_{k = 1}^{n} Xk \\ Σ_{k = 1}^{n} Yk \end{matrix})

...等式(14)

由于仿射参数是从下面的等式(15)计算得到的，从而计算出了从特征点到相应点的抖动。

A＝(F^TF)^-1·F^TT ...等式(15)

接下来，将描述上述变换目标区内的图像变换处理(图5中的步骤63的处理)。

如果假设如上所述产生的三角形的顶点(x0，y0)、(x1，y1)和(x2，y2)移动到(X0，Y0)、(X1，Y1)和(X2，Y2)(即，如果假设从变换目标区内的相应点移动到特征点)，则下面的等式(16)成立。

(\begin{matrix} X 0 \\ Y 0 \\ X 1 \\ Y 1 \\ X 2 \\ Y 2 \end{matrix}) = (\begin{matrix} x 0 & y 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & x 0 & y 0 & 0 & 1 \\ x 1 & y 1 & 0 & 0 & 1 & 0 \\ 0 & 0 & x 1 & y 1 & 0 & 1 \\ x 2 & y 2 & 0 & 0 & 1 & 0 \\ 0 & 0 & x 2 & y 2 & 0 & 1 \end{matrix}) (\begin{matrix} a \\ b \\ c \\ d \\ s \\ t \end{matrix})

...等式(16)

由于系数a、b、c、d、s、t出现在上述变换的逆矩阵中，因此就有了下面的等式(17)、(18)，并且得到了等式(19)，其中满足等式(20)的关系。

(\begin{matrix} X 0 \\ Y 0 \\ X 1 \\ Y 1 \\ X 2 \\ Y 2 \end{matrix}) = C \cdot (\begin{matrix} a \\ b \\ c \\ d \\ s \\ t \end{matrix})

...等式(17)

(\begin{matrix} a \\ b \\ c \\ d \\ s \\ t \end{matrix}) = C^{- 1} \cdot (\begin{matrix} X 0 \\ Y 0 \\ X 1 \\ Y 1 \\ X 2 \\ Y 2 \end{matrix})

...等式(18)

C^{- 1} = \frac{1}{\det C} (\begin{matrix} y 1 - y 2 & 0 & y 2 - y 0 & 0 & y 0 - y 1 & 0 \\ x 2 - x 1 & 0 & x 0 - x 2 & 0 & x 1 - x 0 & 0 \\ 0 & y 1 - y 2 & 0 & y 2 - y 0 & 0 & y 0 - y 1 \\ 0 & x 2 - x 1 & 0 & x 0 - x 2 & 0 & x 1 - x 0 \\ x 1 y 2 - x 2 y 1 & 0 & x 2 y 0 - x 0 y 2 & 0 & x 0 y 1 - x 1 y 0 & 0 \\ 0 & x 1 y 2 - x 2 y 1 & 0 & x 2 y 0 - x 0 y 2 & 0 & x 0 y 1 - x 1 y 0 \end{matrix})

...等式(19)

detC＝x0y1+x2y0+x1y2-x0y2-x2y1-x1y0 ...等式(20)

如果将(x0，y0)布置为总在原点，则下面的等式(21)成立。

(\begin{matrix} X 0 \\ Y 0 \\ X 1 \\ Y 1 \\ X 2 \\ Y 2 \end{matrix}) = (\begin{matrix} 0 & 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 \\ x 1 & y 1 & 0 & 0 & 1 & 0 \\ 0 & 0 & x 1 & y 1 & 0 & 1 \\ x 2 & y 2 & 0 & 0 & 1 & 0 \\ 0 & 0 & x 2 & y 2 & 0 & 1 \end{matrix}) (\begin{matrix} a \\ b \\ c \\ d \\ s \\ t \end{matrix})

...等式(21)

由于(x0，y0)只是变化量，因此其移动到(s，t)。因此，等式(19)的逆矩阵成为下面的等式(22)，其中满足等式(23)的关系。

C^{- 1} = \frac{1}{\det C} (\begin{matrix} y 1 - y 2 & 0 & y 2 & 0 & - y 1 & 0 \\ x 2 - x 1 & 0 & - x 2 & 0 & x 1 & 0 \\ 0 & y 1 - y 2 & 0 & y 2 & 0 & - y 1 \\ 0 & x 2 - x 1 & 0 & - x 2 & 0 & x 1 \\ x 1 y 2 - x 2 y 1 & 0 & 0 & 0 & 0 & 0 \\ 0 & x 1 y 2 - x 2 y 1 & 0 & 0 & 0 & 0 \end{matrix})

...等式(22)

detC＝x1y2-x2y1 ...等式(23)

系数a、b、c、d、s、t如下面的等式(24)到(29)所示。

a = \frac{1}{x 1 y 2 - x 2 y 1} ((y 1 - y 2) X 0 + y 2 X 1 - y 1 X 2)

...等式(24)

b = \frac{1}{x 1 y 2 - x 2 y 1} ((x 2 - x 1) X 0 - x 2 X 1 + x 1 X 2)

...等式(25)

c = \frac{1}{x 1 y 2 - x 2 y 1} ((y 1 - y 2) Y 0 + y 2 Y 1 - y 1 Y 2)

...等式(26)

d = \frac{1}{x 1 y 2 - x 2 y 1} ((x 2 - x 1) Y 0 - x 2 Y 1 + x 1 Y 2)

...等式(27)

s＝X0.................等式(28)

t＝Y0.................等式(29)

从而，在上述变换目标区内从相应点移动到特征点(执行图像变换)是可能的。

由于在不背离本发明的本意和范围的情况下，可以做出本发明的许多明显大不相同的实施例，因此应该理解的是，除了所附权利要求的限定以外，本发明不限于具体实施例。

Claims

1.一种图像变换设备，包括：

第一特征点决定装置，用于从第一图像中决定表示对象图像的形状特征的多个特征点，其中，已经通过连续拍摄得到了所述第一图像和第二图像；

第一相应点决定装置，用于从所述第二图像中决定对应于由所述第一特征点决定装置决定的各特征点的各相应点；

移动对象图像检测装置，用于检测所述第一图像和所述第二图像各自中的移动对象图像，所述移动对象图像为包含在所述第一图像和所述第二图像中的对象图像，并代表从摄取所述第一图像到摄取所述第二图像期间移动的物体；

变换目标区设定装置，用于设定所述第一图像和所述第二图像各自中的变换目标区，所述变换目标区包围各所述特征点的位置和各所述相应点的位置，其中各所述特征点存在于由所述移动对象图像检测装置从由所述第一特征点决定装置决定的各特征点中检测到的移动对象图像中，以及各所述相应点存在于由所述移动对象图像检测装置从由所述第一相应点决定装置决定的各所述相应点中检测到的移动对象图像中；

第二特征点决定装置，用于决定由所述变换目标区设定装置设定的所述第一图像的变换目标区内的图像的多个特征点；

第二相应点决定装置，用于决定由所述变换目标区设定装置设定的所述第二图像的变换目标区内的图像中对应于由所述第二特征点决定装置决定的各特征点的各相应点；以及

第一图像变换装置，用于以使得由所述第二特征点决定装置决定的各特征点和由所述第二相应点决定装置决定的各相应点一致的方式变换所述第二图像的变换目标区内的图像。

2.根据权利要求1所述的设备，进一步包括第二图像变换装置，用于以使得由所述第一相应点决定装置决定的各相应点与由所述第一特征点决定装置决定的各特征点一致的方式来变换所述第二图像中所述变换目标区以外的图像。

3.根据权利要求1所述的设备，进一步包括叠加装置，用于对于所述变换目标区内的图像，将已经由所述第一图像变换装置变换了的图像叠加到所述第一图像上，以及对于所述变换目标区以外的图像，以使得由所述第一相应点决定装置决定的各相应点与由所述第一特征点决定装置决定的各特征点一致的方式来将所述第二图像叠加到所述第一图像上。

4.根据权利要求1所述的设备，进一步包括图像摄取装置，用于通过以相同的曝光量或以不同的曝光量执行连续拍摄来获得所述第一图像和所述第二图像。

5.根据权利要求1所述的设备，进一步包括：

电子闪光控制装置，用于控制电子闪光灯发光；以及

图像摄取控制装置，用于控制所述图像摄取装置在由所述电子闪光控制装置控制的电子闪光灯发光的条件下进行拍摄以及在电子闪光灯不发光的条件下进行拍摄，以及获得所述第一图像和所述第二图像。

6.一种控制图像变换设备的操作的方法，包括以下步骤：

从第一图像中决定表示对象图像的形状特征的多个第一特征点，其中，已经通过连续拍摄获得了所述第一图像和第二图像；

从所述第二图像中决定对应于已经决定了的各第一特征点的各第一相应点；

检测所述第一图像和所述第二图像各自中的移动对象图像，所述移动对象图像为包含在所述第一图像和所述第二图像中的对象图像，并代表从摄取所述第一图像到摄取所述第二图像期间移动的物体：

设定所述第一图像和所述第二图像各自中的变换目标区，所述变换目标区包围各所述第一特征点的位置和各所述第一相应点的位置，其中各所述第一特征点存在于从已经决定了的各所述第一特征点中检测到的移动对象图像中，以及各所述第一相应点存在于从已经决定了的各所述第一相应点中检测到的移动对象图像中；

决定所设定的所述第一图像的变换目标区内的图像的多个第二特征点；

决定所设定的所述第二图像的变换目标区内的图像中的对应于已经决定了的各所述第二特征点的各第二相应点；以及

以使得已经决定了的各所述第二特征点和已经决定了的各所述第二相应点一致的方式来变换所述第二图像的变换目标区内的图像。

7.一种用于控制图像变换设备的计算机执行以下步骤的计算机可读程序：

从第二图像中决定对应于已经决定了的各第一特征点的各第一相应点；

检测所述第一图像和所述第二图像各自中的移动对象图像，所述移动对象图像为包含在所述第一图像和所述第二图像中的对象图像，并代表从摄取所述第一图像到摄取所述第二图像期间移动的物体；