CN103856711A - 滚动快门的校正方法与图像处理装置 - Google Patents

Abstract

本发明提供一种滚动快门效应的校正方法与图像处理装置。此方法包括：取得图像的多个特征点配对，每一个特征点配对是对应于一运动向量；从两张时间上相邻的图像之间取得多个取样点；将图像获取单元在每一个取样点上的移动速度与角速度设定为多个变量；根据所述的变量、图像获取单元的焦距以及特征点配对所在的列位置，取得多个估测运动向量；根据运动向量与估测运动向量之间的差距执行最佳化演算法，以计算出变量所对应的移动速度与所述角速度；根据移动速度与角速度改变一个图像中多个像素的位置，藉此产生第一校正图像。藉此，可以去除图像中的滚动快门效应。

Description

滚动快门的校正方法与图像处理装置

技术领域

本发明是有关于一种滚动快门的校正方法与图像处理装置。

背景技术

一般来说，一个照相机的感光元件可以用互补金氧半导体(Complementary Metal-Oxide Semiconductor，CMOS)或是电荷耦合元件(Charge Coupled Device，CCD)来制作。然而，当使用互补金氧半导体时，每一个时间点仅会曝光一个列上的感光元件。因此，当在拍摄时若照相机或是被拍摄的物体在移动，会产生所谓的滚动快门效应。

图1是示出滚动快门效应的示意图。

如图1所示，照相机110是要拍摄物体120。理想上在所拍摄的图像中，物体120应该为直立(如物体130)。在此假设照相机110拍摄一张图像的时间为S。而在拍摄物体120的过程中，照相机110于时间点nS所在的位置和时间点(n+1)S所在的位置并不相同。因此，在实际上所拍摄的图像140中，物体150会是倾斜的。这是因为在时间点nS时，照相机110获取到了物体120的上半部，当照相机110要获取物体120的下半部时，照相机110的位置已经改变。换句话说，如果被拍摄的物体快速的移动，则每一个列上的感光元件所取得的像素值都会有一个水平的位移。因此，要如何校正拍摄时产生的滚动快门效应，为此领域技术人员所关心的议题。

发明内容

本发明的实施例提供一种滚动快门效应的校正方法与使用此方法的图像处理装置，可以校正拍摄时所产生的滚动快门效应。

本发明一实施例提供一种滚动快门效应的校正方法，适用于一图像处理装置。此方法包括：取得一视频中多个图像的多个特征点配对，其中每一个特征点配对是对应于一运动向量，并且此视频是由一图像获取单元所获取；从两张时间上相邻的图像之间，取得多个取样点，其中每一个取样点是对应于一列位置；将图像获取单元在每一个取样点上的至少一个移动速度与至少一个角速度设定为多个变量；根据所述的变量、图像获取单元的焦距以及特征点配对所在的列位置，取得特征点配对的多个估测运动向量；根据运动向量与估测运动向量之间的差距执行最佳化演算法，以计算出变量所对应的移动速度与所述角速度；根据所述的移动速度与角速度改变一个图像中多个像素的位置，藉此产生第一校正图像。

在一实施例中，上述的特征点配对包括一第二特征点配对。第二特征点配对包括一第二特征点与一第三特征点。第二特征点的位置为(x1，y1)，而第三特征点的位置为(x2，y2)。第二特征点配对所对应的运动向量为(x2-x1，y2-y1)。上述根据变量、图像获取单元的焦距以及特征点配对所在的列位置，取得特征点配对的估测运动向量的步骤包括：根据以下方程式(1)计算第二特征点配对所对应的估测运动向量的x分量，并且根据以下方程式(2)计算对应第二特征点配对所对应的估测运动向量的y分量。

$\underset{i=S1}{\overset{S2}{\mathrm{\Σ}}}\frac{f}{Z}\stackrel{\‾}{v_x}\left(i\right)+\frac{x_1{y}_1}{f}\stackrel{\‾}{w_x}\left(i\right)-(f+\frac{x_1^2}{f})\stackrel{\‾}{w_y}\left(i\right)+y_1\stackrel{\‾}{w_z}\left(i\right)...\left(1\right)$

$\underset{i=S1}{\overset{S2}{\mathrm{\Σ}}}\frac{f}{Z}\stackrel{\‾}{v_y}\left(i\right)+\frac{x_1{y}_1}{f}\stackrel{\‾}{w_y}\left(i\right)-(f+\frac{y_1^2}{f})\stackrel{\‾}{w_x}\left(i\right)+x_1\stackrel{\‾}{w_z}\left(i\right)...\left(2\right)$

其中S1与S2为实数，S1表示第二特征点所在的列位置所对应的取样点，S2表示第三特征点所在的列位置所对应的取样点。f为图像获取单元的焦距。Z为图像的景深。

为图像获取单元在取样点i在x方向上的移动速度。

为图像获取单元在取样点i在y方向上的移动速度。为图像获取单元在取样点i在x轴上的角速度，

为图像获取单元在取样点i在y轴上的角速度。

为图像获取单元在取样点i在z轴上的角速度。

在一实施例中，上述根据运动向量与估测运动向量之间的差距执行最佳化演算法的步骤包括；根据运动向量的x分量与y分量产生多个限制；根据估测运动向量产生第一矩阵，其中第一矩阵中列的数目大于第一矩阵中行的数目；以及根据这些限制减去第一矩阵与变量相乘的结果产生一个成本函数，并且根据此成本函数执行最佳化演算法以取得变量所对应的移动速度与角速度。

在一实施例中，上述的成本函数还包括变量与一微分矩阵相乘的结果。微分矩阵中第j行第j列的值为-1，微分矩阵中第j列第j+1行的值为1，并且j为正整数。

在一实施例中，一第二矩阵与一第三矩阵的相乘为所述第一矩阵。第二矩阵的第i个列中，仅有从第5(i-1)+1行至第5i行的值不为0，并且第二矩阵的第i个行是对应到所述限制中的第i个限制，其中i为正整数。第i个限制是对应于第三矩阵的第(5(i-1)+1)列至第5i列，并且第(5(i-1)+1)列至第5i列中非对应至第i个限制的取样区间的值为0。

在一实施例中，上述的多个图像包括一第二图像。第二图像中第一像素的位置为(xrs，yrs)。上述根据变量所对应的移动速度与角速度改变一图像中像素的位置，藉此产生第一校正图像的步骤包括：根据方程式(3)计算第一像素在x方向上的位移px，并且根据方程式(4)计算第一像素在y方向上的位移py，其中px与py为实数。

$p_x={\∫}_{(n+{\mathrm{ay}}_{\mathrm{rs}})S}^{(n+0.5)S}\frac{f}{Z}{v}_x\left(t\right)+\frac{1}{f}{x}_{\mathrm{rs}}{y}_{\mathrm{rs}}{w}_x\left(t\right)-(f+\frac{x_{\mathrm{rs}}^2}{f})w_y\left(t\right)+y_{\mathrm{rs}}{w}_z\left(t\right)\mathrm{dt}...\left(3\right)$

$p_y={\∫}_{(n+{\mathrm{ay}}_{\mathrm{rs}})S}^{(n+0.5)S}\frac{f}{Z}{v}_y\left(t\right)-\frac{1}{f}{x}_{\mathrm{rs}}{y}_{\mathrm{rs}}{w}_y\left(t\right)+(f+\frac{y_{\mathrm{rs}}^2}{f})w_x\left(t\right)-x_{\mathrm{rs}}{w}_z\left(t\right)\mathrm{dt}...\left(4\right)$

其中n与S为正整数，第二图像是从时间点nS开始曝光至时间点(n+1)S。a为浮点数。vx(t)为图像获取单元在时间点t在x方向上的移动速度。vy(t)为图像获取单元在时间点t在y方向上的移动速度。wx(t)为图像获取单元在时间点t在x轴上的角速度。wy(t)为图像获取单元在时间点t在y轴上的角速度。wz(t)为图像获取单元在时间点t在z轴上的角速度。

在一实施例中，上述的校正方法还包括：根据移动速度与角速度产生一获取轨迹；对获取轨迹执行滤波器运算；将一平滑获取轨迹设定为第二变量，根据第二变量与经过滤波器运算的获取轨迹之间的第二差距产生一成本函数；以及根据此成本函数执行第二最佳化演算法，藉此取得平滑获取轨迹。

在一实施例中，上述的校正方法还包括：根据平滑获取轨迹与获取轨迹之间的差距改变第一校正图像中像素的位置，藉此产生第二校正图像。

以另外一个角度来说，本发明提供一种图像处理装置，包括存储器与处理器。存储器中存储有多个指令。处理器耦接至存储器，用以执行指令以执行多个步骤：取得一视频中多个图像的多个特征点配对，其中每一个特征点配对是对应于一运动向量，并且此视频是由一图像获取单元所获取；从两张时间上相邻的图像之间，取得多个取样点，其中每一个取样点是对应于一列位置；将图像获取单元在每一个取样点上的至少一个移动速度与至少一个角速度设定为多个变量；根据所述的变量、图像获取单元的焦距以及特征点配对所在的列位置，取得特征点配对的多个估测运动向量；根据运动向量与估测运动向量之间的差距执行最佳化演算法，以计算出变量所对应的移动速度与所述角速度；根据所述的移动速度与角速度改变一个图像中多个像素的位置，藉此产生第一校正图像。

在一实施例中，上述的特征点配对包括一第二特征点配对。第二特征点配对包括一第二特征点与一第三特征点。第二特征点的位置为(x1，y1)，而第三特征点的位置为(x2，y2)。第二特征点配对所对应的运动向量为(x2-x1，y2-y1)。上述根据变量、图像获取单元的焦距以及特征点配对所在的列位置，取得特征点配对的估测运动向量的步骤包括：根据上述方程式(1)计算第二特征点配对所对应的估测运动向量的x分量，并且根据上述方程式(2)计算对应第二特征点配对所对应的估测运动向量的y分量。

在一实施例中，上述根据运动向量与估测运动向量之间的差距执行最佳化演算法的步骤包括；根据运动向量的x分量与y分量产生多个限制；根据估测运动向量产生第一矩阵，其中第一矩阵中列的数目大于第一矩阵中行的数目；以及根据这些限制减去第一矩阵与变量相乘的结果产生一个成本函数，并且根据此成本函数执行最佳化演算法以取得变量所对应的移动速度与角速度。

在一实施例中，上述的成本函数还包括变量与一微分矩阵相乘的结果。微分矩阵中第j行第j列的值为-1，微分矩阵中第j列第j+1行的值为1，并且j为正整数。

在一实施例中，一第二矩阵与一第三矩阵的相乘为所述第一矩阵。第二矩阵的第i个列中，仅有从第5(i-1)+1行至第5i行的值不为0，并且第二矩阵的第i个行是对应到所述限制中的第i个限制，其中i为正整数。第i个限制是对应于第三矩阵的第(5(i-1)+1)列至第5i列，并且第(5(i-1)+1)列至第5i列中非对应至第i个限制的取样区间的值为0。

在一实施例中，上述的多个图像包括一第二图像。第二图像中第一像素的位置为(xrs，yrs)。上述根据变量所对应的移动速度与角速度改变一图像中像素的位置，藉此产生第一校正图像的步骤包括：根据上述方程式(3)计算第一像素在x方向上的位移px，并且根据上述方程式(4)计算第一像素在y方向上的位移py，其中px与py为实数。

在一实施例中，上述的多个步骤还包括：根据移动速度与角速度产生一获取轨迹；对获取轨迹执行滤波器运算；将一平滑获取轨迹设定为第二变量，根据第二变量与经过滤波器运算的获取轨迹之间的第二差距产生一成本函数；以及根据此成本函数执行第二最佳化演算法，藉此取得平滑获取轨迹。

在一实施例中，上述的多个步骤还包括：根据平滑获取轨迹与获取轨迹之间的差距改变第一校正图像中像素的位置，藉此产生第二校正图像。

基于上述，本发明实施例所提供的校正方法与图像处理装置，可以用最佳化演算法取得图像获取单元的移动速度与角速度，进而改变图像中像素的位置。如此一来，可以校正图像中的滚动快门效应。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是示出滚动快门效应的示意图；

图2是根据一实施例所示出的图像处理装置的示意图；

图3是根据一实施例示出取得特征点配对的示意图；

图4是根据一实施例示出取得相邻两画面之间的取样点的示意图；

图5是根据一实施例示出计算估测运动向量的示意图；

图6是根据一实施例示出部分的第三矩阵的示意图；

图7是根据一实施例示出滚动快门效应的校正方法的流程图。

附图标记说明：

110：照相机；

120、130、150：物体；

200：图像处理装置；

210：处理器；

220：存储器；

230：图像获取单元；

140、310、320、330：图像；

311～313、321～325、331、334、335：特征点；

341：特征点配对；

410、420、430：时间点；

441～446：取样点；

450：曲线；

S702、S704、S706、S708、S710、S712、S714：滚动快门的校正方法的步骤。

具体实施方式

图2是根据一实施例所示出的图像处理装置的示意图。

请参照图2，图像处理装置200包括了处理器210与存储器220与图像获取单元230。在本实施例中，图像处理装置200为一个摄影机。然而，在其他实施例中，图像处理装置200也可以为个人电脑、智能手机、平板电脑、笔记本电脑、服务器或是照相机。

处理器210是用以控制图像处理装置200的整体运行。例如，处理器210为中央处理单元(Central Processing Unit，CPU)、微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、特殊应用集成电路(Application Specific IntegratedCircuits，ASIC)或可编程逻辑装置(Programmable Logic Device，PLD)。

而存储器220可为动态随机存取存储器(dynamic random accessmemory，DRAM)、静态随机存取存储器(static random access memory，SRAM)、快闪存储器(Flash)、或其他的存储器。在此实施例中，存储器220中还存储了多个指令。

图像获取单元230是用以取得一段视频，并且此视频中会包括多个图像。例如，图像获取单元230包括了互补金氧半导体、快门与透镜。图像获取单元230会将这些图像传送给处理器210，而处理器210会执行存储器220中的指令来去除这些图像中的滚动快门效应。

图3是根据一实施例示出取得特征点配对的示意图。

请参照图3，图像获取单元230所取得的视频中包括了图像310、320与330。处理器210会取得图像310、320与330中的多个特征点配对。例如，处理器210会执行尺度不变特征转换(Scale-Invariant FeatureTransform，SIFT)来取得多个特征点(feature point)以及每一个特征点所对应的特征值。处理器210会比对这些特征值，藉此找到不同图像中相配对的特征点。例如，图像310包括了特征点311～313，图像320包括了特征点321～325，而图像330包括了特征点331、334与335。其中，特征点311是配对(match)于特征点321，特征点312是配对于特征点322，特征点313是配对于特征点323。相对应的两个特征点会形成一个特征点配对。例如，特征点311与特征点321会形成特征点配对341。每一个特征点配对是对应于一个运动向量(motion vector)，并且一个特征点配对所对应的两个特征点是表示一个物体的两个位置。例如，某一个物体是从特征点311的位置移动到特征点321的位置。

在本实施例中，处理器210会在每两个时间上相邻的画面之间取得200个特征点配对。然而，在其他实施例中，处理器210也可以取得数目更多或更少的特征点配对，本发明并不在此限。此外，处理器210也可以用光学流(optical flow)或运动估测(motion estimation)的方式取得特征点配对，本发明并不在此限。

图4是根据一实施例示出取得相邻两画面之间的取样点的示意图。

在图3中，特征点配对341所对应的运动向量是在两个相邻的画面之间。然而，在计算滚动快门效应所造成的一个运动向量时，此运动向量必须有更高的时间解析度(temporal resolution)。请参照图3与图4，画面310是在时间点410所获取，画面320是在时间点420所获取，并且画面330是在时间点430所获取。曲线450代表的是一个物体真正的位移。然而，特征点配对341所代表的运动向量是曲线450经过”量化”的结果。在此实施例中，处理器210会从两个时间上相邻的画面之间取得多个取样点，并且每一个取样点是对应到一个列位置。例如，时间点410与时间点420之间会被分割为多个取样点441～446。而每一个取样点441～446会对应至图像320中的一个列位置。举例来说，若一张图像共有560个列位置，则取样点441则对应于第80个列位置，也即在取样点441时，图像获取单元230正在曝光第80个列位置上的感光元件。处理器210会计算出图像获取单元230在每一个取样点441～446的移动速度与角速度。

图5是根据一实施例示出计算估测运动向量的示意图。

请参照图5，在此假设画面310是从时间点nS曝光到时间点(n+1)S，而画面320是从时间点(n+1)S曝光到时间点(n+2)S。其中n为正整数，S表示曝光一张画面所需的时间。特征点311在画面310的位置为(x1，y1)，而特征点320在画面320中的位置为(x2，y2)。因此，特征点311的曝光时间可以表示为(n+ay1)S，并且特征点321的曝光时间可以表示为(n+1+ay2)S。其中a为一个浮点数，其值为1/img_rows。img_rows为一个正整数，其表示为一个画面中列的个数。另一方面，图像获取单元230在时间点t，在x方向上的的移动速度可以表示为vx(t)，并且在y方向上的移动速度可以表示为vy(t)。图像获取单元230在时间点t，于x轴上的角速度可以表示为wx(t)；在时间点t，于y轴上的角速度可以表示为wy(t)；并且在时间点t，于z轴上的角速度为wz(t)。而特征点311至特征点321之间的运动向量可以表示(x2-x1，y2-y1)，其可以通过下列方程式(1)与方程式(2)计算。

$x_2-x_1={\∫}_{(n+{\mathrm{ay}}_1)S}^{(n+1+{\mathrm{ay}}_2)S}\frac{f}{Z}{v}_x\left(t\right)+\frac{1}{f}{x}_1{y}_1{w}_x\left(t\right)-(f+\frac{x_1^2}{f})w_y\left(t\right)+y_1{w}_z\left(t\right)\mathrm{dt}...\left(1\right)$

$y_2-y_1={\∫}_{(n+{\mathrm{ay}}_1)S}^{(n+1+{\mathrm{ay}}_2)S}\frac{f}{Z}{v}_y\left(t\right)-\frac{1}{f}{x}_1{y}_1{w}_y\left(t\right)+(f+\frac{y_1^2}{f})w_x\left(t\right)-x_1{w}_z\left(t\right)\mathrm{dt}...\left(2\right)$

其中，f表示图像获取单元230的焦距。Z为视频中图像的景深，在此假设为常数。以上方程式(1)与(2)是以积分的形式计算。然而，由于画面310与画面320之间已被分割为多个取样点，因此可以用离散的形式来计算运动向量。当以离散的形式计算时，时间点(n+ay1)S可以被表示为取样点S 1，其是对应于特征点311的列位置y1。而时间点(n+1+ay2)S可以被表示为取样点S2，其是对应于特征点321的列位置y2。藉此，方程式(1)与(2)可以改写为方程式(3)与(4)。

$x_2-x_1=\underset{i=S1}{\overset{S2}{\mathrm{\Σ}}}\frac{f}{Z}\stackrel{\‾}{v_x}\left(i\right)+\frac{x_1{y}_1}{f}\stackrel{\‾}{w_x}\left(i\right)-(f+\frac{x_1^2}{f})\stackrel{\‾}{w_y}\left(i\right)+y_1\stackrel{\‾}{w_z}\left(i\right)...\left(3\right)$

$y_2-y_1=\underset{i=S1}{\overset{S2}{\mathrm{\Σ}}}\frac{f}{Z}\stackrel{\‾}{v_y}\left(i\right)+\frac{x_1{y}_1}{f}\stackrel{\‾}{w_y}\left(i\right)-(f+\frac{y_1^2}{f})\stackrel{\‾}{w_x}\left(i\right)+x_1\stackrel{\‾}{w_z}\left(i\right)...\left(4\right)$

其中，

表示图像获取单元230在取样点i时在x方向的移动速度。

表示图像获取单元230在取样点i时在y方向的移动速度。

表示图像获取单元230在取样点i时在x轴上的的角速度。

表示图像获取单元230在取样点i时在y轴上的角速度。

表示图像获取单元230在取样点i时在z轴上的角速度。

处理器210会将图像获取单元230在每一个取样点上的移动速度与角速度设定为多个变量。根据这些变量、图像获取单元230的焦距以及上述特征点配对所在的列位置，处理器210会取得这些特征点配对的多个估测运动向量。举例来说，图像获取单元230的每一个取样点上的两个移动速度与三个角速度可以被表示为5个变量。方程式(3)与(4)中等式的左边是已知的条件，其可以通过特征点311与特征点321的位置取得。而方程式(3)与(4)中等式的右边是由多个变量、焦距f以及列位置对应的取样点S1与S2所组成，在此处所计算出的运动向量也为估测运动向量。理论上，等式左边所计算出的运动向量与等式右边所计算出的估测运动向量应该要相等。因此，处理器210会根据这些运动向量与估测运动向量之间的差距执行一个最佳化演算法，以计算出这些变量所对应的移动速度与角速度。

举例来说，每一个取样点的5个变量可以表示为向量

若从两个相邻的画面之间取得n个取样点，则这两个画面之间会有5n个变量。此外，若一次要计算k张画面之间的移动速度与角速度，则变量的数目会是5kn。在此设定5kn＝5N，其中k、n、N为正整数。这些变量可以表示为一个向量x，其维度是5N-乘-1(5N-by-1)。

在一实施例中，处理器210可只使用x方向的移动速度与一个轴上的角速度。本发明并不限制上述的变量要包括哪些移动速度与角速度。

另一方面，处理器210会根据运动向量的x分量与y分量产生多个限制(constraints)，并且这些限制的个数会大于变量的个数(5N)。在此实施例中，若两张画面之间取得m个特征点配对(即，m个运动向量)，则会得到2m个限制(对应于x分量与y分量)。另外，若一次取得k张画面，则会有2mk个限制。在此设定2mk＝M，并且M＞5N，其中m、M为正整数。这些限制可以被表示为一个向量b，其维度是M-乘-1。

处理器210会根据上述计算估测运动向量的过程一个矩阵A(也称第一矩阵)。此矩阵A中列的数目会大于矩阵A中行的数目。处理器210会根据上述的限制b减去矩阵A与变量b的相乘的结果产生一个成本函数，并且根据此成本函数执行最佳化演算法以取得移动速度与角速度。

举例来说，矩阵A与变量x相乘的结果即是估测运动向量的x分量与y分量。则最佳化演算法中的成本函数可以表示为以下的方程式(5)。其中矩阵A的维度是M-乘-5N。

$\underset{x}{\min }\left|\right|\mathrm{Ax}-b\left|\right|...\left(5\right)$

矩阵A会被分为两个矩阵，表示为A＝ADAI。其中矩阵AD(也称第二矩阵)表示为方程式(6)，其维度为Mx5M。

是一个维度为1-乘-5的向量，表示上述方程式(3)或(4)中第i个限制所对应的系数。具体来说，第i个限制是对应到两个特征点，其中一个特征点的位置是表示为

而对于x分量的限制来说，

是表示为以下方程式(7)。而对于y分量的限制来说，

是表示为以下方程式(8)。

$[\frac{f}{Z},0,\frac{1}{f}{x}_1^i,y_1^i,-(f+\frac{x_1^{i^2}}{f}),y_1^i]...\left(7\right)$

$[0,\frac{f}{z},(f+\frac{x_1^{i^2}}{f}),-\frac{1}{f}{x}_1^i{y}_1^i,x_1^i]...\left(8\right)$

值得注意的是，方程式(7)中的5个系数是对应于方程式(3)中等式右边的系数；而方程式(8)中的5个系数是对应于方程式(4)中等式右边的系数。换言之，在矩阵AD的第i个列是对应到限制b中的第i个限制。而在矩阵AD的第i个列中，仅有从第5(i-1)+1行至第5i行的值不为0，其余为0。而这五个不为0的值便是第i个限制所对应的系数(如方程式(7)或(8))。

另一方面，矩阵AI的维度为5M-乘-5N，第i个限制是对应于矩阵AI的第(5(i-1)+1)列至第5i列。而第i个限制所对应的列乘上变量x会成为5-乘-1的向量(如图6所示)。并且第(5(i-1)+1)列至第5i列中非对应至第i个限制的一个取样区间的值为0。具体来说，若第i个限制所对应的特征点配对的两个特征点分别是在取样点S1与取样点S2上(如同方程式(3)与(4))，取样点S1与取样点S2会形成一个取样区间。图6中在N个取样点中，第S1个取样点至第S1个取样点的系数不会为0。而w1是对应至取样点S1；w2是对应至取样点S2。并且，w1与w2是介于0与1之间的实数。例如，若两个画面之间的取样点有6个，而一个画面有560个列位置，取样点S1是对应至40个列位置(介于第0个列位置与第80个列位置之间)，则w1会是0.5。

在建立出矩阵A以后，处理器210便可以根据方程式(5)计算出变量x。由于计算出的变量x在时间上应该有平滑的变化。因此在另一实施例中，上述方程式(5)所示的成本函数还可包括变量x与一个微分矩阵相乘的结果。例如，处理器210可用以下方程式(9)作为最佳化演算法的成本函数。

$\frac{1}{2}\left|\right|A_D{A}_{I}x-b{\left|\right|}^2+\frac{1}{2}\mathrm{\λ}{\left|\right|\mathrm{Gx}\left|\right|}^2...\left(9\right)$

G为微分矩阵，其中第j行第j列的值为-1，第j列第j+1行的值为1(即，G(j，j)＝-1并且G(j，j+1)＝1)。j为正整数。λ为一个实数，可由使用者自订。

在根据上述方程式(9)计算出变量x(即，所有取样点上的移动速度以及角速度)以后。处理器210会根据变量x所对应的移动速度与角速度改变一个图像中多个像素的位置，藉此产生一个第一校正图像。以图像310为例，假设一个第一像素在未校正前的位置是在(xrs，yrs)，则校正后的位置会是(xgs，ygs)＝(xrs，yrs)+(px，py)。其中px为第一像素在x方向上的位移；而py是第一像素在y方向上的位移。处理器210会根据图像获取装置230的焦距、移动速度以及角速度计算出位移px与位移py。例如，处理器210可以根据以下方程式(10)与(11)求得位移px与位移py，其中px与py为实数。

$p_x={\∫}_{(n+{\mathrm{ay}}_{\mathrm{rs}})S}^{(n+0.5)S}\frac{f}{Z}{v}_s\left(t\right)+\frac{1}{f}{x}_{\mathrm{rs}}{y}_{\mathrm{rs}}{w}_x\left(t\right)-(f+\frac{x_{\mathrm{rs}}^2}{f})w_y\left(t\right)+y_{\mathrm{rs}}{w}_z\left(t\right)\mathrm{dt}...\left(10\right)$

$p_y={\∫}_{(n+{\mathrm{ay}}_{\mathrm{rs}})S}^{(n+0.5)S}\frac{f}{Z}{v}_y\left(t\right)-\frac{1}{f}{x}_{\mathrm{rs}}{y}_{\mathrm{rs}}{w}_y\left(t\right)+(f+\frac{y_{\mathrm{rs}}^2}{f})w_x\left(t\right)-x_{\mathrm{rs}}{w}_z\left(t\right)\mathrm{dt}...\left(11\right)$

值得注意的是，方程式(10)与(11)是将所有的像素都移动到曝光时间为(n+0.5)S所对应的位置。藉此，一张图像中所有的像素都会被移动到相同曝光时间的位置，而使得可以去除滚动快门效应。在此，经过方程式(10)与(11)运算过后的图像也被称为第一校正图像。

在一实施例中，处理器210会根据计算出的移动速度与角速度来使第一校正图像更平稳(stabilize)。具体来说，处理器210会移动速度与角速度产生一获取轨迹，此获取轨迹表示图像获取单元230因为被使用者

$\stackrel{\→}{p_0^{t_u}}\left(n\right)=\underset{i=1}{\overset{S_n}{\mathrm{\Σ}}}{v}_u\left(i\right)...\left(12\right)$

其中vu(i)表示图像获取单元230在取样点i的移动速度或是角速度。u为代表角速度或是移动速度的符号，例如，若u＝x则vx表示图像获取单元230在x方向的移动速度。若此获取轨迹在时间上的变动很大，会使得播放的视频有抖动的现象。因此，处理器210会对获取轨迹执行一个滤波器运算，并且将一个平滑获取轨迹设定为第二变量。处理器210会根据此第二变量与经过滤波器运算的获取轨迹之间的差距(也称第二差距)产生一个成本函数，并且对此成本函数一个第二最佳化演算法，藉此取得该平滑获取轨迹。例如，此成本函数可以用以下方程式(13)表示。

$\underset{\underset{p^{t_u}}{\→}}{\min }\left|\right|h\⊗\stackrel{\→}{p_0^{t_u}}-\stackrel{\→}{p^{t_u}}\left|\right|+{\mathrm{\λ}}_1\left|\right|\▿\stackrel{\→}{p^{t_u}}\left|\right|+{\mathrm{\λ}}_2{\left|\right|{\text{\▿}}^2\stackrel{\→}{p^{t_u}}\left|\right|}^2...\left(13\right)$

其中h为一个滤波器，例如为高斯滤波器。λ₁与λ₂为实数，

为梯度向量(gradient vector)，而

为拉普拉斯算子(Laplace operator)。则为平滑获取轨迹。值得注意的是，平滑获取轨迹是一个向量，代表每一个取样点上的移动速度或角速度。平滑获取轨迹中第n个元素(element)可以表示为

在计算出平滑获取轨迹

以后，处理器210会根据平滑获取轨迹与获取轨迹

之间的差距来改变第一校正图像中像素的位置，藉此产生第二校正图像。在此假设第一校正图像的像素可以表示为I_gs(x，y)，而第二校正图像的像素可以表示为I_gss(x′，y′)。平滑获取轨迹

与获取轨迹

之间的差距可以表示为以下方程式(14)；第一校正图像中像素的位置与第二校正图像中像素的位置之间的关系可以表示为以下方程式(15)；而处理器210会根据以下方程式(16)与(17)来产生第二校正图像。值得注意的是，当u表示为移动速度与角速度时，Δt_u(n)也可被改写为Δt_x(n)、Δt_y(n)、Δr_x(n)、Δr_y(n)以及Δr_z(n)。

$\stackrel{\→}{p_d^{t_u}}\left(n\right)\text{=}\stackrel{\→}{p^{t_x}}\left(n\right)-\stackrel{\→}{p_0^{t_u}}\left(n\right)={\mathrm{\Δt}}_u\left(n\right)...\left(14\right)$

(x′，y′)＝(x，y)+(p_x，stab，p_y，stab)...(15)

$p_{x,\mathrm{stabilze}}=\frac{f}{Z}{\mathrm{\Δt}}_x\left(n\right)+\frac{1}{f}\mathrm{xy}{\mathrm{\Δr}}_x\left(n\right)-(f+\frac{x^2}{f}){\mathrm{\Δr}}_y\left(n\right)+{\mathrm{y\Δr}}_z\left(n\right)...\left(16\right)$

$p_{y,\mathrm{stabilze}}=\frac{f}{Z}{\mathrm{\Δt}}_y\left(n\right)+\frac{1}{f}\mathrm{xy}{\mathrm{\Δr}}_y\left(n\right)-(f+\frac{x^2}{f}){\mathrm{\Δr}}_x\left(n\right)+x{\mathrm{\Δr}}_z\left(n\right)...\left(17\right)$

图7是根据一实施例示出滚动快门效应的校正方法的流程图。

请参照图7，在步骤S702中，取得一视频中多个图像的多个特征点配对。其中每一个特征点配对是对应于一个运动向量，并且视频是由一图像获取单元所获取。在步骤S704中，从两张时间上相邻的图像之间取得多个取样点，其中每一个取样点是对应于一列位置。在步骤S706中，将图像获取单元在每一个取样点上的至少一移动速度与至少一角速度设定为多个变量。在步骤S708中，根据这些变量、图像获取单元的焦距以及所述特征点配对所在的列位置，取得特征点配对的多个估测运动向量。在步骤S710中，根据运动向量与估测运动向量之间的差距执行最佳化演算法，以计算出变量所对应的移动速度与角速度。在步骤S712中，根据变量所对应的移动速度与角速度改变一个图像中多个像素的位置，藉此产生一校正图像。在步骤S714中，根据计算出的移动速度与角速度来使第一校正图像更平稳，藉此产生第二校正图像。然而，图7中各步骤已详细说明如上，在此便不再赘述。值得注意的是，步骤S714是一个选择性的步骤，也即在一实施例中步骤S714可以被省略。

在一实施例中，处理器210所执行的各个步骤可以被制作为一或多个电路。本发明并不限制要用软件或是硬件的形式来制作。

综上所述，本发明实施例所提供的滚动快门的校正方法与图像处理装置，可以取得高时间解析度的取样点，并且通过最佳化演算法计算出每一个取样点的移动速度与角速度。通过这些移动速度与角速度，可以校正滚动快门效应，并且可以使视频更平稳。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种滚动快门效应的校正方法，适用于一图像处理装置，其特征在于，包括：

取得一视频中多个图像的多个特征点配对，其中每一该些特征点配对是对应于一运动向量，并且该视频是由一图像获取单元所获取；

从该些图像中两张时间上相邻的图像之间，取得多个取样点，其中每一该些取样点是对应于一列位置；

将该图像获取单元在每一该些取样点上的至少一移动速度与至少一角速度设定为多个变量；

根据该些变量、该图像获取单元的一焦距以及该些特征点配对所在的该些列位置，取得该些特征点配对的多个估测运动向量；

根据该些运动向量与该些估测运动向量之间的一差距执行一最佳化演算法，以计算出该些变量所对应的该至少一移动速度与该至少一角速度；

根据该些变量所对应的该至少一移动速度与该至少一角速度改变该些图像的其中之一的多个像素的位置，藉此产生一第一校正图像。

2.根据权利要求1所述的校正方法，其特征在于，该些特征点配对包括一第二特征点配对，该第二特征点配对包括一第二特征点与一第三特征点，该第二特征点的位置为(x1，y1)，该第三特征点的位置为(x2，y2)，该第二特征点配对所对应的该运动向量为(x2-x1，y2-y1)，其中根据该些变量、该图像获取单元的该焦距以及该些特征点配对所在的该些列位置，取得该些特征点配对的该些估测运动向量的步骤包括：

根据以下方程式(1)计算该第二特征点配对所对应的该估测运动向量的一x分量，并且根据以下方程式(2)计算对应该第二特征点配对所对应的该估测运动向量的一y分量：

$\underset{i=S1}{\overset{S2}{\mathrm{\Σ}}}\frac{f}{Z}\stackrel{\‾}{v_x}\left(i\right)+\frac{x_1{y}_1}{f}\stackrel{\‾}{w_x}\left(i\right)-(f+\frac{x_1^2}{f})\stackrel{\‾}{w_y}\left(i\right)+y_1\stackrel{\‾}{w_z}\left(i\right)...\left(1\right)$

$\underset{i=S1}{\overset{S2}{\mathrm{\Σ}}}\frac{f}{Z}\stackrel{\‾}{v_y}\left(i\right)+\frac{x_1{y}_1}{f}\stackrel{\‾}{w_y}\left(i\right)-(f+\frac{y_1^2}{f})\stackrel{\‾}{w_x}\left(i\right)+x_1\stackrel{\‾}{w_z}\left(i\right)...\left(2\right)$

其中S1与S2为实数，S1表示该第二特征点所在的该列位置所对应的该取样点，S2表示该第三特征点所在的该列位置所对应的该取样点，f为该图像获取单元的一焦距，Z为该些图像的一景深，为该图像获取单元在取样点i在一x方向上的该至少一移动速度，为该图像获取单元在取样点i在一y方向上的该至少一移动速度，

为该图像获取单元在取样点i在一x轴上的该至少一角速度，

为该图像获取单元在取样点i在一y轴上的该至少一角速度，

为该图像获取单元在取样点i在一z轴上的该至少一角速度。

3.根据权利要求1所述的校正方法，其特征在于，根据该些运动向量与该些估测运动向量之间的该差距执行该最佳化演算法的步骤包括；

根据该些运动向量的一x分量与一y分量产生多个限制；

根据该些估测运动向量产生一第一矩阵，其中该第一矩阵中列的数目大于该第一矩阵中行的数目；以及

根据该些限制减去该第一矩阵与该些变量相乘的一结果产生一成本函数，并且根据该成本函数执行该最佳化演算法以取得该些变量所对应的该至少一移动速度与该至少一角速度。

4.根据权利要求3所述的校正方法，其特征在于，该成本函数还包括该些变量与一微分矩阵相乘的结果，其中该微分矩阵中第j行第j列的值为-1，该微分矩阵中第j列第j+1行的值为1，并且j为正整数。

5.根据权利要求3所述的校正方法，其特征在于，一第二矩阵与一第三矩阵的相乘为该第一矩阵，

该第二矩阵的第i个列中，仅有从第5(i-1)+1行至第5i行的值不为0，并且该第二矩阵的该第i个行是对应到该些限制中的第i个限制，其中i为正整数，

该第i个限制是对应于第三矩阵的第(5(i-1)+1)列至第5i列，并且该第(5(i-1)+1)列至该第5i列中非对应至该第i个限制的一取样区间的值为0。

6.根据权利要求1所述的校正方法，其特征在于，该些图像包括一第二图像，该第二图像中一第一像素的位置为(xrs，yrs)，其中根据该些变量所对应的该至少一移动速度与该至少一角速度改变该些图像的其中之一的该些像素的位置，藉此产生该第一校正图像的步骤包括：

根据方程式(3)计算该第一像素在一x方向上的位移px，并且根据方程式(4)计算该第一像素在一y方向上的位移py，其中px与py为实数，

$p_r={\∫}_{(n+{\mathrm{ay}}_{\mathrm{rs}})S}^{(n+0.5)S}\frac{f}{Z}{v}_x\left(t\right)+\frac{1}{f}{x}_{\mathrm{rs}}{y}_{\mathrm{rs}}{w}_x\left(t\right)-(f+\frac{x_{\mathrm{rs}}^2}{f})w_y\left(t\right)+y_{\mathrm{rs}}{w}_z\left(t\right)\mathrm{dt}...\left(3\right)$

$p_y={\∫}_{(n+{\mathrm{ay}}_{\mathrm{rs}})S}^{(n+0.5)S}\frac{f}{Z}{v}_y\left(t\right)-\frac{1}{f}{x}_{\mathrm{rs}}{y}_{\mathrm{rs}}{w}_y\left(t\right)+(f+\frac{y_{\mathrm{rs}}^2}{f})w_x\left(t\right)-x_{\mathrm{rs}}{w}_z\left(t\right)\mathrm{dt}...\left(4\right)$

其中n为正整数，该第二图像是从时间点nS开始曝光至时间点(n+1)S，a为一浮点数，f为该图像获取单元的一焦距，Z为该些图像的一景深，vx(t)为该图像获取单元在时间点t在该x方向上的该至少一移动速度，vy(t)为该图像获取单元在时间点t在该y方向上的该至少一移动速度，wx(t)为该图像获取单元在时间点t在一x轴上的该至少一角速度，wy(t)为该图像获取单元在时间点t在一y轴上的该至少一角速度，wz(t)为该图像获取单元在时间点t在一z轴上的该至少一角速度。

7.根据权利要求1所述的校正方法，其特征在于，还包括：

根据该至少一移动速度与该至少一角速度产生一获取轨迹；

对该获取轨迹执行一滤波器运算；

将一平滑获取轨迹设定为一第二变量，根据该第二变量与经过该滤波器运算的该获取轨迹之间的一第二差距产生一成本函数；以及

根据该成本函数执行一第二最佳化演算法，藉此取得该平滑获取轨迹。

8.根据权利要求7所述的校正方法，还包括：

根据该平滑获取轨迹与该获取轨迹之间的差距改变该第一校正图像中像素的位置，藉此产生一第二校正图像。

9.一种图像处理装置，其特征在于，包括：

一存储器，存储有多个指令；以及

一处理器，耦接至该存储器，用以执行该些指令以执行多个步骤：

取得一视频中多个图像的多个特征点配对，其中每一该些特征点配对是对应于一运动向量，并且该视频是由一图像获取单元所获取；

从该些图像中两张时间上相邻的图像之间，取得多个取样点，其中每一该些取样点是对应于一列位置；

将该图像获取单元在每一该些取样点上的至少一移动速度与至少一角速度设定为多个变量；

根据该些变量、该图像获取单元的一焦距以及该些特征点配对所在的该些列位置，取得该些特征点配对的多个估测运动向量；

根据该些运动向量与该些估测运动向量之间的一差距执行一最佳化演算法，以计算出该些变量所对应的该至少一移动速度与该至少一角速度；

根据该些变量所对应的该至少一移动速度与该至少一角速度改变该些图像的其中之一的多个像素的位置，藉此产生一第一校正图像。

10.根据权利要求9所述的图像处理装置，其特征在于，该些特征点配对包括一第二特征点配对，该第二特征点配对包括一第二特征点与一第三特征点，该第二特征点的位置为(x1，y1)，该第三特征点的位置为(x2，y2)，该第二特征点配对所对应的该运动向量为(x2-x1，y2-y1)，其中根据该些变量、该图像获取单元的该焦距以及该些特征点配对所在的该些列位置，取得该些特征点配对的该些估测运动向量的步骤包括：

根据以下方程式(1)计算该第二特征点配对所对应的该估测运动向量的一x分量，并且根据以下方程式(2)计算对应该第二特征点配对所对应的该估测运动向量的一y分量：

$\underset{i=S1}{\overset{S2}{\mathrm{\Σ}}}\frac{f}{Z}\stackrel{\‾}{v_x}\left(i\right)+\frac{x_1{y}_1}{f}\stackrel{\‾}{w_x}\left(i\right)-(f+\frac{x_1^2}{f})\stackrel{\‾}{w_y}\left(i\right)+y_1\stackrel{\‾}{w_z}\left(i\right)...\left(1\right)$

$\underset{i=S1}{\overset{S2}{\mathrm{\Σ}}}\frac{f}{Z}\stackrel{\‾}{v_y}\left(i\right)+\frac{x_1{y}_1}{f}\stackrel{\‾}{w_y}\left(i\right)-(f+\frac{y_1^2}{f})\stackrel{\‾}{w_x}\left(i\right)+x_1\stackrel{\‾}{w_z}\left(i\right)...\left(2\right)$

其中S1与S2为实数，S1表示该第二特征点所在的该列位置所对应的该取样点，S2表示该第三特征点所在的该列位置所对应的该取样点，f为该图像获取单元的一焦距，Z为该些图像的一景深，

为该图像获取单元在取样点i在一x方向上的该至少一移动速度，

为该图像获取单元在取样点i在一y方向上的该至少一移动速度，

为该图像获取单元在取样点i在一x轴上的该至少一角速度，

为该图像获取单元在取样点i在一y轴上的该至少一角速度，

为该图像获取单元在取样点i在一z轴上的该至少一角速度。

11.根据权利要求9所述的图像处理装置，其特征在于，根据该些运动向量与该些估测运动向量之间的该差距执行该最佳化演算法的步骤包括；

根据该些运动向量的一x分量与一y分量产生多个限制；

根据该些估测运动向量产生一第一矩阵，其中该第一矩阵中列的数目大于该第一矩阵中行的数目；以及

根据该些限制减去该第一矩阵与该些变量相乘的一结果产生一成本函数，并且根据该成本函数执行该最佳化演算法以取得该些变量所对应的该至少一移动速度与该至少一角速度。

12.根据权利要求11所述的图像处理装置，其特征在于，该成本函数还包括该些变量与一微分矩阵相乘的结果，其中该微分矩阵中第j行第j列的值为-1，该微分矩阵中第j列第j+1行的值为1，并且j为正整数。

13.根据权利要求11所述的图像处理装置，其特征在于，一第二矩阵与一第三矩阵的相乘为该第一矩阵，

该第二矩阵的第i个列中，仅有从第5(i-1)+1行至第5i行的值不为0，并且该第二矩阵的该第i个行是对应到该些限制中的第i个限制，其中i为正整数，

该第i个限制是对应于第三矩阵的第(5(i-1)+1)列至第5i列，并且该第(5(i-1)+1)列至该第5i列中非对应至该第i个限制的一取样区间的值为0。

14.根据权利要求9所述的图像处理装置，其特征在于，该些图像包括一第二图像，该第二图像中一第一像素的位置为(xrs，yrs)，其中根据该些变量所对应的该至少一移动速度与该至少一角速度改变该些图像的其中之一的该些像素的位置，藉此产生该第一校正图像的步骤包括：

根据方程式(3)计算该第一像素在一x方向上的位移px，并且根据方程式(4)计算该第一像素在一y方向上的位移py，其中px与py为实数，

$p_x={\∫}_{(n+{\mathrm{ay}}_{\mathrm{rs}})S}^{(n+0.5)S}\frac{f}{Z}{v}_s\left(t\right)+\frac{1}{f}{x}_{\mathrm{rs}}{y}_{\mathrm{rs}}{w}_x\left(t\right)-(f+\frac{x_{\mathrm{rs}}^2}{f})w_y\left(t\right)+y_{\mathrm{rs}}{w}_z\left(t\right)\mathrm{dt}...\left(3\right)$

$p_y={\∫}_{(n+{\mathrm{ay}}_{\mathrm{rs}})S}^{(n+0.5)S}\frac{f}{Z}{v}_y\left(t\right)-\frac{1}{f}{x}_{\mathrm{rs}}{y}_{\mathrm{rs}}{w}_y\left(t\right)+(f+\frac{x_{\mathrm{rs}}^2}{f})w_x\left(t\right)-x_{\mathrm{rs}}{w}_z\left(t\right)\mathrm{dt}...\left(4\right)$

其中n为正整数，该第二图像是从时间点nS开始曝光至时间点(n+1)S，a为一浮点数，f为该图像获取单元的一焦距，Z为该些图像的一景深，vx(t)为该图像获取单元在时间点t在该x方向上的该至少一移动速度，vy(t)为该图像获取单元在时间点t在该y方向上的该至少一移动速度，wx(t)为该图像获取单元在时间点t在一x轴上的该至少一角速度，wy(t)为该图像获取单元在时间点t在一y轴上的该至少一角速度，wz(t)为该图像获取单元在时间点t在一z轴上的该至少一角速度。

15.根据权利要求9所述的图像处理装置，其特征在于，该些步骤还包括：

根据该至少一移动速度与该至少一角速度产生一获取轨迹；

对该获取轨迹执行一滤波器运算；

将一平滑获取轨迹设定为一第二变量，根据该第二变量与经过该滤波器运算的该获取轨迹之间的一第二差距产生一成本函数；以及

根据该成本函数执行一第二最佳化演算法，藉此取得该平滑获取轨迹。

16.根据权利要求15所述的图像处理装置，其特征在于，该些步骤还包括：

根据该平滑获取轨迹与该获取轨迹之间的差距改变该第一校正图像中像素的位置，藉此产生一第二校正图像。

Images