TWI435286B - 影像處理方法與裝置 - Google Patents

Description

影像處理方法與裝置

本發明是有關於一種影像處理方法，且特別是有關於一種補償滾動快門所造成影像失真的影像處理方法。

數位相機的影像感測器主要可分為兩大類，一種為CCD影像感測器，另一種則為CMOS影像感測器。這兩種影像感測器其中一項重要的不同點在於影像感測器的讀取機制，CCD影像感測器為同步快門機制，而CMOS影像感測器則為滾動快門(rolling shutter)機制。

滾動快門機制指的是CMOS影像感測器每次曝光影像的一列像素，每一列的總曝光時間均相同，但是每一列的曝光起始時間點並不同，影像中每一列的曝光起始時間點具有一定的延遲時間。因此，若使用CMOS影像感測器的數位相機所拍攝的物體與數位相機之間不存在相對移動的情況，則滾動快門機制並不會產生任何問題，若拍攝的物體與數位相機之間存在著相對移動，則會產生影像失真。

圖1繪示為滾動快門造成影像失真的示意圖。請配合參照圖1，圖1之第一列110代表無失真影像，第二列120代表失真影像，第三列130則代表相對移動的方向，斜線部分為影像之有效區域。若相對移動的方向為水平方向，如圖1(a)與圖1(b)所示，則數位相機所拍攝出的影像會產生歪斜現象；若相對移動的方向為垂直方向，如圖1(c)與圖1(d)所示，則影像會產生壓縮或拉長的失真現象；若相對移動的方向劇烈變化時，如圖1(e)所示，則影像會產生如波浪般的扭曲現象。

有鑑於此，本發明提供一種影像處理方法，藉由速度的估測來產生轉換矩陣，將失真影像依據轉換矩陣進行轉換以產生補償後影像，進而改善影像失真的問題。

本發明提供一種影像處理裝置，能對影像進行速度估測，藉以產生轉換矩陣，並且輸出補償後影像。

本發明提出一種影像處理方法，依據擷取時間差連續擷取多數個原始影像，原始影像之有效區域尺寸為M×N，其中，M為有效區域之長度，N為有效區域之寬度，M及N為正整數。影像處理方法包括將各原始影像規劃為K個分區，K為大於等於1的正整數。並計算任二相鄰的原始影像的各分區的多數個區塊位移量，並依據各分區的區塊位移量計算出各分區的全域位移量。且分別依據全域位移量及擷取時間差，產生各分區的水平分量速度及垂直分量速度。此外，依據水平分量速度、垂直分量速度、列讀取時間及有效區域之寬度，產生對應分區的多數個轉換矩陣。再者，針對任二相鄰的原始影像其中之一以依據轉換矩陣進行轉換，並藉以產生補償後影像。

在本發明之一實施例中，其中分別針對水平分量速度及垂直分量速度進行平滑化處理，以產生對應分區的多數個平滑水平分量速度及多數個平滑垂直分量速度。

在本發明之一實施例中，其中依據水平分量速度、垂直分量速度、列讀取時間及有效區域之寬度，產生對應分區的轉換矩陣的步驟包括依據平滑水平分量速度、平滑垂直分量速度、列讀取時間及有效區域之寬度，產生對應分區的轉換矩陣。

在本發明之一實施例中，所述之列讀取時間為影像處理裝置讀取原始影像之有效區域的其中的一列所需的時間。

在本發明之一實施例中，其中更包括依據有效區域之長度及有效區域之寬度，產生縮放矩陣。並且針對補償後影像利用此縮放矩陣，產生使用者觀看影像。

在本發明之一實施例中，所述之使用者觀看影像之有效區域為M’×N’，其中，M’為使用者觀看影像之有效區域之長度，N’為使用者觀看影像之有效區域之寬度，M’及N’為正整數。

從另一觀點來看，本發明提出一種影像處理裝置，依據擷取時間差連續擷取多數個原始影像，原始影像之有效區域尺寸為M×N，其中，M為有效區域之長度，N為有效區域之寬度，M及N為正整數。影像處理裝置包括速度估測模組以及補償器。速度估測模組將各原始影像規劃為K個分區，K為大於等於1的正整數。計算任二相鄰的原始影像的各分區的多數個區塊位移量，並依據各分區的區塊位移量計算出各分區的全域位移量。分別依據全域位移量及擷取時間差，產生分區的多數個水平分量速度及多數個垂直分量速度。補償器耦接至速度估測模組，補償器依據水平分量速度、垂直分量速度、列讀取時間及有效區域之寬度，產生對應分區的多數個轉換矩陣。並針對任二相鄰的原始影像其中之一以依據轉換矩陣進行轉換，並藉以產生補償後影像。

在本發明之一實施例中，所述之影像處理裝置更包括平均速度產生器，串接於速度估測模組與補償器之間，分別針對水平分量速度及垂直分量速度進行平滑化處理，並傳送經過平滑化處理後的水平分量速度及垂直分量速度至補償器。

基於上述，因滾動快門所造成的影像產生歪斜、壓縮、伸長及扭曲等現象的失真影像，可藉由本發明之區塊位移量以及全域位移量的資訊來進行速度的估測，並藉以產生轉換矩陣，將失真影像依據轉換矩陣進行轉換以產生補償後影像，進而改善影像失真的問題。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖2是依照本發明之一實施例所繪示之影像處理方法的流程圖。圖3是依照本發明之一實施例所繪示之影像補償示意圖，請配合參照圖2與圖3。首先可利用具CMOS影像感測器之影像處理裝置連續拍攝多張原始影像，原始影像之有效區域尺寸為M×N，其中，M為有效區域之長度，N為有效區域之寬度，M及N為正整數，如圖3(a)與圖3(b)所示。首先，如步驟S210所示，將各原始影像規劃為K個分區，K為大於等於1的正整數。以下分別舉K等於1以及K大於1為例作說明。

當K等於1時，代表整張原始影像只有一個分區。步驟S220計算任二相鄰的原始影像的各分區的多數個區塊位移量，並依據各分區的區塊位移量計算出各分區的一全域位移量。因此，本領域具通常知識者皆知，可將原始影像以區塊比對等方法計算出二個連續影像之間的多數個區塊位移量，並可依據這些區塊位移量計算出全域位移量，舉例來說，可對多數個區塊位移量取眾數，也就是先將區塊位移量進行統計，選擇出現最多次的區塊位移量作為全域位移量，或是將所有的區塊位移量做平均而得到全域位移量等等。在本實施例中，因為K等於1代表只有一個分區，因此，二個連續影像之間僅計算出一個全域位移量。

接下來在步驟S230中，分別依據全域位移量及擷取時間差，產生分區的多數個水平分量速度及多數個垂直分量速度。具CMOS影像感測器之影像處理裝置會間隔一擷取時間差τ連續拍攝二個影像，而全域位移量包含了水平分量及垂直分量，因此，利用全域位移量之水平分量與擷取時間差τ的比值可計算出一個水平分量速度v _x ，利用全域位移量之垂直分量與擷取時間差τ的比值可計算出一個垂直分量速度v _y 。接著，依據上述水平分量速度v _x 、垂直分量速度v _y 、列讀取時間及有效區域之寬度N，產生一個轉換矩陣A(步驟S240)。

圖3(a)所示之有效區域區塊310代表的是具CMOS影像感測器之影像處理裝置因為滾動快門機制所拍攝出原始影像具歪斜現象，此歪斜現象代表了影像處理裝置與所拍攝物體之間存在著相對移動。為了補償此種影像失真現象，以使圖3(a)所示的原始影像能還原成如圖3(b)所示之未失真影像，必須找出有效區域區塊310與有效區域區塊320之間的對應關係。假設有效區域區塊310第一個像素點的位置為(x ₁ ,y ₁ )，經過推導，在本實施例中，有效區域區塊310與有效區域區塊320之間可利用轉換矩陣A做轉換。其中，轉換矩陣A為一個3×3的矩陣，矩陣之元素為水平分量速度v _x 、垂直分量速度v _y 、列讀取時間t、有效區域之寬度N以及像素點位置y ₁ 的函數，其中，列讀取時間t為影像處理裝置讀取原始影像之有效區域的其中的一列所需的時間。轉換矩陣A並可表示為如下所示：

其中，a ₁₁ =1，a ₂₁ =0，a ₁₃ =v _x τy ₁ ，

a ₁₁ 與a ₂₂ 所代表的物理意義是為了補償影像壓縮或拉長的失真現象；a ₁₃ 與a ₂₃ 所代表的物理意義是為了補償位移量；a ₁₂ 與a ₂₁ 所代表的物理意義是為了補償扭曲變形量。

在獲得轉換矩陣A後，便可將二個連續影像中之第二張影像利用轉換矩陣A做轉換，以產生如圖3(b)的補償後影像(步驟S250)。

由於圖3(a)與圖3(b)的影像尺寸為影像處理裝置所擷取的影像尺寸，若要進一步地將影像轉換成使用者實際觀看的影像，如圖3(c)所示，使用者觀看影像之有效區域為M’×N’。其中，M’為使用者觀看影像之有效區域之長度，N’為使用者觀看影像之有效區域之寬度，M’及N’為正整數。因此，可再依據步驟S260所述，依據有效區域之長度M及有效區域之寬度N，產生一個縮放矩陣B。在本實施例中，縮放矩陣B亦為一3×3的矩陣，矩陣之第一列第一行元素為使用者觀看影像之有效區域之長度M’與有效區域之長度M的比值。矩陣之第二列第二行元素為使用者觀看影像之有效區域之寬度N’與有效區域之寬度N的比值。縮放矩陣B可以表示為如下所示：

其中，

利用此縮放矩陣B對上述補償後影像進行轉換，也就是說，將有效區域區塊320與有效區域區塊330之間利用縮放矩陣B做轉換，即可產生使用者觀看影像(步驟S270)。

必須說明地是，在K等於1的實施例中，由於每兩張影像之間，僅有一個水平分量速度v _x 以及一個垂直分量速度v _y ，因此只求出一個轉換矩陣A，僅能用以補償如圖1(a)至圖1(d)的影像失真。圖1(a)至圖1(d)代表的是影像處理裝置與所拍攝的物體之間的相對移動是同一個方向且相對移動的速度較緩。當影像處理裝置與所拍攝的物體之間的相對移動不只一個方向且相對移動的速度較快時，如圖1(e)所示，則如下所述之K大於1的實施例可用來補償波浪般扭曲的影像失真問題。

當K大於1時，代表影像有多數個分區，如圖4所示，圖4是依照本發明之一實施例所繪示之影像分區示意圖。請參照圖4，此影像共分成h個分區，第1個分區Band_1至第h個分區Band_h。其中，每個分區又可分成d個區塊，因此，第1個分區Band_1的第1個區塊標示為LM ₁₁ ，第h個分區Band_h的第d個區塊標示為LM _hd ，依此類推。在步驟S220中，計算任二相鄰的原始影像的各分區的d個區塊位移量，並依據各分區的d個區塊位移量計算出各分區的全域位移量。也就是說，各個分區有各自的全域位移量，例如第1個分區Band_1的全域位移量GM ₁ ，第2個分區Band_2的全域位移量GM ₂ ，依此類推，第h個分區Band_h的全域位移量GM _h 。

同樣地，在步驟S230中，分別依據全域位移量及擷取時間差τ，產生各分區的多數個水平分量速度及多數個垂直分量速度。第1個分區Band_1的全域位移量GM ₁ 之水平分量與擷取時間差τ的比值可計算出一個水平分量速度v _{x 1} 。第1個分區Band_1的全域位移量GM ₁ 之垂直分量與擷取時間差τ的比值可計算出一個垂直分量速度v _{y 1} 。因此，在本實施例中，共有h個水平分量速度v _{x 1} ~v _xh 以及h個垂直分量速度v _{y 1} ~v _yh 。

在本實施例中是用以解決如波浪般扭曲的影像失真，代表各個分區之間的水平分量速度v _{x 1} ~v _xh 以及垂直分量速度v _{y 1} ~v _yh 可能會相距較大，因此可針對水平分量速度v _{x 1} ~v _xh 及垂直分量速度v _{y 1} ~v _yh 進行平滑化處理，以產生對應各分區的多數個平滑水平分量速度及多數個平滑垂直分量速度。平滑化處理可為加權平均等方法，舉例而言，第2個分區的水平分量速度v _{x 2} 可由下列式子進行加權平均：

因此，依據上述經過平滑化處理所得到的平滑水平分量速度、平滑垂直分量速度、列讀取時間及有效區域之寬度，即可產生對應各個分區的轉換矩陣A1~Ah(S240)。接著，便可將二個連續影像中之第二張影像之每個區塊依據各自的轉換矩陣做轉換，以得到補償後影像(S250)。

對應上述各實施例之影像處理方法，本發明另提出一種影像處理裝置。圖5是依照本發明之一實施例所繪示之影像處理裝置的方塊圖。請參照圖5，影像處理裝置50包括速度估測模組510以及補償器530。速度估測模組510將各原始影像規劃為K個分區，K為大於等於1的正整數，計算任二相鄰的原始影像的各分區的多數個區塊位移量，並依據各分區的區塊位移量計算出各分區的全域位移量，分別依據全域位移量及擷取時間差，產生分區的多數個水平分量速度及多數個垂直分量速度。

補償器530耦接至速度估測模組510，補償器530接收速度估測模組510所產生的水平分量速度及垂直分量速度。並依據此水平分量速度、此垂直分量速度、列讀取時間及有效區域之寬度，產生對應分區的多數個轉換矩陣。補償器530依據轉換矩陣對任二相鄰的原始影像其中之一進行轉換，藉以產生補償後影像。

在另一實施例中，影像處理裝置50還可包括平均速度產生器520。平均速度產生器520串接於速度估測模組510與補償器530之間。將接收自速度估測模組510的水平分量速度及垂直分量速度進行平滑化處理，並傳送經過平滑化處理後的水平分量速度及垂直分量速度至補償器530。至於本實施例的細部流程，已在上述各實施例中描述，故在此不多贅述。

綜上所述，具CMOS影像感測器之影像處理裝置因滾動快門機制所造成的影像產生歪斜、壓縮、伸長及扭曲等現象的失真影像，可藉由本發明之區塊位移量、全域位移量及影像擷取時間差的資訊來進行速度的估測，並藉以產生轉換矩陣，將失真影像依據轉換矩陣進行轉換以產生補償後影像，進而改善影像失真的問題。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

310~330．．．有效區域區塊

M、M’．．．有效區域之長度

N、N’．．．有效區域之寬度

Band_1~Band_h．．．分區

LM ₁₁ ~LM _hd ．．．區塊

(x ₁ ,y ₁ )．．．第一個像素點的位置

50．．．影像處理裝置

510．．．速度估測模組

520．．．平均速度產生器

530．．．補償器

S210~S270．．．影像處理方法之各步驟

圖1繪示為滾動快門造成影像失真的示意圖。

圖2是依照本發明之一實施例所繪示之影像處理方法的流程圖。

圖3是依照本發明之一實施例所繪示之影像補償示意圖。

圖4是依照本發明之一實施例所繪示之影像分區示意圖。

圖5是依照本發明之一實施例所繪示之影像處理裝置的方塊圖。

S210~S270．．．影像處理方法之各步驟

Claims (10)

1. 一種影像處理方法，依據一擷取時間差連續擷取多數個原始影像，該些原始影像之有效區域尺寸為M×N，其中，M為一有效區域之長度，N為一有效區域之寬度，M及N為正整數，包括：將各該原始影像規劃為K個分區，K為大於等於1的正整數；計算任二相鄰的原始影像的各該分區的多數個區塊位移量，並依據各該分區的該些區塊位移量計算出各該分區的一全域位移量；分別依據該些全域位移量及該擷取時間差，產生該些分區的多數個水平分量速度及多數個垂直分量速度；依據該些水平分量速度、該些垂直分量速度、一列讀取時間及該有效區域之寬度，產生對應該些分區的多數個轉換矩陣；以及針對該任二相鄰的原始影像其中之一以依據該些轉換矩陣進行轉換，並藉以產生一補償後影像。
2. 如申請專利範圍第1項所述之影像處理方法，其中更包括：分別針對該些水平分量速度及該些垂直分量速度進行一平滑化處理，以產生對應該些分區的多數個平滑水平分量速度及多數個平滑垂直分量速度。
3. 如申請專利範圍第2項所述之影像處理方法，其中依據該些水平分量速度、該些垂直分量速度、該列讀取時間及該有效區域之寬度，產生對應該些分區的該些轉換矩陣的步驟包括：依據該些平滑水平分量速度、該些平滑垂直分量速度、該列讀取時間及該有效區域之寬度，產生對應該些分區的該些轉換矩陣。
4. 如申請專利範圍第1項所述之影像處理方法，其中該列讀取時間為該影像處理裝置讀取該些原始影像之有效區域的其中的一列所需的時間。
5. 如申請專利範圍第1項所述之影像處理方法，其中更包括：依據該有效區域之長度及該有效區域之寬度，產生一縮放矩陣；以及針對該補償後影像利用該縮放矩陣，產生一使用者觀看影像。
6. 如申請專利範圍第5項所述之影像處理方法，其中該使用者觀看影像之有效區域為M’×N’，其中，M’為該使用者觀看影像之有效區域之長度，N’為該使用者觀看影像之有效區域之寬度，M’及N’為正整數。
7. 一種影像處理裝置，依據一擷取時間差連續擷取多數個原始影像，該些原始影像之有效區域尺寸為M×N，其中，M為一有效區域之長度，N為一有效區域之寬度，M及N為正整數，該影像處理裝置包括：一速度估測模組，將各該原始影像規劃為K個分區，K為大於等於1的正整數，計算任二相鄰的原始影像的各該分區的多數個區塊位移量，並依據各該分區的該些區塊位移量計算出各該分區的一全域位移量，分別依據該些全域位移量及該擷取時間差，產生該些分區的多數個水平分量速度及多數個垂直分量速度；以及一補償器，耦接至該速度估測模組，依據該些水平分量速度、該些垂直分量速度、一列讀取時間及該有效區域之寬度，該補償器產生對應該些分區的多數個轉換矩陣，並針對該任二相鄰的原始影像其中之一以依據該些轉換矩陣進行轉換，並藉以產生一補償後影像。
8. 如申請專利範圍第7項所述之影像處理裝置，更包括：一平均速度產生器，串接於該速度估測模組與該補償器之間，分別針對該些水平分量速度及該些垂直分量速度進行一平滑化處理，並傳送經過該平滑化處理後的該些水平分量速度及該些垂直分量速度至該補償器。
9. 如申請專利範圍第7項所述之影像處理裝置，其中該補償器依據該有效區域之長度及該有效區域之寬度，產生一縮放矩陣，並針對該補償後影像利用該縮放矩陣，產生一使用者觀看影像。
10. 如申請專利範圍第7項所述之影像處理裝置，其中該使用者觀看影像之有效區域為M’×N’，其中，M’為該使用者觀看影像之有效區域之長度，N’為該使用者觀看影像之有效區域之寬度，M’及N’為正整數。